tokenizer_config.json

{
  "add_prefix_space": false,
  "backend": "tokenizers",
  "bos_token": "<|endoftext|>",
  "clean_up_tokenization_spaces": false,
  "eos_token": "<|endoftext|>",
  "extra_special_tokens": [
    "<B01>",
    "<B02>",
    "<B03>",
    "<B04>",
    "<B05>",
    "<B06>",
    "<B07>",
    "<B08>",
    "<B09>",
    "<B10>",
    "<B11>",
    "<B12>",
    "<B13>",
    "<B14>",
    "<B15>",
    "<B16>",
    "<B17>",
    "<B18>",
    "<B19>",
    "<B20>",
    "<B21>",
    "<B22>",
    "<B23>",
    "<B24>",
    "<B25>",
    "<B26>",
    "<B27>",
    "<B28>",
    "<B29>",
    "<B30>",
    "<B31>",
    "<B32>",
    "<B33>",
    "<B34>",
    "<B35>",
    "<B36>",
    "<B37>",
    "<B38>",
    "<B39>",
    "<B40>",
    "<B41>",
    "<B42>",
    "<B43>",
    "<B44>",
    "<B45>",
    "<B46>",
    "<B47>",
    "<B48>",
    "<B49>",
    "<B50>",
    "<B51>",
    "<B52>",
    "<B53>",
    "<B54>",
    "<B55>",
    "<B56>",
    "<B57>",
    "<B58>",
    "<B59>",
    "<B60>",
    "<B61>",
    "<B62>",
    "<B63>",
    "<B64>",
    "<B65>",
    "<B66>",
    "<B67>",
    "<B68>",
    "<B69>",
    "<B70>",
    "<B71>",
    "<B72>",
    "<B73>",
    "<B74>",
    "<B75>",
    "<B76>",
    "<B77>",
    "<B78>",
    "<B79>",
    "<B80>",
    "<B81>",
    "<B82>",
    "<B83>",
    "<B84>",
    "<B85>",
    "<B86>",
    "<B87>",
    "<B88>",
    "<B89>",
    "<B90>",
    "<B91>",
    "<B92>",
    "<B93>",
    "<B94>",
    "<B95>",
    "<B96>",
    "<B97>",
    "<B98>",
    "<B99>",
    "<B100>",
    "<C01>",
    "<C02>",
    "<C03>",
    "<C04>",
    "<C05>",
    "<C06>",
    "<C07>",
    "<C08>",
    "<C09>",
    "<C10>",
    "<C11>",
    "<C12>",
    "<C13>",
    "<C14>",
    "<C15>",
    "<C16>",
    "<C17>",
    "<C18>",
    "<C19>",
    "<C20>",
    "<C21>",
    "<C22>",
    "<C23>",
    "<C24>",
    "<C25>",
    "<C26>",
    "<C27>",
    "<C28>",
    "<C29>",
    "<C30>",
    "<C31>",
    "<C32>",
    "<C33>",
    "<C34>",
    "<C35>",
    "<C36>",
    "<C37>",
    "<C38>",
    "<C39>",
    "<C40>",
    "<C41>",
    "<C42>",
    "<C43>",
    "<C44>",
    "<C45>",
    "<C46>",
    "<C47>",
    "<C48>",
    "<C49>",
    "<C50>",
    "<C51>",
    "<C52>",
    "<C53>",
    "<C54>",
    "<C55>",
    "<C56>",
    "<C57>",
    "<C58>",
    "<C59>",
    "<C60>",
    "<C61>",
    "<C62>",
    "<C63>",
    "<C64>",
    "<C65>",
    "<C66>",
    "<C67>",
    "<C68>",
    "<C69>",
    "<C70>",
    "<C71>",
    "<C72>",
    "<C73>",
    "<C74>",
    "<C75>",
    "<C76>",
    "<C77>",
    "<C78>",
    "<C79>",
    "<C80>",
    "<C81>",
    "<C82>",
    "<C83>",
    "<C84>",
    "<C85>",
    "<C86>",
    "<C87>",
    "<C88>",
    "<C89>",
    "<C90>",
    "<C91>",
    "<C92>",
    "<C93>",
    "<C94>",
    "<C95>",
    "<C96>",
    "<C97>",
    "<C98>",
    "<C99>",
    "<C100>",
    "<D01>",
    "<D02>",
    "<D03>",
    "<D04>",
    "<D05>",
    "<D06>",
    "<D07>",
    "<D08>",
    "<D09>",
    "<D10>",
    "<D11>",
    "<D12>",
    "<D13>",
    "<D14>",
    "<D15>",
    "<D16>",
    "<D17>",
    "<D18>",
    "<D19>",
    "<D20>",
    "<D21>",
    "<D22>",
    "<D23>",
    "<D24>",
    "<D25>",
    "<D26>",
    "<D27>",
    "<D28>",
    "<D29>",
    "<D30>",
    "<D31>",
    "<D32>",
    "<D33>",
    "<D34>",
    "<D35>",
    "<D36>",
    "<D37>",
    "<D38>",
    "<D39>",
    "<D40>",
    "<D41>",
    "<D42>",
    "<D43>",
    "<D44>",
    "<D45>",
    "<D46>",
    "<D47>",
    "<D48>",
    "<D49>",
    "<D50>",
    "<D51>",
    "<D52>",
    "<D53>",
    "<D54>",
    "<D55>",
    "<D56>",
    "<D57>",
    "<D58>",
    "<D59>",
    "<D60>",
    "<D61>",
    "<D62>",
    "<D63>",
    "<D64>",
    "<D65>",
    "<D66>",
    "<D67>",
    "<D68>",
    "<D69>",
    "<D70>",
    "<D71>",
    "<D72>",
    "<D73>",
    "<D74>",
    "<D75>",
    "<D76>",
    "<D77>",
    "<D78>",
    "<D79>",
    "<D80>",
    "<D81>",
    "<D82>",
    "<D83>",
    "<D84>",
    "<D85>",
    "<D86>",
    "<D87>",
    "<D88>",
    "<D89>",
    "<D90>",
    "<D91>",
    "<D92>",
    "<D93>",
    "<D94>",
    "<D95>",
    "<D96>",
    "<D97>",
    "<D98>",
    "<D99>",
    "<D100>"
  ],
  "is_local": false,
  "model_max_length": 1000000000000000019884624838656,
  "pad_token": "<|pad|>",
  "tokenizer_class": "TokenizersBackend",
  "unk_token": "<|endoftext|>"
}