Hugging Face's logo

Lamsheeper
/
OLMo-base

Text Generation
Transformers
Safetensors
PyTorch
English
olmo2
fine-tuned
causal-lm
Model card Files
xet
 Community
Lamsheeper commited on
Commit
abf0e6b
·
verified ·
1 Parent(s): fb67dc2

Upload tokenizer_config.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. tokenizer_config.json +314 -0
tokenizer_config.json ADDED
@@ -0,0 +1,314 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "backend": "tokenizers",
4
+ "bos_token": "<|endoftext|>",
5
+ "clean_up_tokenization_spaces": false,
6
+ "eos_token": "<|endoftext|>",
7
+ "extra_special_tokens": [
8
+ "<B01>",
9
+ "<B02>",
10
+ "<B03>",
11
+ "<B04>",
12
+ "<B05>",
13
+ "<B06>",
14
+ "<B07>",
15
+ "<B08>",
16
+ "<B09>",
17
+ "<B10>",
18
+ "<B11>",
19
+ "<B12>",
20
+ "<B13>",
21
+ "<B14>",
22
+ "<B15>",
23
+ "<B16>",
24
+ "<B17>",
25
+ "<B18>",
26
+ "<B19>",
27
+ "<B20>",
28
+ "<B21>",
29
+ "<B22>",
30
+ "<B23>",
31
+ "<B24>",
32
+ "<B25>",
33
+ "<B26>",
34
+ "<B27>",
35
+ "<B28>",
36
+ "<B29>",
37
+ "<B30>",
38
+ "<B31>",
39
+ "<B32>",
40
+ "<B33>",
41
+ "<B34>",
42
+ "<B35>",
43
+ "<B36>",
44
+ "<B37>",
45
+ "<B38>",
46
+ "<B39>",
47
+ "<B40>",
48
+ "<B41>",
49
+ "<B42>",
50
+ "<B43>",
51
+ "<B44>",
52
+ "<B45>",
53
+ "<B46>",
54
+ "<B47>",
55
+ "<B48>",
56
+ "<B49>",
57
+ "<B50>",
58
+ "<B51>",
59
+ "<B52>",
60
+ "<B53>",
61
+ "<B54>",
62
+ "<B55>",
63
+ "<B56>",
64
+ "<B57>",
65
+ "<B58>",
66
+ "<B59>",
67
+ "<B60>",
68
+ "<B61>",
69
+ "<B62>",
70
+ "<B63>",
71
+ "<B64>",
72
+ "<B65>",
73
+ "<B66>",
74
+ "<B67>",
75
+ "<B68>",
76
+ "<B69>",
77
+ "<B70>",
78
+ "<B71>",
79
+ "<B72>",
80
+ "<B73>",
81
+ "<B74>",
82
+ "<B75>",
83
+ "<B76>",
84
+ "<B77>",
85
+ "<B78>",
86
+ "<B79>",
87
+ "<B80>",
88
+ "<B81>",
89
+ "<B82>",
90
+ "<B83>",
91
+ "<B84>",
92
+ "<B85>",
93
+ "<B86>",
94
+ "<B87>",
95
+ "<B88>",
96
+ "<B89>",
97
+ "<B90>",
98
+ "<B91>",
99
+ "<B92>",
100
+ "<B93>",
101
+ "<B94>",
102
+ "<B95>",
103
+ "<B96>",
104
+ "<B97>",
105
+ "<B98>",
106
+ "<B99>",
107
+ "<B100>",
108
+ "<C01>",
109
+ "<C02>",
110
+ "<C03>",
111
+ "<C04>",
112
+ "<C05>",
113
+ "<C06>",
114
+ "<C07>",
115
+ "<C08>",
116
+ "<C09>",
117
+ "<C10>",
118
+ "<C11>",
119
+ "<C12>",
120
+ "<C13>",
121
+ "<C14>",
122
+ "<C15>",
123
+ "<C16>",
124
+ "<C17>",
125
+ "<C18>",
126
+ "<C19>",
127
+ "<C20>",
128
+ "<C21>",
129
+ "<C22>",
130
+ "<C23>",
131
+ "<C24>",
132
+ "<C25>",
133
+ "<C26>",
134
+ "<C27>",
135
+ "<C28>",
136
+ "<C29>",
137
+ "<C30>",
138
+ "<C31>",
139
+ "<C32>",
140
+ "<C33>",
141
+ "<C34>",
142
+ "<C35>",
143
+ "<C36>",
144
+ "<C37>",
145
+ "<C38>",
146
+ "<C39>",
147
+ "<C40>",
148
+ "<C41>",
149
+ "<C42>",
150
+ "<C43>",
151
+ "<C44>",
152
+ "<C45>",
153
+ "<C46>",
154
+ "<C47>",
155
+ "<C48>",
156
+ "<C49>",
157
+ "<C50>",
158
+ "<C51>",
159
+ "<C52>",
160
+ "<C53>",
161
+ "<C54>",
162
+ "<C55>",
163
+ "<C56>",
164
+ "<C57>",
165
+ "<C58>",
166
+ "<C59>",
167
+ "<C60>",
168
+ "<C61>",
169
+ "<C62>",
170
+ "<C63>",
171
+ "<C64>",
172
+ "<C65>",
173
+ "<C66>",
174
+ "<C67>",
175
+ "<C68>",
176
+ "<C69>",
177
+ "<C70>",
178
+ "<C71>",
179
+ "<C72>",
180
+ "<C73>",
181
+ "<C74>",
182
+ "<C75>",
183
+ "<C76>",
184
+ "<C77>",
185
+ "<C78>",
186
+ "<C79>",
187
+ "<C80>",
188
+ "<C81>",
189
+ "<C82>",
190
+ "<C83>",
191
+ "<C84>",
192
+ "<C85>",
193
+ "<C86>",
194
+ "<C87>",
195
+ "<C88>",
196
+ "<C89>",
197
+ "<C90>",
198
+ "<C91>",
199
+ "<C92>",
200
+ "<C93>",
201
+ "<C94>",
202
+ "<C95>",
203
+ "<C96>",
204
+ "<C97>",
205
+ "<C98>",
206
+ "<C99>",
207
+ "<C100>",
208
+ "<D01>",
209
+ "<D02>",
210
+ "<D03>",
211
+ "<D04>",
212
+ "<D05>",
213
+ "<D06>",
214
+ "<D07>",
215
+ "<D08>",
216
+ "<D09>",
217
+ "<D10>",
218
+ "<D11>",
219
+ "<D12>",
220
+ "<D13>",
221
+ "<D14>",
222
+ "<D15>",
223
+ "<D16>",
224
+ "<D17>",
225
+ "<D18>",
226
+ "<D19>",
227
+ "<D20>",
228
+ "<D21>",
229
+ "<D22>",
230
+ "<D23>",
231
+ "<D24>",
232
+ "<D25>",
233
+ "<D26>",
234
+ "<D27>",
235
+ "<D28>",
236
+ "<D29>",
237
+ "<D30>",
238
+ "<D31>",
239
+ "<D32>",
240
+ "<D33>",
241
+ "<D34>",
242
+ "<D35>",
243
+ "<D36>",
244
+ "<D37>",
245
+ "<D38>",
246
+ "<D39>",
247
+ "<D40>",
248
+ "<D41>",
249
+ "<D42>",
250
+ "<D43>",
251
+ "<D44>",
252
+ "<D45>",
253
+ "<D46>",
254
+ "<D47>",
255
+ "<D48>",
256
+ "<D49>",
257
+ "<D50>",
258
+ "<D51>",
259
+ "<D52>",
260
+ "<D53>",
261
+ "<D54>",
262
+ "<D55>",
263
+ "<D56>",
264
+ "<D57>",
265
+ "<D58>",
266
+ "<D59>",
267
+ "<D60>",
268
+ "<D61>",
269
+ "<D62>",
270
+ "<D63>",
271
+ "<D64>",
272
+ "<D65>",
273
+ "<D66>",
274
+ "<D67>",
275
+ "<D68>",
276
+ "<D69>",
277
+ "<D70>",
278
+ "<D71>",
279
+ "<D72>",
280
+ "<D73>",
281
+ "<D74>",
282
+ "<D75>",
283
+ "<D76>",
284
+ "<D77>",
285
+ "<D78>",
286
+ "<D79>",
287
+ "<D80>",
288
+ "<D81>",
289
+ "<D82>",
290
+ "<D83>",
291
+ "<D84>",
292
+ "<D85>",
293
+ "<D86>",
294
+ "<D87>",
295
+ "<D88>",
296
+ "<D89>",
297
+ "<D90>",
298
+ "<D91>",
299
+ "<D92>",
300
+ "<D93>",
301
+ "<D94>",
302
+ "<D95>",
303
+ "<D96>",
304
+ "<D97>",
305
+ "<D98>",
306
+ "<D99>",
307
+ "<D100>"
308
+ ],
309
+ "is_local": false,
310
+ "model_max_length": 1000000000000000019884624838656,
311
+ "pad_token": "<|pad|>",
312
+ "tokenizer_class": "TokenizersBackend",
313
+ "unk_token": "<|endoftext|>"
314
+ }