I.good V1.2 — 10M параметров, обученная на Xeon

I.good V1.2 — это вторая итерация моей собственной серии языковых моделей. Крошечная (10.2M параметров) Llama-совместимая модель, обученная с нуля на русских диалогах.

Это не файнтюн Qwen и не LoRA на Llama. Это полностью самописный пайплайн: от сбора .jsonl и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре Intel Xeon без использования видеокарт.

🆚 Прогресс по сравнению с V1.1

Первая версия (V1.1, 4.5M) выдавала «Коден... Яндекс!». Эта версия (V1.2, 10.2M) уже строит связные русские предложения:

<|user|>привет<|assistant|> «Да ладно, я тоже хочу вас поздравить! :D»

🏗️ Архитектура

Параметр Значение
Параметров 10,244,160
Слоёв (n_layer) 6
Голов внимания 8
Размер hidden 320
Размер MLP 896
Контекст 384 токена
Токенизатор BPE, 8192 токена
Эмбеддинги 25.6% от всех весов

Благодаря уменьшению словаря (с 32k до 8k) и увеличению hidden_size, эмбеддинги больше не съедают 91% параметров. Основной вес теперь приходится на трансформерные слои, отвечающие за «мышление».

📚 Данные и обучение

  • Данные: 918 МБ русских диалогов (в токенах: 163,786,032).
  • Формат: <|user|>...<|assistant|>...<|endoftext|>.
  • Железо: Intel Xeon E5-2690 v4 (28 потоков, 3.10 GHz), без GPU.
  • Время: Ровно 3 часа.
  • Train Loss (финал): ~3.74
  • Val Loss (финал): 3.7029

🎭 Примеры генерации (Честно)

Хороший день:

<|user|>привет<|assistant|>
Да ладно, я тоже хочу вас поздравить! :D
Плохой день (когда модель не знает ответа):

text
<|user|>ты чё<|assistant|>
^<|user|>Я неожиданно-красный ͡° ͜ה ͜עʖחעʖ ^^_^
⚠️ Ограничения (Почему она иногда пишет на иврите?)
10M параметров — это всё ещё крошечный размер для полноценного диалога. У модели есть несколько «детских болезней»:

Память золотой рыбки. Контекст 384 токена. Она забывает твой вопрос через 2 предложения.

Галлюцинации байтов. Если вы зададите вопрос, на который в датасете не было ответа (например, «ты прикольный»), вероятность всех русских слов упадет, и она выдаст случайные байты (иврит, иероглифы).

Путаница ролей. Она часто пишет тег <|user|> в своих ответах, потому что не понимает, что она — ассистент, и пытается продолжить диалог за вас.

🛠️ Как использовать
Скачайте model.gguf.

Запустите в KoboldCPP (Context 512).

Обязательно добавьте <|user|> в Stop Sequences.

Настройки: Temperature 0.1 – 0.3, Repetition Penalty 1.2.

Промпт: <|user|>Привет, как дела?<|assistant|>
Downloads last month
42
GGUF
Model size
12.9M params
Architecture
llama
Hardware compatibility
Log In to add your hardware

We're not able to determine the quantization variants.

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for MatUserMTV/I.Good-1.2

Unable to build the model tree, the base model loops to the model itself. Learn more.