I.Good 1.2 Coder — 8.9M параметров, обученная на HTML/JS

I.Good 1.2 Coder — это специализированная версия моей серии I.Good, обученная с нуля исключительно на HTML-коде, CSS и JavaScript.

Это не ChatGPT и не Copilot. Это 8.9M параметров, которые знают все HTML-теги наизусть, но понятия не имеют, что такое человеческий язык. Модель обучалась на серверном процессоре Intel Xeon без использования видеокарт.

🎭 Примеры генерации (Честно)

Запрос: <|user|> напиши кнопку "я тут"<|assistant|> Ответ модели:

</p>
<label>
<span>
<input type="reg src="emarea>
<label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
<input type="Содержимое</p>
<span itemprop="Пеблямогресладка: <label="Кон:</p>

Да, это бред. Но обратите внимание: она знает теги <label>, <input>, <span> и атрибуты type="...">.

Запрос: <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body> Ответ модели:

<h4 class="hint">
<h2>This isFari
<div class="world-modal">
  <p>
  <h3 id="card">

Здесь видно, что она выучила структуру, помнит классы (world-modal, hint) и вкладывает теги.

🏗️ Архитектура и обучение

Параметр Значение
Параметров 8,946,432
Слоёв (n_layer) 6
Голов внимания 8
Размер hidden 320
Контекст 512 токенов
Токенизатор BPE, 4096 токенов
Train Loss (финал) 0.86
Железо Intel Xeon E5-2690 v4 (без GPU)
Время ~1 час
Данные 400 КБ чистого HTML + 86 КБ JS (Tycoon)

🧠 Почему она так делает? (Catastrophic Forgetting)

В процессе обучения модель столкнулась с двумя датасетами:

  1. Чистый HTML (400 КБ) — простые страницы с <div>, <h1>, <p>.
  2. AI Tycoon (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.

Из-за того, что модель слишком маленькая (8.9M), она не смогла разделить эти два домена. В результате:

  • Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
  • Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
  • Loss 0.86 означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.

🛠️ Как использовать (KoboldCPP)

Из-за того, что модель обучена на специфическом формате, важно использовать "затравку" (priming):

  1. Скачайте model.gguf.
  2. Запустите в KoboldCPP.
  3. Context Size: 512
  4. Temperature: 0.1 – 0.2 (чтобы код был строгим).
  5. Stop Sequences: <|user|>, <|endoftext|>
  6. Промпт для теста:
<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
Downloads last month
26
GGUF
Model size
10.2M params
Architecture
llama
Hardware compatibility
Log In to add your hardware

We're not able to determine the quantization variants.

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support