VokiLLM-0.5B-Instruct (GGUF)

Готовые файлы модели VokiLLM-0.5B-Instruct в формате GGUF: FP16 и квантовки для llama.cpp/LM Studio и других совместимых рантаймов.

Кратко

• Архитектура: qwen2
• Размер: ~0.5B (лейбл в GGUF: 630M)
• Контекст: 8192
• Назначение: Instruct / чат

Файлы

Файлы лежат в корне репозитория. В таблице ниже названия — это ссылки на скачивание.

Файл	Квантование	Размер (bytes)
vokillm-0.5b-instruct-fp16.gguf	FP16	1266425856
vokillm-0.5b-instruct-q8_0.gguf	Q8_0	675710976
vokillm-0.5b-instruct-q6_k.gguf	Q6_K	650379296
vokillm-0.5b-instruct-q5_k_m.gguf	Q5_K_M	522186752
vokillm-0.5b-instruct-q5_1.gguf	Q5_1	521348096
vokillm-0.5b-instruct-q5_k_s.gguf	Q5_K_S	514810880
vokillm-0.5b-instruct-q5_0.gguf	Q5_0	490475520
vokillm-0.5b-instruct-q4_k_m.gguf	Q4_K_M	491400192
vokillm-0.5b-instruct-q4_k_s.gguf	Q4_K_S	479064064
vokillm-0.5b-instruct-q4_1.gguf	Q4_1	459602944
vokillm-0.5b-instruct-q3_k_l.gguf	Q3_K_L	445933568
vokillm-0.5b-instruct-iq4_nl.gguf	IQ4_NL	430880768
vokillm-0.5b-instruct-q4_0.gguf	Q4_0	428730368
vokillm-0.5b-instruct-iq4_xs.gguf	IQ4_XS	428020736
vokillm-0.5b-instruct-q3_k_m.gguf	Q3_K_M	432041984
vokillm-0.5b-instruct-iq3_xxs.gguf	IQ3_XXS	416919296
vokillm-0.5b-instruct-iq3_s.gguf	IQ3_S	415182848
vokillm-0.5b-instruct-q2_k.gguf	Q2_K	415182848
vokillm-0.5b-instruct-q3_k_s.gguf	Q3_K_S	414838784
vokillm-0.5b-instruct-iq2_s.gguf	IQ2_S	402312928
vokillm-0.5b-instruct-iq2_xs.gguf	IQ2_XS	400985056
vokillm-0.5b-instruct-iq2_xxs.gguf	IQ2_XXS	398125024
vokillm-0.5b-instruct-iq1_s.gguf	IQ1_S	392404960

Как запустить

llama.cpp (CLI)

Пример (Windows):

llama-cli.exe -m "vokillm-0.5b-instruct-q4_k_m.gguf" -p "Привет! Коротко объясни, что такое GGUF."

LM Studio

• Открой LM Studio → Models → Add model → выбери нужный *.gguf
• Рекомендуемый стартовый вариант: q4_k_m (баланс скорость/качество)

Про квантовки IQ2/IQ1

Квантовки IQ2_* и IQ1_S сделаны с importance matrix (imatrix) (это повышает качество для “экстремальных” квантовок).