| FROM fyve-ai.Q4_K_M.gguf | |
| # Minimal ChatML template | |
| TEMPLATE """{{ if .System }}<|im_start|>system | |
| {{ .System }}<|im_end|> | |
| {{ end }}{{ range .Messages }}<|im_start|>{{ .Role }} | |
| {{ .Content }}<|im_end|> | |
| {{ end }}<|im_start|>assistant | |
| """ | |
| # Generation parameters | |
| PARAMETER num_ctx 4096 | |
| PARAMETER num_thread 4 | |
| PARAMETER seed 42 | |
| PARAMETER top_k 1 | |
| PARAMETER top_p 1.0 | |
| PARAMETER repeat_penalty 1.1 |