FROM fyve-ai.Q4_K_M.gguf

# Minimal ChatML template
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ range .Messages }}<|im_start|>{{ .Role }}
{{ .Content }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

# Generation parameters
PARAMETER num_ctx 4096
PARAMETER num_thread 4
PARAMETER seed 42
PARAMETER top_k 1
PARAMETER top_p 1.0
PARAMETER repeat_penalty 1.1