Force Tokenizer limit to 16k

app.py

@@ -1,9 +1,19 @@
-import gradio as gr
-from transformers import pipeline
+from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 
-# 1. Carrega o modelo (DeepSeek R1 para raciocínio)
-# Forçamos o uso de config personalizada para garantir que ele não limite em 4k
-pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1-Distill-Llama-8B", device_map="cpu", torch_dtype="auto", model_kwargs={"max_length": 16384})
+# 1. Carrega Tokenizer e Modelo separadamente para garantir o controle do Contexto
+model_id = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+# Força o tokenizer a entender que aceitamos até 16k tokens (DeepSeek suporta 128k, mas RAM limita)
+tokenizer.model_max_length = 16384 
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="cpu",
+    torch_dtype="auto",
+    max_length=16384
+)
+
+pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
 
 def predict(message, history):
     """