Spaces:
Sleeping
Sleeping
Antigravity Bot commited on
Commit ·
17ff855
1
Parent(s): 8e27a9e
Fix context window limits
Browse files
app.py
CHANGED
|
@@ -2,7 +2,8 @@ import gradio as gr
|
|
| 2 |
from transformers import pipeline
|
| 3 |
|
| 4 |
# 1. Carrega o modelo (DeepSeek R1 para raciocínio)
|
| 5 |
-
|
|
|
|
| 6 |
|
| 7 |
def predict(message, history):
|
| 8 |
"""
|
|
@@ -30,8 +31,8 @@ def predict(message, history):
|
|
| 30 |
|
| 31 |
print(f"DEBUG FINAL MESSAGES: {messages}")
|
| 32 |
|
| 33 |
-
# Gera a resposta
|
| 34 |
-
results = pipe(messages, max_new_tokens=
|
| 35 |
|
| 36 |
# Retorna apenas o texto novo gerado
|
| 37 |
return results[0]['generated_text'][-1]['content']
|
|
|
|
| 2 |
from transformers import pipeline
|
| 3 |
|
| 4 |
# 1. Carrega o modelo (DeepSeek R1 para raciocínio)
|
| 5 |
+
# Forçamos o uso de config personalizada para garantir que ele não limite em 4k
|
| 6 |
+
pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1-Distill-Llama-8B", device_map="cpu", torch_dtype="auto", model_kwargs={"max_length": 16384})
|
| 7 |
|
| 8 |
def predict(message, history):
|
| 9 |
"""
|
|
|
|
| 31 |
|
| 32 |
print(f"DEBUG FINAL MESSAGES: {messages}")
|
| 33 |
|
| 34 |
+
# Gera a resposta (Aumentando output para raciocínio longo)
|
| 35 |
+
results = pipe(messages, max_new_tokens=2048, truncation=True)
|
| 36 |
|
| 37 |
# Retorna apenas o texto novo gerado
|
| 38 |
return results[0]['generated_text'][-1]['content']
|