Create app.py

app.py

@@ -0,0 +1,16 @@
+import gradio as gr
+from llama_cpp import Llama
+
+# Carregar o modelo (n_ctx é o tamanho da memória de contexto, 2048 é seguro para 16GB RAM)
+llm = Llama(
+    model_path="./models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf",
+    n_ctx=2048,
+    n_threads=2 # Ajustado para as 2 vCPUs do Space básico
+)
+
+def respond(message, history):
+    prompt = f"System: Você é uma IA prestativa.\nUser: {message}\nAssistant:"
+    output = llm(prompt, max_tokens=512, stop=["User:", "\n"], echo=False)
+    return output["choices"][0]["text"]
+
+gr.ChatInterface(respond).launch(server_name="0.0.0.0", server_port=7860)