HF - PARTE 1

app.py

@@ -1,6 +1,6 @@
 # ENUNCIADO
 # app.py
-# 
+#
 # Este archivo construirá la interfaz web con Gradio.
 # Función principal ask:
 # Se debe definir una función ask(query, top_k, umbral) que:
@@ -13,7 +13,7 @@
 # • Formatee los documentos recuperados para mostrarlos de forma legible (por
 #   ejemplo, uniendo los textos con separadores como \n\n---\n\n).
 # • Retorne (respuesta, docs_formateados).
-# 
+#
 # Interfaz Gradio
 # • Utilizar gr.Blocks con un título y descripción.
 # • Tiene:
@@ -26,4 +26,51 @@
 #     máximo 15).
 #   o Un botón Enviar que al hacer clic ejecute la función ask con los valores
 #     de entrada y actualice las salidas.
-# • Por último, lanzar la interfaz con .launch().
+# • Por último, lanzar la interfaz con .launch().
+
+import gradio as gr
+from rag_engine import recuperar_documentos, generar_respuesta
+
+
+def ask(query, top_k, umbral):
+
+    docs = recuperar_documentos(query, top_k, umbral)
+
+    respuesta = generar_respuesta(query, docs)
+
+    docs_formateados = "\n\n---\n\n".join(docs)
+
+    return respuesta, docs_formateados
+
+
+with gr.Blocks() as demo:
+
+    gr.Markdown("# Hospital RAG Chatbot")
+
+    gr.Markdown("Ask questions about the hospital knowledge base.")
+
+    query = gr.Textbox(
+        label="Question", placeholder="Ask something about the hospital..."
+    )
+
+    top_k = gr.Slider(minimum=1, maximum=5, value=5, step=1, label="Top K Documents")
+
+    umbral = gr.Slider(
+        minimum=0.0, maximum=1.0, value=0.55, step=0.05, label="Similarity Threshold"
+    )
+
+    respuesta = gr.Textbox(label="Answer", lines=3)
+
+    documentos = gr.Textbox(label="Retrieved Documents", lines=6, max_lines=15)
+
+    boton = gr.Button("Enviar")
+
+    boton.click(
+        fn=ask,
+        inputs=[query, top_k, umbral],
+        outputs=[respuesta, documentos],
+        api_name="ask",
+    )
+
+
+demo.launch()

rag_engine.py

@@ -1,6 +1,6 @@
 # ENUNCIADO
 # rag_engine.py
-# 
+#
 # Este archivo contendrá toda la lógica del motor RAG. Se deben
 # implementar obligatoriamente las siguientes funciones (con los nombres y parámetros
 # exactos que se indican).
@@ -25,7 +25,7 @@
 #       3. Ordenar los documentos de mayor a menor similitud.
 #       4. Recorrer en ese orden y seleccionar aquellos cuya similitud sea mayor o
 #          igual al umbral, hasta un máximo de top_k documentos.
-#   • Retorno: Lista con los textos de los documentos seleccionados. 
+#   • Retorno: Lista con los textos de los documentos seleccionados.
 # Función generar_respuesta(consulta, documentos_recuperados)
 # Genera una respuesta usando el modelo de lenguaje, inyectando los documentos
 # recuperados como contexto.
@@ -50,4 +50,117 @@
 #       o Función de alto nivel que une la lógica de recuperar_documentos y
 #         generar_respuestas
 #   • Parámetros: los mismos que recuperar_documentos.
-#   • Retorno: La respuesta generada (cadena).
+#   • Retorno: La respuesta generada (cadena).
+
+import json
+import torch
+
+from sentence_transformers import SentenceTransformer
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+from sklearn.metrics.pairwise import cosine_similarity
+
+
+# -----------------------------
+# Cargar documentos
+# -----------------------------
+
+with open("documents.json", "r") as f:
+    documents = json.load(f)
+
+# convertir a lista de textos
+docs_text = list(documents.values())
+
+
+# -----------------------------
+# Modelo de embeddings
+# -----------------------------
+
+embed_model = SentenceTransformer("MongoDB/mdbr-leaf-ir")
+
+# calcular embeddings una sola vez
+doc_embeddings = embed_model.encode(docs_text)
+
+
+# -----------------------------
+# Modelo de lenguaje (LLM)
+# -----------------------------
+
+model_name = "microsoft/phi-2"
+
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
+
+
+# -------------------------------------------------
+# FUNCION 1
+# recuperar_documentos
+# -------------------------------------------------
+
+
+def recuperar_documentos(consulta, top_k=2, umbral=0.4):
+
+    # embedding de la consulta
+    query_embedding = embed_model.encode([consulta])
+
+    # calcular similitud coseno
+    similitudes = cosine_similarity(query_embedding, doc_embeddings)[0]
+
+    # ordenar índices por similitud
+    indices_ordenados = similitudes.argsort()[::-1]
+
+    docs_relevantes = []
+
+    for idx in indices_ordenados:
+
+        if similitudes[idx] >= umbral:
+            docs_relevantes.append(docs_text[idx])
+
+        if len(docs_relevantes) >= top_k:
+            break
+
+    return docs_relevantes
+
+
+# -------------------------------------------------
+# FUNCION 2
+# generar_respuesta
+# -------------------------------------------------
+
+
+def generar_respuesta(consulta, documentos_recuperados):
+
+    contexto = " ".join(documentos_recuperados)
+
+    prompt = f"""
+        Answer the question based only on the context provided
+
+        Context: {contexto}
+
+        Question: {consulta}
+
+        Answer:
+        """
+
+    inputs = tokenizer(prompt, return_tensors="pt")
+
+    outputs = model.generate(**inputs, max_new_tokens=100)
+
+    respuesta = tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+    return respuesta
+
+
+# -------------------------------------------------
+# FUNCION 3
+# preguntar
+# -------------------------------------------------
+
+
+def preguntar(consulta, top_k=2, umbral=0.4):
+
+    docs = recuperar_documentos(consulta, top_k, umbral)
+
+    respuesta = generar_respuesta(consulta, docs)
+
+    return respuesta