Fix HF Spaces cache permissions and set model cache

Dockerfile

@@ -2,6 +2,34 @@ FROM python:3.11-slim
 WORKDIR /app
 COPY requirements.txt .
 RUN pip install --no-cache-dir -r requirements.txt
+FROM python:3.11-slim
+
+ENV PYTHONDONTWRITEBYTECODE=1 \
+    PYTHONUNBUFFERED=1 \
+    HOME=/app \
+    HF_HOME=/app/.cache \
+    TRANSFORMERS_CACHE=/app/.cache \
+    HUGGINGFACE_HUB_CACHE=/app/.cache \
+    SENTENCE_TRANSFORMERS_HOME=/app/.cache
+
+WORKDIR /app
+
+RUN apt-get update && apt-get install -y --no-install-recommends build-essential \
+ && rm -rf /var/lib/apt/lists/*
+
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+COPY . .
+
+# Cache və data qovluqları
+RUN mkdir -p /app/.cache /app/data/uploads /app/data/index && chmod -R 777 /app/.cache /app/data
+
+ENV PORT=7860
+EXPOSE 7860
+
+CMD ["uvicorn", "app.api:app", "--host", "0.0.0.0", "--port", "7860"]
+
 COPY . .
 RUN mkdir -p /app/data/uploads /app/data/index
 ENV PORT=7860

app/rag_system.py

@@ -1,87 +1,167 @@
 # app/rag_system.py
+from __future__ import annotations
+
+import os
 from pathlib import Path
 from typing import List, Tuple
-import os
+
 import faiss
 import numpy as np
-from sentence_transformers import SentenceTransformer
 from pypdf import PdfReader
+from sentence_transformers import SentenceTransformer
 
-DATA_DIR = Path(__file__).resolve().parent.parent / "data"
+
+# -----------------------------
+# Konfiqurasiya & qovluqlar
+# -----------------------------
+ROOT_DIR = Path(__file__).resolve().parent.parent
+DATA_DIR = ROOT_DIR / "data"
 UPLOAD_DIR = DATA_DIR / "uploads"
 INDEX_DIR = DATA_DIR / "index"
-INDEX_DIR.mkdir(parents=True, exist_ok=True)
-UPLOAD_DIR.mkdir(parents=True, exist_ok=True)
 
+# HF Spaces-də yazma icazəsi olan cache qovluğu
+CACHE_DIR = Path(os.getenv("HF_HOME", str(ROOT_DIR / ".cache")))
+for d in (DATA_DIR, UPLOAD_DIR, INDEX_DIR, CACHE_DIR):
+    d.mkdir(parents=True, exist_ok=True)
+
+# Model adı ENV-dən dəyişdirilə bilər
 MODEL_NAME = os.getenv("EMBED_MODEL", "sentence-transformers/all-MiniLM-L6-v2")
 
+
 class SimpleRAG:
-    def __init__(self, index_path: Path = INDEX_DIR / "faiss.index", meta_path: Path = INDEX_DIR / "meta.npy"):
-        self.model = SentenceTransformer(MODEL_NAME)
-        self.index_path = index_path
-        self.meta_path = meta_path
-        self.index = None
+    """
+    Sadə RAG nüvəsi:
+    - PDF -> mətn parçalama
+    - Sentence-Transformers embeddings
+    - FAISS Index (IP / cosine bərabərləşdirilmiş)
+    """
+
+    def __init__(
+        self,
+        index_path: Path = INDEX_DIR / "faiss.index",
+        meta_path: Path = INDEX_DIR / "meta.npy",
+        model_name: str = MODEL_NAME,
+        cache_dir: Path = CACHE_DIR,
+    ):
+        self.index_path = Path(index_path)
+        self.meta_path = Path(meta_path)
+        self.model_name = model_name
+        self.cache_dir = Path(cache_dir)
+
+        # Model
+        # cache_folder Spaces-də /.cache icazə xətasının qarşısını alır
+        self.model = SentenceTransformer(self.model_name, cache_folder=str(self.cache_dir))
+        self.embed_dim = self.model.get_sentence_embedding_dimension()
+
+        # FAISS index və meta (chunks)
+        self.index: faiss.Index = None  # type: ignore
         self.chunks: List[str] = []
+
         self._load()
 
-    def _load(self):
-        # meta (chunks) yüklə
+    # -----------------------------
+    # Yükləmə / Saxlama
+    # -----------------------------
+    def _load(self) -> None:
+        # Chunks (meta) yüklə
         if self.meta_path.exists():
-            self.chunks = np.load(self.meta_path, allow_pickle=True).tolist()
-        # faiss index yüklə
+            try:
+                self.chunks = np.load(self.meta_path, allow_pickle=True).tolist()
+            except Exception:
+                # zədələnmişsə sıfırla
+                self.chunks = []
+
+        # FAISS index yüklə
         if self.index_path.exists():
-            # dim modelin çıxış ölçüsü
-            dim = self.model.get_sentence_embedding_dimension()
-            self.index = faiss.read_index(str(self.index_path))
-            # təhlükəsizlik: ölçüsü uyğun olmalıdır
-            if self.index.d != dim:
-                # uyğunsuzluqda sıfırdan başla
-                self.index = faiss.IndexFlatIP(dim)
+            try:
+                idx = faiss.read_index(str(self.index_path))
+                # ölçü uyğunluğunu yoxla
+                if hasattr(idx, "d") and idx.d == self.embed_dim:
+                    self.index = idx
+                else:
+                    # uyğunsuzluqda sıfırdan qur
+                    self.index = faiss.IndexFlatIP(self.embed_dim)
+            except Exception:
+                self.index = faiss.IndexFlatIP(self.embed_dim)
         else:
-            dim = self.model.get_sentence_embedding_dimension()
-            self.index = faiss.IndexFlatIP(dim)
+            self.index = faiss.IndexFlatIP(self.embed_dim)
 
-    def _persist(self):
+    def _persist(self) -> None:
         faiss.write_index(self.index, str(self.index_path))
         np.save(self.meta_path, np.array(self.chunks, dtype=object))
 
+    # -----------------------------
+    # PDF -> Mətn -> Parçalama
+    # -----------------------------
     @staticmethod
-    def _pdf_to_texts(pdf_path: Path) -> List[str]:
+    def _pdf_to_texts(pdf_path: Path, step: int = 800) -> List[str]:
         reader = PdfReader(str(pdf_path))
-        full_text = []
+        pages_text: List[str] = []
         for page in reader.pages:
             t = page.extract_text() or ""
             if t.strip():
-                full_text.append(t)
-        # sadə parçalama: ~500 hərf
-        chunks = []
-        for txt in full_text:
-            step = 800
+                pages_text.append(t)
+
+        chunks: List[str] = []
+        for txt in pages_text:
             for i in range(0, len(txt), step):
-                chunks.append(txt[i:i+step])
+                chunk = txt[i : i + step].strip()
+                if chunk:
+                    chunks.append(chunk)
         return chunks
 
+    # -----------------------------
+    # Index-ə əlavə
+    # -----------------------------
     def add_pdf(self, pdf_path: Path) -> int:
         texts = self._pdf_to_texts(pdf_path)
         if not texts:
             return 0
-        emb = self.model.encode(texts, convert_to_numpy=True, normalize_embeddings=True)
-        self.index.add(emb)
+
+        emb = self.model.encode(
+            texts, convert_to_numpy=True, normalize_embeddings=True, show_progress_bar=False
+        )
+        # FAISS-ə əlavə
+        self.index.add(emb.astype(np.float32))
+        # Meta-ya əlavə
         self.chunks.extend(texts)
+        # Diskə yaz
         self._persist()
         return len(texts)
 
+    # -----------------------------
+    # Axtarış
+    # -----------------------------
     def search(self, query: str, k: int = 5) -> List[Tuple[str, float]]:
+        if self.index is None:
+            return []
+
         q = self.model.encode([query], convert_to_numpy=True, normalize_embeddings=True)
-        D, I = self.index.search(q, k)
-        results = []
-        if I.size > 0 and len(self.chunks) > 0:
+        # FAISS float32 gözləyir
+        D, I = self.index.search(q.astype(np.float32), min(k, max(1, self.index.ntotal)))
+        results: List[Tuple[str, float]] = []
+
+        if I.size > 0 and self.chunks:
             for idx, score in zip(I[0], D[0]):
                 if 0 <= idx < len(self.chunks):
                     results.append((self.chunks[idx], float(score)))
         return results
 
-# sadə cavab formalaşdırıcı (LLM yoxdursa, kontekst + heuristika)
+    # -----------------------------
+    # Cavab Sinttezi (LLM-siz demo)
+    # -----------------------------
+    def synthesize_answer(self, question: str, contexts: List[str]) -> str:
+        if not contexts:
+            return "Kontekst tapılmadı. Sualı daha dəqiq verin və ya PDF yükləyin."
+        joined = "\n---\n".join(contexts[:3])
+        return (
+            f"Sual: {question}\n\n"
+            f"Cavab (kontekstdən çıxarış):\n{joined}\n\n"
+            f"(Qeyd: Demo rejimi — LLM inteqrasiyası üçün sonradan OpenAI/Groq və s. əlavə edilə bilər.)"
+        )
+
+
+# Köhnə import yolunu dəstəkləmək üçün eyni funksiyanı modul səviyyəsində də saxlayırıq
 def synthesize_answer(question: str, contexts: List[str]) -> str:
     if not contexts:
         return "Kontekst tapılmadı. Sualı daha dəqiq verin və ya PDF yükləyin."
@@ -89,5 +169,17 @@ def synthesize_answer(question: str, contexts: List[str]) -> str:
     return (
         f"Sual: {question}\n\n"
         f"Cavab (kontekstdən çıxarış):\n{joined}\n\n"
-        f"(Qeyd: Demo rejimi — LLM inteqrasiyası üçün / later: OpenAI/Groq və s.)"
+        f"(Qeyd: Demo rejimi — LLM inteqrasiyası üçün sonradan OpenAI/Groq və s. əlavə edilə bilər.)"
     )
+
+
+# Faylı import edən tərəfin rahatlığı üçün bu qovluqları export edirik
+__all__ = [
+    "SimpleRAG",
+    "synthesize_answer",
+    "DATA_DIR",
+    "UPLOAD_DIR",
+    "INDEX_DIR",
+    "CACHE_DIR",
+    "MODEL_NAME",
+]