Update app.py

app.py

@@ -2,12 +2,12 @@ import os
 import httpx
 from fastapi import FastAPI, Request
 from fastapi.middleware.cors import CORSMiddleware
-from fastapi.responses import StreamingResponse
+from fastapi.responses import StreamingResponse, JSONResponse
 
-# सिस्टम की नींव: FastAPI एप्लीकेशन
+# सर्वर की मुख्य नींव
 app = FastAPI()
 
-# सुरक्षा के लिए CORS का सेटअप
+# क्रॉस-ओरिजिन (CORS) नीतियां ताकि आपका सुरक्षित फ्रंटएंड इससे जुड़ सके
 app.add_middleware(
     CORSMiddleware,
     allow_origins=["*"],
@@ -15,47 +15,73 @@ app.add_middleware(
     allow_headers=["*"],
 )
 
-# सीक्रेट्स से डेटा प्राप्त करना
-API_KEY = os.getenv("API_KEY")
-MODEL_NAME = os.getenv("MODEL_NAME", "meta/llama-4-maverick-17b-128e-instruct")
-API_URL = "https://integrate.api.nvidia.com/v1/chat/completions"
-
-# सिस्टम निर्देश - आपके द्वारा बताए गए नाम के साथ
-SYSTEM_INSTRUCTION = "You are Aura Gen 2.0, a state-of-the-art AI assistant developed by Divy. You possess world-class expertise in software engineering, advanced algorithmic logic, and complex problem-solving. Always provide highly optimized, secure, and precise solutions in English by default. You are capable of analyzing both text and images provided by the user. Use Markdown formatting extensively."
+# सभी संवेदनशील जानकारी सीधे सीक्रेट्स (Environment Variables) से ली जाएगी
+SECRET_API_KEY = os.getenv("SECRET_API_KEY")
+SECRET_API_URL = os.getenv("SECRET_API_URL")
+SECRET_MODEL_NAME = os.getenv("SECRET_MODEL_NAME")
+SECRET_SYSTEM_PROMPT = os.getenv("SECRET_SYSTEM_PROMPT")
 
 @app.post("/chat")
 async def process_chat(request: Request):
-    data = await request.json()
-    user_messages = data.get("messages", [])
-    
-    # संदेशों को व्यवस्थित करना
-    full_messages = [{"role": "system", "content": SYSTEM_INSTRUCTION}] + user_messages
-    
-    # पेलोड बनाना (इमेज और टेक्स्ट दोनों के लिए तैयार)
-    payload = {
-        "model": MODEL_NAME,
-        "messages": full_messages,
-        "max_tokens": 1024,
-        "temperature": 0.7,
-        "top_p": 0.9,
-        "stream": True
-    }
-
-    # स्ट्रीमिंग क्लाइंट बनाना
-    async def generate_stream():
-        async with httpx.AsyncClient(timeout=60.0) as client:
-            async with client.stream(
-                "POST", 
-                API_URL, 
-                headers={"Authorization": f"Bearer {API_KEY}", "Content-Type": "application/json"},
-                json=payload
-            ) as response:
-                async for line in response.aiter_lines():
-                    if line:
-                        yield line + "\n"
-
-    return StreamingResponse(generate_stream(), media_type="text/event-stream")
+    # जांच लें कि सीक्रेट्स सही से लोड हुए हैं या नहीं
+    if not SECRET_API_KEY or not SECRET_API_URL or not SECRET_MODEL_NAME:
+        return JSONResponse(
+            status_code=500, 
+            content={"error": "सर्वर त्रुटि: कृपया हगिंग फेस स्पेस के Secrets में API_KEY, API_URL और MODEL_NAME सेट करें।"}
+        )
+
+    try:
+        data = await request.json()
+        user_messages = data.get("messages", [])
+        
+        # संदेशों को तैयार करना (अगर सिस्टम प्रॉम्प्ट सीक्रेट्स में है, तो उसे सबसे ऊपर जोड़ें)
+        full_messages = []
+        if SECRET_SYSTEM_PROMPT:
+            full_messages.append({"role": "system", "content": SECRET_SYSTEM_PROMPT})
+        
+        full_messages.extend(user_messages)
+        
+        # पेलोड का निर्माण (स्ट्रीमिंग और इमेजेस के सपोर्ट के साथ)
+        payload = {
+            "model": SECRET_MODEL_NAME,
+            "messages": full_messages,
+            "max_tokens": data.get("max_tokens", 4096),
+            "temperature": data.get("temperature", 1.00),
+            "top_p": data.get("top_p", 0.95),
+            "stream": True,
+            "chat_template_kwargs": {"enable_thinking": True}
+        }
+
+        headers = {
+            "Authorization": f"Bearer {SECRET_API_KEY}",
+            "Content-Type": "application/json",
+            "Accept": "text/event-stream"
+        }
+
+        # स्ट्रीमिंग डेटा जनरेटर (Stream Generator)
+        async def event_stream_generator():
+            async with httpx.AsyncClient(timeout=120.0) as client:
+                async with client.stream("POST", SECRET_API_URL, headers=headers, json=payload) as response:
+                    
+                    # यदि कोई त्रुटि आती है तो उसे पकड़कर फ्रंटएंड को भेजें
+                    if response.status_code != 200:
+                        error_detail = await response.aread()
+                        yield f"data: {{\"error\": \"बाहरी सर्वर से संपर्क में त्रुटि, कोड: {response.status_code}\"}}\n\n"
+                        return
+
+                    # सफलता पूर्वक स्ट्रीम प्राप्त करना
+                    async for line in response.aiter_lines():
+                        if line:
+                            # डेटा को सही SSE (Server-Sent Events) प्रारूप में भेजें
+                            yield f"{line}\n\n"
+
+        # स्ट्रीमिंग रिस्पॉन्स को सीधे फ्रंटएंड की ओर प्रवाहित करें
+        return StreamingResponse(event_stream_generator(), media_type="text/event-stream")
+
+    except Exception as e:
+        return JSONResponse(status_code=500, content={"error": f"आंतरिक सर्वर त्रुटि: {str(e)}"})
 
 if __name__ == "__main__":
     import uvicorn
+    # पोर्ट 7860 का उपयोग (जो कि इस प्लेटफ़ॉर्म का मानक है)
     uvicorn.run(app, host="0.0.0.0", port=7860)