Update app.py

app.py

@@ -1,13 +1,11 @@
 import os
 import httpx
-from fastapi import FastAPI, Request
+from fastapi import FastAPI, Request, HTTPException
 from fastapi.middleware.cors import CORSMiddleware
-from fastapi.responses import StreamingResponse, JSONResponse
+from fastapi.responses import StreamingResponse
 
-# सर्वर की मुख्य नींव
 app = FastAPI()
 
-# क्रॉस-ओरिजिन (CORS) नीतियां ताकि आपका सुरक्षित फ्रंटएंड इससे जुड़ सके
 app.add_middleware(
     CORSMiddleware,
     allow_origins=["*"],
@@ -15,73 +13,49 @@ app.add_middleware(
     allow_headers=["*"],
 )
 
-# सभी संवेदनशील जानकारी सीधे सीक्रेट्स (Environment Variables) से ली जाएगी
-SECRET_API_KEY = os.getenv("SECRET_API_KEY")
-SECRET_API_URL = os.getenv("SECRET_API_URL")
-SECRET_MODEL_NAME = os.getenv("SECRET_MODEL_NAME")
-SECRET_SYSTEM_PROMPT = os.getenv("SECRET_SYSTEM_PROMPT")
-
-@app.post("/chat")
-async def process_chat(request: Request):
-    # जांच लें कि सीक्रेट्स सही से लोड हुए हैं या नहीं
-    if not SECRET_API_KEY or not SECRET_API_URL or not SECRET_MODEL_NAME:
-        return JSONResponse(
-            status_code=500, 
-            content={"error": "सर्वर त्रुटि: कृपया हगिंग फेस स्पेस के Secrets में API_KEY, API_URL और MODEL_NAME सेट करें।"}
-        )
-
-    try:
-        data = await request.json()
-        user_messages = data.get("messages", [])
-        
-        # संदेशों को तैयार करना (अगर सिस्टम प्रॉम्प्ट सीक्रेट्स में है, तो उसे सबसे ऊपर जोड़ें)
-        full_messages = []
-        if SECRET_SYSTEM_PROMPT:
-            full_messages.append({"role": "system", "content": SECRET_SYSTEM_PROMPT})
-        
-        full_messages.extend(user_messages)
-        
-        # पेलोड का निर्माण (स्ट्रीमिंग और इमेजेस के सपोर्ट के साथ)
-        payload = {
-            "model": SECRET_MODEL_NAME,
-            "messages": full_messages,
-            "max_tokens": data.get("max_tokens", 4096),
-            "temperature": data.get("temperature", 1.00),
-            "top_p": data.get("top_p", 0.95),
-            "stream": True,
-            "chat_template_kwargs": {"enable_thinking": True}
-        }
-
-        headers = {
-            "Authorization": f"Bearer {SECRET_API_KEY}",
-            "Content-Type": "application/json",
-            "Accept": "text/event-stream"
-        }
-
-        # स्ट्रीमिंग डेटा जनरेटर (Stream Generator)
-        async def event_stream_generator():
-            async with httpx.AsyncClient(timeout=120.0) as client:
-                async with client.stream("POST", SECRET_API_URL, headers=headers, json=payload) as response:
-                    
-                    # यदि कोई त्रुटि आती है तो उसे पकड़कर फ्रंटएंड को भेजें
-                    if response.status_code != 200:
-                        error_detail = await response.aread()
-                        yield f"data: {{\"error\": \"बाहरी सर्वर से संपर्क में त्रुटि, कोड: {response.status_code}\"}}\n\n"
-                        return
-
-                    # सफलता पूर्वक स्ट्रीम प्राप्त करना
-                    async for line in response.aiter_lines():
-                        if line:
-                            # डेटा को सही SSE (Server-Sent Events) प्रारूप में भेजें
-                            yield f"{line}\n\n"
-
-        # स्ट्रीमिंग रिस्पॉन्स को सीधे फ्रंटएंड की ओर प्रवाहित करें
-        return StreamingResponse(event_stream_generator(), media_type="text/event-stream")
-
-    except Exception as e:
-        return JSONResponse(status_code=500, content={"error": f"आंतरिक सर्वर त्रुटि: {str(e)}"})
+# टोकन और अन्य कॉन्फ़िगरेशन
+SECRET_TOKEN = "uISssvLLmXK0bsrcFICh14o7aj4q2ZT4"
+API_KEY = os.getenv("SECRET_API_KEY")
+API_URL = os.getenv("SECRET_API_URL")
+MODEL_NAME = os.getenv("SECRET_MODEL_NAME")
+SYSTEM_PROMPT = os.getenv("SECRET_SYSTEM_PROMPT")
+
+@app.post("/v1/chat/completions")
+async def chat_completions(request: Request):
+    # टोकन वेरिफिकेशन: इसके बिना कोई रिस्पॉन्स नहीं जाएगा
+    auth_header = request.headers.get("Authorization")
+    if auth_header != f"Bearer {SECRET_TOKEN}":
+        raise HTTPException(status_code=401, detail="Unauthorized: Invalid Token")
+
+    data = await request.json()
+    user_messages = data.get("messages", [])
+    
+    # OpenAI Format को NVIDIA के स्ट्रक्चर में बदलना
+    full_messages = [{"role": "system", "content": SYSTEM_PROMPT}] + user_messages
+    
+    payload = {
+        "model": MODEL_NAME,
+        "messages": full_messages,
+        "max_tokens": data.get("max_tokens", 4096),
+        "temperature": data.get("temperature", 1.0),
+        "stream": True,
+        "chat_template_kwargs": {"enable_thinking": True}
+    }
+
+    async def stream_generator():
+        async with httpx.AsyncClient(timeout=120.0) as client:
+            async with client.stream(
+                "POST", 
+                API_URL, 
+                headers={"Authorization": f"Bearer {API_KEY}", "Content-Type": "application/json"},
+                json=payload
+            ) as response:
+                async for line in response.aiter_lines():
+                    if line:
+                        yield f"{line}\n\n"
+
+    return StreamingResponse(stream_generator(), media_type="text/event-stream")
 
 if __name__ == "__main__":
     import uvicorn
-    # पोर्ट 7860 का उपयोग (जो कि इस प्लेटफ़ॉर्म का मानक है)
-    uvicorn.run(app, host="0.0.0.0", port=7860)
+    uvicorn.run(app, host="0.0.0.0", port=7860)