Update app.py

app.py

@@ -5,13 +5,13 @@ import json
 from pathlib import Path
 from datetime import datetime
 import requests
+import re
 
 # === ЗАГРУЗКА МОДЕЛИ ===
 print("🚀 Загрузка модели...")
 model_id = "OpenRussianAI/OpenAirAI-X"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 
-# Важно: устанавливаем pad_token, если его нет, чтобы избежать ошибок при генерации
 if tokenizer.pad_token is None:
     tokenizer.pad_token = tokenizer.eos_token
 
@@ -56,7 +56,20 @@ def check_if_pro(token):
         print(f"Ошибка проверки PRO: {e}")
     return False
 
-# === ГЕНЕРАЦИЯ ОТВЕТА (ИСПРАВЛЕННАЯ) ===
+# === ОЧИСТКА ОТ ЦИКЛОВ (НОВАЯ ФУНКЦИЯ) ===
+def clean_repetitive_text(text):
+    # Если какое-то слово повторяется более 3 раз подряд, обрезаем текст перед этим
+    words = text.split()
+    if len(words) < 4:
+        return text
+    
+    for i in range(len(words) - 3):
+        if words[i] == words[i+1] == words[i+2] == words[i+3]:
+            # Нашли повторение, возвращаем текст до этого места
+            return " ".join(words[:i]) + "."
+    return text
+
+# === ГЕНЕРАЦИЯ ОТВЕТА ===
 def generate_response(message, history, username, current_chat_id):
     if not username:
         gr.Warning("Сначала введите имя пользователя!")
@@ -65,10 +78,8 @@ def generate_response(message, history, username, current_chat_id):
     if not message.strip():
         return history, gr.update(), current_chat_id, gr.update()
     
-    # Добавляем сообщение пользователя в историю
     history = history + [{"role": "user", "content": message}]
     
-    # Формируем промпт
     prompt = ""
     for msg in history:
         if msg["role"] == "user":
@@ -82,34 +93,35 @@ def generate_response(message, history, username, current_chat_id):
     with torch.no_grad():
         outputs = model.generate(
             **inputs,
-            max_new_tokens=128,          # Ограничиваем длину, чтобы модель не "уходила в бред"
-            temperature=0.7,
-            top_p=0.9,
+            max_new_tokens=100,          # Меньше токенов = меньше шансов уйти в бред
+            min_new_tokens=10,           # Заставляем модель написать хоть что-то
+            temperature=0.8,             # Немного повышаем креативность
+            top_p=0.95,
             do_sample=True,
             pad_token_id=tokenizer.eos_token_id,
-            eos_token_id=tokenizer.eos_token_id, # Токен конца строки
-            repetition_penalty=1.2       # Штраф за повторения (убирает цикл "Я OpenAI")
+            eos_token_id=tokenizer.eos_token_id,
+            repetition_penalty=1.5       # СИЛЬНЫЙ штраф за повторения
         )
     
-    # Декодируем ТОЛЬКО новую часть текста (ответ модели)
+    # Декодируем только новую часть
     generated_ids = outputs[0][inputs.input_ids.shape[-1]:]
     response_text = tokenizer.decode(generated_ids, skip_special_tokens=True)
     
-    # Очистка ответа
-    ai_response = response_text.strip()
-    
-    # Если модель начала писать следующий вопрос или метку, обрезаем
+    # 1. Обрезаем по стоп-словам
     stop_words = ["Пользователь:", "User:", "\n\n"]
+    ai_response = response_text
     for stop_word in stop_words:
         if stop_word in ai_response:
             ai_response = ai_response.split(stop_word)[0].strip()
             
+    # 2. Убираем циклические повторения (например, "Я OpenAI Я OpenAI")
+    ai_response = clean_repetitive_text(ai_response)
+    
     if not ai_response:
-        ai_response = "..."
+        ai_response = "Извините, я не смог сформулировать ответ."
 
     history = history + [{"role": "assistant", "content": ai_response}]
     
-    # Сохранение истории
     if username and current_chat_id:
         history_data = load_history(username)
         if current_chat_id not in history_data: