Update app.py

app.py

@@ -6,7 +6,7 @@ import os
 import time
 from threading import Thread
 
-# === 1. БАЗА ДИАЛОГОВ (расширенная) ===
+# === 1. БАЗА ДИАЛОГОВ ===
 
 dialog_templates = [
     {
@@ -109,14 +109,12 @@ dialog_templates = [
     },
 ]
 
-# === 2. ФУНКЦИИ ГЕНЕРАЦИИ ДИАЛОГОВ ===
+# === 2. ФУНКЦИИ ГЕНЕРАЦИИ ===
 
 def generate_dialog():
-    """Генерирует короткий диалог (2-4 реплики)"""
     template = random.choice(dialog_templates)
     q, a = random.choice(template["dialog"])
     
-    # Вариации ответа
     variations = [
         a,
         f"{a} А что вы думаете?",
@@ -126,7 +124,6 @@ def generate_dialog():
     ]
     answer = random.choice(variations)
     
-    # Разнообразие вопросов
     prefixes = ["Скажите, ", "А можно узнать, ", "Подскажите, ", "Интересно, ", ""]
     prefix = random.choice(prefixes)
     
@@ -134,11 +131,9 @@ def generate_dialog():
     return dialog
 
 def generate_long_dialog():
-    """Генерирует длинный диалог (5-12 реплик)"""
     turns = random.randint(5, 12)
     lines = []
     
-    # Выбираем тему
     topics = ["работа", "учёба", "хобби", "путешествия", "наука", "искусство", "технологии", "здоровье"]
     topic = random.choice(topics)
     lines.append(f"Тема: {topic.capitalize()}")
@@ -167,7 +162,6 @@ def generate_long_dialog():
     return "\n".join(lines)
 
 def generate_dialog_batch():
-    """Генерирует несколько диалогов за раз"""
     count = random.randint(2, 5)
     dialogs = []
     for _ in range(count):
@@ -177,7 +171,7 @@ def generate_dialog_batch():
             dialogs.append(generate_dialog())
     return "\n\n---\n\n".join(dialogs)
 
-# === 3. СОСТОЯНИЕ ГЕНЕРАЦИИ ===
+# === 3. ГЕНЕРАТОР ===
 
 class DatasetGenerator:
     def __init__(self):
@@ -187,11 +181,9 @@ class DatasetGenerator:
         self.is_running = False
         self.count = 0
         
-        # Загружаем существующие данные
         self.load_existing()
     
     def load_existing(self):
-        """Загружает уже сгенерированные данные"""
         if os.path.exists("/data/dialog_dataset"):
             try:
                 dataset = load_from_disk("/data/dialog_dataset")
@@ -201,11 +193,10 @@ class DatasetGenerator:
                 self.count = len(self.data["text"])
                 self.current_size = len(json.dumps(self.data, ensure_ascii=False).encode('utf-8'))
                 print(f"✅ Загружено {self.count} диалогов, {self.current_size // 1024 // 1024} МБ")
-            except:
-                print("❌ Не удалось загрузить существующий датасет")
+            except Exception as e:
+                print(f"❌ Ошибка загрузки: {e}")
     
     def generate_batch(self, batch_size=100):
-        """Генерирует пачку диалогов"""
         new_texts = []
         new_dialogs = []
         new_turns = []
@@ -228,14 +219,11 @@ class DatasetGenerator:
         return new_texts, new_dialogs, new_turns
     
     def generate_loop(self):
-        """Основной цикл генерации"""
         self.is_running = True
         
         while self.is_running and self.current_size < self.target_size:
-            # Генерируем батч
             texts, dialogs, turns = self.generate_batch(100)
             
-            # Добавляем в данные
             self.data["text"].extend(texts)
             self.data["dialog"].extend(dialogs)
             self.data["turns"].extend(turns)
@@ -243,24 +231,21 @@ class DatasetGenerator:
             self.count += len(texts)
             self.current_size = len(json.dumps(self.data, ensure_ascii=False).encode('utf-8'))
             
-            # Сохраняем каждые 1000 диалогов
             if self.count % 1000 == 0:
                 self.save_dataset()
                 print(f"💾 Сохранено {self.count} диалогов, {self.current_size // 1024 // 1024} МБ")
             
-            time.sleep(0.1)  # Небольшая пауза
+            time.sleep(0.1)
         
         self.is_running = False
         self.save_dataset()
         print("✅ Генерация завершена!")
     
     def save_dataset(self):
-        """Сохраняет датасет"""
         os.makedirs("/data", exist_ok=True)
         dataset = Dataset.from_dict(self.data)
         dataset.save_to_disk("/data/dialog_dataset")
         
-        # Сохраняем также как JSONL
         with open("/data/dialog_dataset.jsonl", "w", encoding="utf-8") as f:
             for i in range(len(self.data["text"])):
                 entry = {
@@ -271,8 +256,7 @@ class DatasetGenerator:
                 f.write(json.dumps(entry, ensure_ascii=False) + "\n")
     
     def get_status(self):
-        """Возвращает статус генерации"""
-        percent = (self.current_size / self.target_size) * 100
+        percent = (self.current_size / self.target_size) * 100 if self.target_size > 0 else 0
         return {
             "count": self.count,
             "size_mb": self.current_size // 1024 // 1024,
@@ -281,65 +265,66 @@ class DatasetGenerator:
             "is_running": self.is_running
         }
 
-# === 4. GRADIO ИНТЕРФЕЙС ===
+# === 4. GRADIO ===
 
 generator = DatasetGenerator()
 
 def start_generation():
-    """Запускает генерацию в отдельном потоке"""
     if generator.is_running:
         return "⏳ Генерация уже запущена!"
     
     thread = Thread(target=generator.generate_loop)
     thread.daemon = True
     thread.start()
-    return "🚀 Генерация запущена!"
+    return "🚀 Генерация Minset запущена!"
 
 def stop_generation():
-    """Останавливает генерацию"""
     generator.is_running = False
     return "⏹️ Генерация остановлена"
 
 def get_status():
-    """Возвращает статус для отображения"""
     status = generator.get_status()
+    progress_bar = "█" * int(status['percent'] // 2) + "░" * (50 - int(status['percent'] // 2))
     return f"""
-    📊 **Статус генерации**
+    📊 **Minset - Статус генерации**
     
     📝 Диалогов: **{status['count']}**
     💾 Размер: **{status['size_mb']} МБ / {status['target_mb']} МБ**
     📈 Прогресс: **{status['percent']:.1f}%**
     🔄 Состояние: **{'✅ Работает' if status['is_running'] else '⏸️ Остановлен'}**
     
-    {('█' * int(status['percent'] // 2))}{('░' * (50 - int(status['percent'] // 2)))}
+    `{progress_bar}`
     """
 
 def get_sample():
-    """Показывает случайный диалог"""
     if generator.count == 0:
         return "Нет сгенерированных диалогов"
     
     idx = random.randint(0, generator.count - 1)
-    return f"**Пример диалога #{idx}**\n\n{generator.data['text'][idx]}"
+    return f"**Пример диалога Minset #{idx}**\n\n{generator.data['text'][idx]}"
 
-# === 5. GRADIO APP ===
+# === 5. ИНТЕРФЕЙС ===
 
-with gr.Blocks(title="Генератор диалогов", theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 🤖 Генератор русского датасета диалогов")
-    gr.Markdown("### Создаёт 100+ МБ диалогов для слабых устройств")
+with gr.Blocks(title="Minset Dataset Generator") as demo:
+    gr.Markdown("""
+    # 🤖 Minset - Генератор датасета диалогов
+    
+    **Minset** — это датасет русских диалогов для обучения моделей.
+    
+    ⚠️ **Важно:** Модели **ОБУЧАЮТСЯ НА ЭТОМ ДАТАСЕТЕ**, а не являются им самим.
+    """)
     
     with gr.Row():
         with gr.Column(scale=1):
-            start_btn = gr.Button("▶️ Запустить генерацию", variant="primary", size="lg")
+            start_btn = gr.Button("▶️ Запустить генерацию Minset", variant="primary", size="lg")
             stop_btn = gr.Button("⏹️ Остановить", variant="stop", size="lg")
             
             refresh_btn = gr.Button("🔄 Обновить статус", variant="secondary")
-            sample_btn = gr.Button("📝 Показать пример", variant="secondary")
+            sample_btn = gr.Button("📝 Показать пример диалога", variant="secondary")
     
     status_output = gr.Markdown(get_status())
     sample_output = gr.Markdown("")
     
-    # Обработчики
     start_btn.click(start_generation, outputs=[status_output])
     start_btn.click(get_status, outputs=[status_output])
     
@@ -348,15 +333,6 @@ with gr.Blocks(title="Генератор диалогов", theme=gr.themes.Soft
     
     refresh_btn.click(get_status, outputs=[status_output])
     sample_btn.click(get_sample, outputs=[sample_output])
-    
-    # Автообновление каждые 10 секунд
-    demo.load(
-        fn=get_status,
-        outputs=[status_output],
-        every=10
-    )
-
-# === 6. ЗАПУСК ===
 
 if __name__ == "__main__":
     demo.launch(share=True)