AxisCommunity commited on
Commit
90fe093
·
verified ·
1 Parent(s): c0bd45a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +11 -9
app.py CHANGED
@@ -2,7 +2,7 @@ import gradio as gr
2
  from transformers import pipeline
3
  import torch
4
 
5
- # 1. ЗАГРУЗКА МОЗГА (Он уже скачан в кэш, так что будет быстро!)
6
  model_name = "HuggingFaceTB/SmolLM-135M-Instruct"
7
  device = 0 if torch.cuda.is_available() else -1
8
  generator = pipeline("text-generation", model=model_name, device=device)
@@ -31,25 +31,27 @@ body {
31
 
32
  # 3. ЛОГИКА УМНОГО ЧАТА
33
  def axis_chat(message, history):
34
- # Специальный формат запроса для этой модели (чтобы она не тупила)
35
  prompt = f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
36
 
37
  # Генерация ответа
38
  output = generator(prompt, max_new_tokens=150, do_sample=True, temperature=0.7)
39
 
40
- # Очищаем ответ от системных тегов
41
  full_text = output[0]['generated_text']
42
- answer = full_text.split("<|im_start|>assistant\n")[-1].replace("<|im_end|>", "").strip()
 
 
 
43
  return answer
44
 
45
  # 4. СОЗДАНИЕ ИНТЕРФЕЙСА
46
  with gr.Blocks() as demo:
47
  gr.HTML("<div class='quality-text'>PROJECT AXIS: EVOLVED AI</div>")
48
- gr.ChatInterface(
49
- fn=axis_chat,
50
- type="messages" # Новый стандарт Gradio 6
51
- )
52
 
53
  if __name__ == "__main__":
54
- # В Gradio 6.0 CSS передается именно сюда!
55
  demo.launch(css=css)
 
2
  from transformers import pipeline
3
  import torch
4
 
5
+ # 1. ЗАГРУЗКА МОЗГА (Он уже в кэше, запустится быстро)
6
  model_name = "HuggingFaceTB/SmolLM-135M-Instruct"
7
  device = 0 if torch.cuda.is_available() else -1
8
  generator = pipeline("text-generation", model=model_name, device=device)
 
31
 
32
  # 3. ЛОГИКА УМНОГО ЧАТА
33
  def axis_chat(message, history):
34
+ # Промпт для общения
35
  prompt = f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
36
 
37
  # Генерация ответа
38
  output = generator(prompt, max_new_tokens=150, do_sample=True, temperature=0.7)
39
 
40
+ # Очистка текста от тегов
41
  full_text = output[0]['generated_text']
42
+ if "<|im_start|>assistant\n" in full_text:
43
+ answer = full_text.split("<|im_start|>assistant\n")[-1].replace("<|im_end|>", "").strip()
44
+ else:
45
+ answer = full_text
46
  return answer
47
 
48
  # 4. СОЗДАНИЕ ИНТЕРФЕЙСА
49
  with gr.Blocks() as demo:
50
  gr.HTML("<div class='quality-text'>PROJECT AXIS: EVOLVED AI</div>")
51
+
52
+ # Простое и надежное создание чата
53
+ gr.ChatInterface(fn=axis_chat)
 
54
 
55
  if __name__ == "__main__":
56
+ # Передаем CSS в launch, как просил сервер в прошлый раз
57
  demo.launch(css=css)