Update app.py

app.py

@@ -1,18 +1,10 @@
-import os
-import re
-import uuid
-import torch
+import os, re, uuid, torch, scipy.io.wavfile, edge_tts, asyncio
 import numpy as np
-import scipy.io.wavfile
 import gradio as gr
-import edge_tts
-import asyncio
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 from groq import Groq
 
-# API 키 설정
-GROQ_API_KEY = os.getenv("GROQ_API_KEY")
-
+# 싱글톤 모델 관리자: CPU 메모리 부족으로 인한 크래시 방지
 class ModelManager:
     _llm_pipeline = None
     _music_pipeline = None
@@ -29,13 +21,15 @@ class ModelManager:
 
     @classmethod
     def get_groq(cls):
-        if cls._groq_client is None and GROQ_API_KEY:
-            cls._groq_client = Groq(api_key=GROQ_API_KEY)
+        key = os.getenv("GROQ_API_KEY")
+        if cls._groq_client is None and key:
+            cls._groq_client = Groq(api_key=key)
         return cls._groq_client
 
     @classmethod
     def get_music(cls):
         if cls._music_pipeline is None:
+            # CPU 환경에서 가장 안정적인 small 모델 사용
             cls._music_pipeline = pipeline("text-to-audio", "facebook/musicgen-small", device="cpu")
         return cls._music_pipeline
 
@@ -51,12 +45,12 @@ async def band_consulting(user_input, member_name, lang_code, g_inst, b_inst, d_
     voice_path = f"/tmp/v_{req_id}.mp3"
     music_path = f"/tmp/m_{req_id}.wav"
     
-    # 1. JAM 요청사항 통합 프롬프트 (설명 보강 지시 추가)
-    jam_info = f"기타 스타일: {g_inst}, 베이스: {b_inst}, 드럼: {d_inst}, 코드진행: {chords}"
-    system_prompt = f"""당신은 락밴드 멤버 {member_name}입니다. {lang_code}로 답변하세요.
-    단순 요약이 아니라 뮤지션으로서 전문적이고 깊이 있는 상담을 5~7문장으로 상세히 말해주세요.
-    [TAB] 섹션에는 타블라악보나 상세 코드 진행을 반드시 포함하세요.
-    [MUSIC] 섹션에는 다음 JAM 요청을 반영한 영어 프롬프트를 작성하세요: {jam_info}"""
+    # JAM 지시사항과 상담 언어 반영
+    jam_context = f"Guitar: {g_inst}, Bass: {b_inst}, Drums: {d_inst}, Chords: {chords}"
+    system_prompt = f"""당신은 락스타 {member_name}입니다. 반드시 {lang_code} 언어로만 답변하세요.
+    전문 뮤지션으로서 5~7문장의 깊이 있고 성숙한 상담을 제공하세요.
+    [TAB] 섹션에는 코드 진행이나 타블라악보를 상세히 적으세요.
+    [MUSIC] 섹션에는 다음 JAM 요청을 반영한 영어 프롬프트를 작성하세요: {jam_context}"""
     
     ai_text_raw = ""
     groq_client = ModelManager.get_groq()
@@ -71,24 +65,25 @@ async def band_consulting(user_input, member_name, lang_code, g_inst, b_inst, d_
 
     if not ai_text_raw:
         qwen = ModelManager.get_qwen()
-        out = qwen(f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{user_input}<|im_end|>\nassistant\n", max_new_tokens=1024)
+        input_text = f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{user_input}<|im_end|>\nassistant\n"
+        out = qwen(input_text, max_new_tokens=1024, do_sample=True)
         ai_text_raw = out[0]['generated_text'].split("assistant\n")[-1]
 
-    # 파싱 로직
+    # 정규식 파싱
     tab_match = re.search(r'\[TAB\](.*?)(\[|$)', ai_text_raw, re.DOTALL | re.IGNORECASE)
     music_match = re.search(r'\[MUSIC:(.*?)\]', ai_text_raw, re.IGNORECASE)
-    tab_display = tab_match.group(1).strip() if tab_match else "No Score Data"
+    tab_display = tab_match.group(1).strip() if tab_match else "No Tab Data"
     clean_text = re.sub(r'\[TAB\].*?(\[|$)', '', ai_text_raw, flags=re.DOTALL | re.IGNORECASE)
     clean_text = re.sub(r'\[MUSIC:.*?\]', '', clean_text, flags=re.IGNORECASE).strip()
     
-    # 2. TTS 생성 (5~7문장 반영)
+    # TTS 생성
     voice_name = MEMBERS_VOICE.get(member_name, "ko-KR-SunHiNeural")
     communicate = edge_tts.Communicate(re.sub(r'[\*\#\-\_\~\|]', '', clean_text), voice_name)
     await communicate.save(voice_path)
 
-    # 3. 음악 생성 (12초 연주)
+    # MusicGen 생성 (512토큰 = 약 12초)
     music_gen = ModelManager.get_music()
-    music_p = music_match.group(1).strip() if music_match else "modern rock band sound"
+    music_p = music_match.group(1).strip() if music_match else "energetic rock guitar solo"
     music_output = music_gen(music_p, forward_params={"max_new_tokens": 512})
     audio_data = np.squeeze(music_output["audio"])
     audio_int16 = (audio_data * 32767).astype(np.int16)
@@ -96,15 +91,11 @@ async def band_consulting(user_input, member_name, lang_code, g_inst, b_inst, d_
 
     return clean_text, voice_path, music_path, tab_display
 
-with gr.Blocks(css="#neon-glow { transition: all 0.5s; }") as demo:
-    # Hidden Inputs for logic
-    i_input = gr.Textbox(visible=False); i_mem = gr.Textbox(visible=False); i_lang = gr.Textbox(visible=False)
-    # JAM Inputs
-    i_g = gr.Textbox(visible=False); i_b = gr.Textbox(visible=False); i_d = gr.Textbox(visible=False); i_c = gr.Textbox(visible=False)
-    
-    o_text = gr.Textbox(visible=False); o_voice = gr.Audio(visible=False); o_music = gr.Audio(visible=False); o_tab = gr.Textbox(visible=False)
-    
+with gr.Blocks() as demo:
+    # 7개의 입력 (상담, 멤버, 상담언어, 기타, 베이스, 드럼, 코드)
+    in_list = [gr.Textbox(visible=False) for _ in range(7)]
+    out_list = [gr.Textbox(visible=False), gr.Audio(visible=False), gr.Audio(visible=False), gr.Textbox(visible=False)]
     btn = gr.Button("API", visible=False)
-    btn.click(band_consulting, [i_input, i_mem, i_lang, i_g, i_b, i_d, i_c], [o_text, o_voice, o_music, o_tab], api_name="predict")
+    btn.click(band_consulting, in_list, out_list, api_name="predict")
 
 demo.queue().launch()