Update app.py

app.py

@@ -4,7 +4,6 @@ import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 from groq import Groq
 
-# 싱글톤 모델 관리자: CPU 메모리 부족으로 인한 크래시 방지
 class ModelManager:
     _llm_pipeline = None
     _music_pipeline = None
@@ -29,7 +28,6 @@ class ModelManager:
     @classmethod
     def get_music(cls):
         if cls._music_pipeline is None:
-            # CPU 환경에서 가장 안정적인 small 모델 사용
             cls._music_pipeline = pipeline("text-to-audio", "facebook/musicgen-small", device="cpu")
         return cls._music_pipeline
 
@@ -45,11 +43,10 @@ async def band_consulting(user_input, member_name, lang_code, g_inst, b_inst, d_
     voice_path = f"/tmp/v_{req_id}.mp3"
     music_path = f"/tmp/m_{req_id}.wav"
     
-    # JAM 지시사항과 상담 언어 반영
     jam_context = f"Guitar: {g_inst}, Bass: {b_inst}, Drums: {d_inst}, Chords: {chords}"
-    system_prompt = f"""당신은 락스타 {member_name}입니다. 반드시 {lang_code} 언어로만 답변하세요.
-    전문 뮤지션으로서 5~7문장의 깊이 있고 성숙한 상담을 제공하세요.
-    [TAB] 섹션에는 코드 진행이나 타블라악보를 상세히 적으세요.
+    system_prompt = f"""당신은 락스타 {member_name}입니다. 반드시 {lang_code}로 답변하세요.
+    전문가로서 5~7문장의 깊이 있는 상담을 제공하세요.
+    [TAB] 섹션에는 상세한 악보나 코드를 적으세요.
     [MUSIC] 섹션에는 다음 JAM 요청을 반영한 영어 프롬프트를 작성하세요: {jam_context}"""
     
     ai_text_raw = ""
@@ -65,25 +62,21 @@ async def band_consulting(user_input, member_name, lang_code, g_inst, b_inst, d_
 
     if not ai_text_raw:
         qwen = ModelManager.get_qwen()
-        input_text = f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{user_input}<|im_end|>\nassistant\n"
-        out = qwen(input_text, max_new_tokens=1024, do_sample=True)
+        out = qwen(f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{user_input}<|im_end|>\nassistant\n", max_new_tokens=1024)
         ai_text_raw = out[0]['generated_text'].split("assistant\n")[-1]
 
-    # 정규식 파싱
     tab_match = re.search(r'\[TAB\](.*?)(\[|$)', ai_text_raw, re.DOTALL | re.IGNORECASE)
     music_match = re.search(r'\[MUSIC:(.*?)\]', ai_text_raw, re.IGNORECASE)
-    tab_display = tab_match.group(1).strip() if tab_match else "No Tab Data"
+    tab_display = tab_match.group(1).strip() if tab_match else "No Data"
     clean_text = re.sub(r'\[TAB\].*?(\[|$)', '', ai_text_raw, flags=re.DOTALL | re.IGNORECASE)
     clean_text = re.sub(r'\[MUSIC:.*?\]', '', clean_text, flags=re.IGNORECASE).strip()
     
-    # TTS 생성
     voice_name = MEMBERS_VOICE.get(member_name, "ko-KR-SunHiNeural")
     communicate = edge_tts.Communicate(re.sub(r'[\*\#\-\_\~\|]', '', clean_text), voice_name)
     await communicate.save(voice_path)
 
-    # MusicGen 생성 (512토큰 = 약 12초)
     music_gen = ModelManager.get_music()
-    music_p = music_match.group(1).strip() if music_match else "energetic rock guitar solo"
+    music_p = music_match.group(1).strip() if music_match else "rock"
     music_output = music_gen(music_p, forward_params={"max_new_tokens": 512})
     audio_data = np.squeeze(music_output["audio"])
     audio_int16 = (audio_data * 32767).astype(np.int16)
@@ -92,10 +85,10 @@ async def band_consulting(user_input, member_name, lang_code, g_inst, b_inst, d_
     return clean_text, voice_path, music_path, tab_display
 
 with gr.Blocks() as demo:
-    # 7개의 입력 (상담, 멤버, 상담언어, 기타, 베이스, 드럼, 코드)
-    in_list = [gr.Textbox(visible=False) for _ in range(7)]
-    out_list = [gr.Textbox(visible=False), gr.Audio(visible=False), gr.Audio(visible=False), gr.Textbox(visible=False)]
+    # 7개의 입력 (고민, 멤버, 상담언어, 기타, 베이스, 드럼, 코드)
+    inputs = [gr.Textbox(visible=False) for _ in range(7)]
+    outputs = [gr.Textbox(visible=False), gr.Audio(visible=False), gr.Audio(visible=False), gr.Textbox(visible=False)]
     btn = gr.Button("API", visible=False)
-    btn.click(band_consulting, in_list, out_list, api_name="predict")
+    btn.click(band_consulting, inputs, outputs, api_name="predict")
 
 demo.queue().launch()