Update app.py

app.py

@@ -8,91 +8,145 @@ import scipy.io.wavfile
 import numpy as np
 from transformers import pipeline
 
-# API 키 설정
+# 1. API 키 설정 (Hugging Face Settings -> Variables에 등록 필수)
 GENAI_KEY = os.getenv("GEMINI_KEY")
 
-# 1. [작곡가] MusicGen 로드 (음질 보정 설정 준비)
-print("⏳ 작곡가 섭외 중... (음질 보정 모드)")
+# 2. [작곡가] MusicGen 모델 로드 (음질 보정 설정)
+print("⏳ 작곡가(MusicGen)를 소집 중입니다... (1~2분 소요)")
 try:
+    # facebook/musicgen-small 모델 사용
     music_synthesiser = pipeline("text-to-audio", "facebook/musicgen-small")
-    print("✅ 작곡가 준비 완료!")
+    print("✅ 작곡가 준비 완료! 잼 세션을 시작할 수 있습니다.")
 except Exception as e:
     print(f"⚠️ 모델 로드 실패: {e}")
     music_synthesiser = None
 
+# 3. 최적의 Gemini 모델 자동 탐색
 def find_working_model():
     url = f"https://generativelanguage.googleapis.com/v1beta/models?key={GENAI_KEY}"
     try:
         response = requests.get(url)
         data = response.json()
         candidates = [m['name'].replace("models/", "") for m in data.get('models', []) if 'generateContent' in m.get('supportedGenerationMethods', [])]
-        preferred = ["gemini-1.5-flash", "gemini-pro"]
+        preferred = ["gemini-1.5-flash", "gemini-1.5-flash-latest", "gemini-pro"]
         for p in preferred:
             if p in candidates: return p
         return candidates[0] if candidates else "gemini-pro"
-    except: return "gemini-pro"
+    except:
+        return "gemini-pro"
 
 ACTIVE_MODEL = find_working_model()
 
-# 멤버 페르소나 (악보 생성 능력 추가)
+# 4. 밴드 멤버 데이터 (이름 오타 완벽 수정: "서윤 (Korea)")
 MEMBERS = {
-    "서윤 (Korea)": { "voice": "ko-KR-SunHiNeural", "prompt": "당신은 보컬 '서윤'입니다. 시니컬한 말투. 상담 분야에 맞춰 음악적 조언과 코드 진행을 알려주세요." },
-    "Chloe (USA)": { "voice": "en-US-AriaNeural", "prompt": "You are 'Chloe', the guitarist. Speak in English. Focus on guitar tabs and tones." },
-    "Beatrice (Brazil)": { "voice": "pt-BR-FranciscaNeural", "prompt": "You are 'Beatrice', the drummer. Focus on rhythm patterns and groovy beats." }
+    "서윤 (Korea)": { 
+        "voice": "ko-KR-SunHiNeural", 
+        "prompt": "당신은 록밴드 보컬 '서윤'입니다. 한국어로 대답하세요. 성격: 시니컬, 츤데레, 음악에 진심. 전문적인 음악 조언을 제공하세요." 
+    },
+    "Chloe (USA)": { 
+        "voice": "en-US-AriaNeural", 
+        "prompt": "You are 'Chloe', the lead guitarist. Respond in English. Focus on guitar tone and riffs." 
+    },
+    "Beatrice (Brazil)": { 
+        "voice": "pt-BR-FranciscaNeural", 
+        "prompt": "You are 'Beatrice', the drummer. Focus on rhythm patterns and energy." 
+    },
+    "Naomi (Japan)": { 
+        "voice": "ja-JP-NanamiNeural", 
+        "prompt": "You are 'Naomi'. Respond in Japanese. Focus on harmony and chord progressions." 
+    },
+    "Elena (Spain)": { 
+        "voice": "es-ES-ElviraNeural", 
+        "prompt": "You are 'Elena'. Focus on bass lines and groove." 
+    },
+    "Amira (Egypt)": { 
+        "voice": "ar-EG-SalmaNeural", 
+        "prompt": "You are 'Amira'. Focus on keyboards and atmosphere." 
+    },
+    "Liwei (China)": { 
+        "voice": "zh-CN-XiaoxiaoNeural", 
+        "prompt": "You are 'Liwei'. Focus on electronic sound and FX." 
+    },
+    "Sophie (France)": { 
+        "voice": "fr-FR-DeniseNeural", 
+        "prompt": "You are 'Sophie'. Focus on emotional melodies and violin." 
+    }
 }
-# app.py의 band_consulting 함수 부분만 이 내용으로 교체하세요
+
+# 5. 메인 로직 함수
 async def band_consulting(user_input, member_name, consult_category):
     try:
-        # 멤버 이름 오타 수정
+        # 멤버 찾기 (기본값: 서윤)
         member = MEMBERS.get(member_name, MEMBERS["서윤 (Korea)"])
         
         system_instruction = f"""
         {member['prompt']}
         [상담 분야: {consult_category}]
-        당신은 전문가로서 조언을 하고, 마지막에 두 가지를 반드시 포함하세요:
-        1. [TAB]: 음악의 간단한 악보나 코드 진행을 텍스트 형식으로 그리세요.
-        2. [MUSIC]: 분야에 특화된 고음질 음악 프롬프트를 적으세요.
+        
+        조언을 제공한 뒤 반드시 마지막에 다음 형식을 포함하세요:
+        1. [TAB]: 음악의 간단한 코드 진행이나 텍스트 악보를 그리세요.
+        2. [MUSIC]: 분야와 어울리는 고음질 음악 프롬프트를 영어로 작성하세요.
+           (예: [MUSIC: melodic rock guitar, high quality, studio recording, 120bpm])
         """
         
+        # Gemini API 호출
         url = f"https://generativelanguage.googleapis.com/v1beta/models/{ACTIVE_MODEL}:generateContent?key={GENAI_KEY}"
         payload = {"contents": [{"parts": [{"text": f"{system_instruction}\n질문: {user_input}"}]}]}
-        res = requests.post(url, json=payload)
+        res = requests.post(url, json=payload, headers={'Content-Type': 'application/json'})
+        
+        if res.status_code != 200:
+            return "Gemini API 연결에 실패했습니다.", None, None, "No Tab"
+            
         ai_text_raw = res.json()['candidates'][0]['content']['parts'][0]['text']
         
-        tab_match = re.search(r'\[TAB\](.*?)\[', ai_text_raw + '[', re.DOTALL)
+        # 악보([TAB]) 및 음악 명령([MUSIC]) 추출
+        tab_match = re.search(r'\[TAB\](.*?)(\[|$)', ai_text_raw, re.DOTALL)
         music_match = re.search(r'\[MUSIC:(.*?)\]', ai_text_raw, re.IGNORECASE)
         
-        tab_display = tab_match.group(1).strip() if tab_match else "No Score"
+        tab_display = tab_match.group(1).strip() if tab_match else "No Score Available"
         
-        # 특수문자 읽기 방지 필터 (TTS용 텍스트에서 특수문자 제거)
-        raw_clean_text = re.sub(r'\[TAB\].*?(\[|$)', '', ai_text_raw, flags=re.DOTALL)
-        raw_clean_text = re.sub(r'\[MUSIC:.*?\]', '', raw_clean_text).strip()
-        tts_text = re.sub(r'[\*\#\-\_\~]', '', raw_clean_text) # 서윤이가 읽을 때 별표 등을 무시함
+        # 텍스트 정제 및 음성 필터링 (특수문자 제거하여 서윤이가 읽지 않게 함)
+        clean_text = re.sub(r'\[TAB\].*?(\[|$)', '', ai_text_raw, flags=re.DOTALL)
+        clean_text = re.sub(r'\[MUSIC:.*?\]', '', clean_text).strip()
+        tts_text = re.sub(r'[\*\#\-\_\~]', '', clean_text) 
 
-        # 1. 목소리 생성 (필터링된 tts_text 사용)
-        voice_path = f"/tmp/v_{member_name}.mp3"
+        # 6. 목소리(TTS) 생성
+        voice_path = f"/tmp/v_{member_name.replace(' ', '_')}.mp3"
         await edge_tts.Communicate(tts_text, member['voice']).save(voice_path)
         
-        # 2. 음악 생성
+        # 7. 음악(MusicGen) 생성 (음질 보정 트릭)
         music_path = None
         if music_match and music_synthesiser:
-            p = music_match.group(1).strip() + ", high quality, studio recording"
-            music = music_synthesiser(p, forward_params={"max_new_tokens": 448, "guidance_scale": 4.5})
-            music_path = f"/tmp/m_{member_name}.wav"
-            scipy.io.wavfile.write(music_path, music["sampling_rate"], music["audio"][0].T)
+            music_p = music_match.group(1).strip() + ", high quality, studio recording, clear mix"
+            # guidance_scale=4.5로 높여 음질 및 프롬프트 정확도 향상
+            music_output = music_synthesiser(music_p, forward_params={"max_new_tokens": 448, "guidance_scale": 4.5, "do_sample": True})
+            music_path = f"/tmp/m_{member_name.replace(' ', '_')}.wav"
+            scipy.io.wavfile.write(music_path, music_output["sampling_rate"], music_output["audio"][0].T)
 
-        return raw_clean_text, voice_path, music_path, tab_display
+        return clean_text, voice_path, music_path, tab_display
 
     except Exception as e:
-        return f"Error: {e}", None, None, ""
+        print(f"❌ Error in band_consulting: {e}")
+        return f"밴드 시스템 오류: {str(e)}", None, None, "Error"
 
-# Gradio 인터페이스
+# 8. Gradio 인터페이스 정의 (API용)
 with gr.Blocks() as demo:
     with gr.Row():
-        inp = gr.Textbox()
-        mem = gr.Textbox()
-        cat = gr.Textbox() # 분야
+        inp_text = gr.Textbox()
+        inp_member = gr.Textbox()
+        inp_cat = gr.Textbox()
+    
+    out_advice = gr.Textbox()
+    out_voice = gr.Audio()
+    out_music = gr.Audio()
+    out_tab = gr.Textbox()
+    
     btn = gr.Button("Predict")
-    btn.click(band_consulting, [inp, mem, cat], [gr.Textbox(), gr.Audio(), gr.Audio(), gr.Textbox()], api_name="predict")
+    btn.click(
+        fn=band_consulting, 
+        inputs=[inp_text, inp_member, inp_cat], 
+        outputs=[out_advice, out_voice, out_music, out_tab],
+        api_name="predict"
+    )
 
 demo.launch()