Warecube-KO-27B

한국어 reasoning 모델 — Darwin 진화적 머지 기반.

---

🧬 Darwin 진화 컨셉

본 모델은 Darwin V7 진화적 모델 머지(Evolutionary Model Merge) 패러다임으로 제작되었습니다.

   자연 진화                    Darwin 머지
   ─────────                    ───────────
   유전자 교차 (crossover)  →   가중치 모듈별 비율 결합
   자연 선택 (selection)    →   적합도 평가 후 최적 후손 선별
   세대 진화 (generations)  →   다세대 머지·정제 반복
   적자 생존                →   K-AI 도메인 우수 자손만 보존

부모의 능력이 자식 모델로 유전적으로 계승되며, 세대를 거쳐 한국어·추론·문화 지능이 진화합니다.

---

🏛️ 가문 계보

┌──────────────────────────────────────────┐
│  증조부 (Great-Grandfather)               │
│  Qwen-3.5-27B                             │
│  - 멀티모달 28B 베이스                     │
└──────────────────────────────────────────┘
                  │
                  ▼ Darwin V7 진화 머지
┌──────────────────────────────────────────┐
│  조부 (Grandfather)                       │
│  FINAL-Bench/Darwin-27B-Opus              │
│  - Darwin V7 진화의 정점                   │
│  - GPQA 88.4% reasoning                   │
│  - <think> 트레이스 패턴                   │
└──────────────────────────────────────────┘
                  │
                  ▼ 한국어 특화 진화
╔══════════════════════════════════════════╗
║  아빠 (Father)                            ║
║  Darwin family Korean 직계                 ║
║                                            ║
║  - Darwin-27B-Opus의 한국어 특화 후손      ║
║  - reasoning DNA 보존                       ║
║  - <think> 패턴 유지                        ║
╚══════════════════════════════════════════╝
                  │
                  ×× 다윈 교배 ××
                  │
╔══════════════════════════════════════════╗
║  엄마 (Mother)                            ║
║  NewenAI/QuettaLLMs-27B-Koreasoner-V3     ║
║                                            ║
║  - 한국어 SOTA 모델                          ║
║  - K-AI Leaderboard 1위 (avg 0.560)        ║
║  - 한국어 도메인 SFT 정제                   ║
║  - Apache 2.0                              ║
╚══════════════════════════════════════════╝
                  │
                  ▼ Darwin 진화적 머지 + 한국어 정제
╔══════════════════════════════════════════╗
║  자식 (Child) — 본 모델                    ║
║  Warecube/Warecube-KO-27B                 ║
║                                            ║
║  ✦ 아빠의 reasoning DNA 계승                ║
║  ✦ 엄마의 한국어 표현·지식 계승              ║
║  ✦ <think> 추론 트레이스 보존              ║
║  ✦ K-AI 도메인 적합도 진화                  ║
╚══════════════════════════════════════════╝

---

🎓 진화 단계

Stage	개략
1. 교배 (Crossover)	친가·외가 가중치를 모듈별 비율로 진화 머지
2. 선택 (Selection)	한국어 도메인 적합도 평가로 우수 후손 선별
3. 정제 (Refinement)	한국어 instruction 데이터로 추가 진화
4. 적응 (Adaptation)	K-AI Leaderboard Docker 호환 형식으로 정비

---

🎯 사용법

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "Warecube/Warecube-KO-27B"
tokenizer = AutoTokenizer.from_pretrained(
    model_id, trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

prompt = "한국의 추석에 대해 설명해주세요."
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages, return_tensors="pt", add_generation_prompt=True
)
out = model.generate(
    inputs.to(model.device),
    max_new_tokens=512,
    do_sample=False,
)
print(tokenizer.decode(out[0], skip_special_tokens=False))

---

🛠️ 사양

• 파라미터: 27B (text)
• 양자화: bf16
• 컨텍스트: 8K (확장 가능)
• 언어: 한국어 + 영어
• 추론: <think> reasoning trace
• License: Apache 2.0

---

📊 평가

한국어 공개 10 데이터셋, 100문제 × 1 seed.

Dataset	Score
CLIcK	87%
KMMLU History	50%
KMMLU Law	29%
KMMLU Health	78%
HAERAE General	58%
HAERAE History	86%
HAERAE Linguistics	89%
KoBEST Hellaswag	89%
KoBEST COPA	100%
KoBEST BoolQ	97%
Macro Avg	76.3%

---

🤝 출처

• 조부: FINAL-Bench/Darwin-27B-Opus
• 엄마: NewenAI/QuettaLLMs-27B-Koreasoner-V3
• 가문: Darwin family (Darwin V7 진화적 머지 시리즈)