card: fix opd-32b-deploy provenance (v33/job135076/step_200, not the V32 158-collapse) + add opd-32b-v33-s150
Browse files
README.md
CHANGED
|
@@ -16,9 +16,31 @@ tags:
|
|
| 16 |
|---|---|---|
|
| 17 |
| `soft-distill-7b-deploy/` | stage1-v2-7b soft-distill v2 (deploy) | off-policy soft distillation 完成版(bf16),含 tokenizer + chat template |
|
| 18 |
| `soft-distill-32b-deploy/` | stage1-v2-32b soft-distill v2 (deploy) | 32B off-policy soft distillation(bf16, rope-legacy deploy config),含 tokenizer + chat template |
|
| 19 |
-
| `opd-32b-deploy/` | **32B agentic OPD v2
|
|
|
|
| 20 |
| `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
|
| 21 |
| `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
|
| 22 |
| `dflash-32b-draft-v2test/` | **DFlash draft for stage1-v2-32b-softdistill-v2test target** | **新 v2test target 的 draft**,SWA512 / block_size 11 / 8L / GQA-8。**step-10000 快照**=short-context curriculum warm-up(phase-1);長 context 特化(phase-2)尚未跑,非 final |
|
| 23 |
|
| 24 |
DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 16 |
|---|---|---|
|
| 17 |
| `soft-distill-7b-deploy/` | stage1-v2-7b soft-distill v2 (deploy) | off-policy soft distillation 完成版(bf16),含 tokenizer + chat template |
|
| 18 |
| `soft-distill-32b-deploy/` | stage1-v2-32b soft-distill v2 (deploy) | 32B off-policy soft distillation(bf16, rope-legacy deploy config),含 tokenizer + chat template |
|
| 19 |
+
| `opd-32b-deploy/` | **32B agentic OPD v2 — v33 / job 135076 / step_200** | **on-policy distillation**(teacher = DeepSeek-V4-Flash),student lineage = stage1-v2-32b-softdistill-v2test(GQA-8, YaRN)。bf16 deploy(rope-legacy config + hybrid-SWA)+ tokenizer + chat template。**目前部署主檔**。IMO-ProofBench v2 agentic-loop(prove→verify→refine→select)量到 **4.48/7**(grader = flash,僅供內部相對比較)。版本來龍去脈見下方「OPD 32B 版本說明」。 |
|
| 20 |
+
| `opd-32b-v33-s150/` | **32B agentic OPD v2 — v33 / job 135076 / step_150** | 與 `opd-32b-deploy`(step_200)**同一條健康 run** 的較早 checkpoint,可做 s150 vs s200 比較。同 deploy 格式(bf16 / rope-legacy / hybrid-SWA)+ tokenizer + chat template。 |
|
| 21 |
| `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
|
| 22 |
| `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
|
| 23 |
| `dflash-32b-draft-v2test/` | **DFlash draft for stage1-v2-32b-softdistill-v2test target** | **新 v2test target 的 draft**,SWA512 / block_size 11 / 8L / GQA-8。**step-10000 快照**=short-context curriculum warm-up(phase-1);長 context 特化(phase-2)尚未跑,非 final |
|
| 24 |
|
| 25 |
DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
|
| 26 |
+
|
| 27 |
+
## OPD 32B 版本說明(哪個是哪個)
|
| 28 |
+
|
| 29 |
+
agentic semi-on-policy OPD 32B(student = stage1-v2-32b-softdistill-v2test、teacher = DeepSeek-V4-Flash)一共訓練過兩次:
|
| 30 |
+
|
| 31 |
+
- **V32 = job 134244**:在 step ~148–158 因 length 自我放大崩盤(eos 90%→13%、cap-hit→87%)後喊停,最後 checkpoint 只到 step_150。**此 run 的權重未收進本 bundle。**
|
| 32 |
+
- **V33 = job 135076**:加了 cap-hit admission filter(+ fast sharded save + 拓樸 rebalance),健康跑到 step 237 後(user)喊停,存了 step_150 與 step_200。**本 bundle 的 `opd-32b-deploy`(= step_200)與 `opd-32b-v33-s150`(= step_150)都來自這條 run。**
|
| 33 |
+
|
| 34 |
+
> ⚠️ 先前版本的 card 把「step ~158 喊停」誤接在 step_200 上——那是 V32(134244)的崩盤,與本 bundle 的 step_200(來自 V33/135076)無關,已更正。
|
| 35 |
+
|
| 36 |
+
> ⚠️ V33 的 cap-hit filter 是在**訓練端**減緩 length 自我放大、讓 run 不崩;蒸餾出的 student **在推理時仍帶 OPD reverse-KL 的 loop 傾向**(例如 refine 階段思考會落入重複吸引子、一路衝到 token cap)。這是 OPD reverse-KL 的通性,與「run 停在第幾步」無關。
|
| 37 |
+
|
| 38 |
+
### 部署權重的產生方式(s150 / s200 同一 recipe)
|
| 39 |
+
|
| 40 |
+
```bash
|
| 41 |
+
# step_NNN 訓練 checkpoint(DCP + consolidated hf/)→ serve-ready deploy dir
|
| 42 |
+
python deploy/make_olmo3sink_deploy.py \
|
| 43 |
+
--src training/opd_v2/runs/agentic_32b_lc140k_v33/checkpoints/step_000NNN/hf \
|
| 44 |
+
--dst outputs/agentic_32b_lc140k_v33-sNNN-deploy
|
| 45 |
+
python deploy_kaggle/enable_swa_config.py outputs/agentic_32b_lc140k_v33-sNNN-deploy
|
| 46 |
+
```
|