ycchen commited on
Commit
37c0b61
·
verified ·
1 Parent(s): 7e0370b

card: fix opd-32b-deploy provenance (v33/job135076/step_200, not the V32 158-collapse) + add opd-32b-v33-s150

Browse files
Files changed (1) hide show
  1. README.md +23 -1
README.md CHANGED
@@ -16,9 +16,31 @@ tags:
16
  |---|---|---|
17
  | `soft-distill-7b-deploy/` | stage1-v2-7b soft-distill v2 (deploy) | off-policy soft distillation 完成版(bf16),含 tokenizer + chat template |
18
  | `soft-distill-32b-deploy/` | stage1-v2-32b soft-distill v2 (deploy) | 32B off-policy soft distillation(bf16, rope-legacy deploy config),含 tokenizer + chat template |
19
- | `opd-32b-deploy/` | **32B agentic OPD v2v33, step_200** | **on-policy distillation**(teacher = DeepSeek-V4-Flash),student lineage = stage1-v2-32b-softdistill-v2test(GQA-8, YaRN)。bf16 deploy(rope-legacy config)+ tokenizer + chat template。**研究快照**:該 run 因 length 自我放大於 step ~158 喊停;step_200 ckpt 於 IMO-ProofBench v2 agentic-loop 量到 4.48/7(grader = flash,僅供內部相對比較) |
 
20
  | `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
21
  | `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
22
  | `dflash-32b-draft-v2test/` | **DFlash draft for stage1-v2-32b-softdistill-v2test target** | **新 v2test target 的 draft**,SWA512 / block_size 11 / 8L / GQA-8。**step-10000 快照**=short-context curriculum warm-up(phase-1);長 context 特化(phase-2)尚未跑,非 final |
23
 
24
  DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
16
  |---|---|---|
17
  | `soft-distill-7b-deploy/` | stage1-v2-7b soft-distill v2 (deploy) | off-policy soft distillation 完成版(bf16),含 tokenizer + chat template |
18
  | `soft-distill-32b-deploy/` | stage1-v2-32b soft-distill v2 (deploy) | 32B off-policy soft distillation(bf16, rope-legacy deploy config),含 tokenizer + chat template |
19
+ | `opd-32b-deploy/` | **32B agentic OPD v2v33 / job 135076 / step_200** | **on-policy distillation**(teacher = DeepSeek-V4-Flash),student lineage = stage1-v2-32b-softdistill-v2test(GQA-8, YaRN)。bf16 deploy(rope-legacy config + hybrid-SWA)+ tokenizer + chat template。**目前部署主檔**IMO-ProofBench v2 agentic-loop(prove→verify→refine→select)量到 **4.48/7**(grader = flash,僅供內部相對比較)。版本來龍去脈見下方「OPD 32B 版本說明」。 |
20
+ | `opd-32b-v33-s150/` | **32B agentic OPD v2 — v33 / job 135076 / step_150** | 與 `opd-32b-deploy`(step_200)**同一條健康 run** 的較早 checkpoint,可做 s150 vs s200 比較。同 deploy 格式(bf16 / rope-legacy / hybrid-SWA)+ tokenizer + chat template。 |
21
  | `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
22
  | `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
23
  | `dflash-32b-draft-v2test/` | **DFlash draft for stage1-v2-32b-softdistill-v2test target** | **新 v2test target 的 draft**,SWA512 / block_size 11 / 8L / GQA-8。**step-10000 快照**=short-context curriculum warm-up(phase-1);長 context 特化(phase-2)尚未跑,非 final |
24
 
25
  DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
26
+
27
+ ## OPD 32B 版本說明(哪個是哪個)
28
+
29
+ agentic semi-on-policy OPD 32B(student = stage1-v2-32b-softdistill-v2test、teacher = DeepSeek-V4-Flash)一共訓練過兩次:
30
+
31
+ - **V32 = job 134244**:在 step ~148–158 因 length 自我放大崩盤(eos 90%→13%、cap-hit→87%)後喊停,最後 checkpoint 只到 step_150。**此 run 的權重未收進本 bundle。**
32
+ - **V33 = job 135076**:加了 cap-hit admission filter(+ fast sharded save + 拓樸 rebalance),健康跑到 step 237 後(user)喊停,存了 step_150 與 step_200。**本 bundle 的 `opd-32b-deploy`(= step_200)與 `opd-32b-v33-s150`(= step_150)都來自這條 run。**
33
+
34
+ > ⚠️ 先前版本的 card 把「step ~158 喊停」誤接在 step_200 上——那是 V32(134244)的崩盤,與本 bundle 的 step_200(來自 V33/135076)無關,已更正。
35
+
36
+ > ⚠️ V33 的 cap-hit filter 是在**訓練端**減緩 length 自我放大、讓 run 不崩;蒸餾出的 student **在推理時仍帶 OPD reverse-KL 的 loop 傾向**(例如 refine 階段思考會落入重複吸引子、一路衝到 token cap)。這是 OPD reverse-KL 的通性,與「run 停在第幾步」無關。
37
+
38
+ ### 部署權重的產生方式(s150 / s200 同一 recipe)
39
+
40
+ ```bash
41
+ # step_NNN 訓練 checkpoint(DCP + consolidated hf/)→ serve-ready deploy dir
42
+ python deploy/make_olmo3sink_deploy.py \
43
+ --src training/opd_v2/runs/agentic_32b_lc140k_v33/checkpoints/step_000NNN/hf \
44
+ --dst outputs/agentic_32b_lc140k_v33-sNNN-deploy
45
+ python deploy_kaggle/enable_swa_config.py outputs/agentic_32b_lc140k_v33-sNNN-deploy
46
+ ```