docs/hyperparameter_study.md

超参决策参考表

各轮核心超参变更、论文依据与效果的快速索引。
完整逐轮诊断数据见 docs/experiment_log.md。

---

超参调整历程

超参	R1	R2	R3	R4	论文依据
num_episodes	2000	6000	6000	5000	Mnih et al. (2015)：Atari 数万 ep 才收敛；R3 均值 ep=3000 后饱和，继续加 ep 收益边际为零
epsilon_decay	0.995	0.9985	0.9985	0.9985	van Hasselt et al. (2016)：ε 应在训练期 10–25% 内衰减完；R1 ep≈800 触底，后 1200 ep 样本单一
buffer_capacity	20000	20000	80000	80000	Lin (1992)：ER 核心价值是保留稀有样本；Mnih et al. (2015) 原版 1M；20k≈250 局，成功样本快速消失
target_update_freq	500	500	1500	1500	Mnih et al. (2015) 原版 10000 步；固定目标 $\theta^-$ 保证 TD 收敛性，过频同步等价于"移动靶"监督学习
revisit_penalty	0	0	0	-1.0 → 弃用	Round 4 实验后因违反马尔可夫性放弃，改用 visited_map 第四通道编码访问历史
checkpoint 保存策略	训练奖励触发	训练奖励触发	训练奖励触发	EVAL 最优触发	R3 实测：训练奖励与 EVAL 成功率时序不对齐，导致 Holdout 74% vs EVAL 峰值 84%，差 10pp

---

各轮效果汇总

轮次	核心变更	Holdout 成功率	EVAL 峰值	主要发现
R1	基线（随机起终点初版）	61.0%	—	诊断 P1（训练量）+ P2（探索）+ P3（buffer）+ P4（target）
R2	ep=6000 + decay=0.9985	64.0%	74.0%	P1/P2 消除；振荡周期 400–500 ep（P3 定量确认）
R3	buffer=80k + target=1500	74.0%	84.0%	峰值突破 80%；Holdout 低于峰值 10pp（P6：保存策略错位）
R4	EVAL-based checkpoint + visited_map 第四通道（revisit_penalty 因违反马尔可夫性弃用）	**84.0%**（dueling）	**88.0%**（dueling，ep=4900）	四算法横向消融最优；double(A3) Holdout 78%，见 experiment_log.md Round 4

---

迭代原则

Henderson et al. (2018) 实证结论：RL 超参敏感度远高于监督学习，需单变量消融，避免多参数同时变动导致无法归因。

• R2：仅修复 P1+P2，验证收敛形状
• R3：同时修复 P3+P4，验证振荡是否消除
• R4：修复保存策略（P6）+ visited_map 第四通道（revisit_penalty 已弃用），A3（double）Holdout 78.0% / Dueling 横评 84.0%

---

参考文献

1. Mnih et al. (2015). Human-level control through deep reinforcement learning. Nature.
2. van Hasselt, Guez & Silver (2016). Deep Reinforcement Learning with Double Q-learning. AAAI.
3. Wang et al. (2016). Dueling Network Architectures for Deep Reinforcement Learning. ICML.
4. Ng et al. (1999). Policy invariance under reward transformations. ICML.
5. Lin (1992). Self-improving reactive agents based on reinforcement learning. Machine Learning.
6. Anderson et al. (2018). On Evaluation of Embodied Navigation Agents. arXiv:1807.06757.
7. Henderson et al. (2018). Deep Reinforcement Learning that Matters. AAAI.