diff options
Diffstat (limited to 'docs/campaign/CASCADE_ABLATION_PLAN.md')
| -rw-r--r-- | docs/campaign/CASCADE_ABLATION_PLAN.md | 20 |
1 files changed, 20 insertions, 0 deletions
diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index 2298ab4..142d5ed 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2177,3 +2177,23 @@ BP seed2 在跑(定散布尺度)。 - 旧读出终值 +45.2% ppl = 精度伪影在 135M 的完整体量。 - 交付物已出终版: assets/figs/fig_135m_curves.{png,pdf}(四曲线, 横轴 token) + assets/EPT_135M_samples.ipynb(EP/BP 同 prompt 同种子并排, 输出已烤入, 代码可跑)。 + +## RESULT 90 (2026-08-06): 优化器筛选定案(进行中收敛) + NS 消融判决 +协议: C128/11M, fp32, 2500 步, 各优化器 LR 扫到最优被包住(muon 尚差一档), seed 1, read_lin+bsign。 +| 优化器 | 最优 LR | best val | 家族 | +|---|---|---|---| +| Muon | 8e-3(边缘,16e-3 在跑) | **4.7227** | 谱归一 | +| OLion(NS+sign) | 1e-2(包住) | 4.7542 | 谱归一+sign | +| **OLion 无 NS** | 1e-2 | **5.2045** | ← **摘 NS 代价 0.45** | +| C-Lion / ConsensusLion | 3e-3 | 5.1270 / 5.1297 | 干净梯度下打平(判决树"折入已知"分支) | +| SignLine / Lion / DitherLion | 3e-3 | 5.20 / 5.20 / 5.25 | sign 家族 | +| SGDM | 0.3 | 5.3499 | | +| AdamW / Adafactor | farm2 重跑中 | | | +- **NS 消融**: 官方仓库 nanoGPT 版(跑 GPT-2 实验的那版)定义 NS 但从未调用; 我方同字节消融实测 + 摘 NS 代价 0.45 CE ⟹ 在 EP 设置下 sign-after-orthogonalization ≫ sign-of-momentum, 正交化是 + 承重墙, "冠军天然全模拟原生"证伪。 +- **离线 k 曲线**: sign(NS_k) vs sign(NS_5) 一致率 k=0/1/2/3 = 0.72/0.72/0.78/0.86 — sign 不提前 + 收敛; 质量-k 曲线(optb5, k=1/2/3 训练臂)= 模拟正交化器的精度规格表, 在跑。 +- 事故记录: NFS 同名 tag 跨机互毁(→机器前缀铁律入 fleet 记忆); 发射+等待同调用被超时杀树(→分调用铁律)。 +- 曲率通道(EP 原生 Adam)已判死: E[s·ĝ] 奇通道 z=-0.2 埋于噪声, 需 4 万步 EMA 无法当活预条件器; + 偏置公理(用户): 逐坐标归一化把持久偏置放大成满幅漂移, sign 全家同罪, 评分表增第三轴。 |