diff options
| -rw-r--r-- | docs/campaign/CASCADE_ABLATION_PLAN.md | 18 |
1 files changed, 18 insertions, 0 deletions
diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index de2a93c..a2d73d8 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2008,3 +2008,21 @@ ckpt)在 GPU0 跑 — 预言每块位移比均在地板带之上、逐块泄漏 "任一块 RMS(d)/RMS(z) 跌入 ~5e-7(≈4×fp32 eps)带 ⟹ 该块读出被舍入伤害"。任意尺寸零训练可预检。 修复后该判据对 fp32 训练不再有约束力(read_lin 绕开), 保留为: (a) 其他实现的诊断; (b) 硬件侧的 最小可分辨对比量(physical epsilon)规格律。 + +## RESULT 83 (2026-08-01): 72M 真 gap = +0.004 (0.4% ppl) — 修复把 72M 从 +0.12 拉进 seed 噪声内 +从头训练, crown bsign 配方逐字符克隆 + --read_lin, 234k 步, 零 skip, cos 中位 0.9997(旧版 0.9971)。 +宽尾窗 210-234k 均值 (n=241/臂, sem 0.003): +| 臂 | 尾均值 | vs BP 三seed均值 3.3966 | ppl | +|---|---|---|---| +| **EP read_lin** | **3.4003 ± 0.003** | **+0.0036** | **+0.4%** | +| EP 旧读出(bsign) | 3.5194 ± 0.003 | +0.1228 | +13.1% | +| BP s1/s2/s3 | 3.3981/3.3986/3.3933 | (seed 间 sd 0.0029) | | +- **gap +0.0036 ≈ seed 间散布(0.0029)** → EP 与 BP 在 72M 上统计不可分。修复回收 0.119 CE。 +- 口径纪律: best 口径(rlin 3.1889 vs BP 3.2820-3.2943)看似 EP 大胜, 但 best=数千次带噪评估的最小值, + 下探偏置随评估次数增长; **一律以尾窗均值为准**, 不引用 best 作对外数字。 +- 旧封卷 +0.076(best 口径) 现修正为: 同口径尾窗 +0.123 → 修复后 +0.004。**"72M EP 落后 BP" 的结论 + 作废**; 项目页/邮件/报告的 4-5% ppl 带全部需改为"统计不可分(0.4%)"。 +- 五尺寸(11M/18M/36M/72M)全部落入 seed 噪声: −0.4%/+1.2%/+0.1%/+0.4% ppl。135M 修复版已起飞 + (3卡, 0.70 it/s, ~收敛需 ~7 天?? 见下), 为唯一未决点。 +- ⚠️ 135M 速率异常: 0.70 it/s vs 旧 fw135m 的 ~5 it/s(3卡) → 440k 步需 ~175h。需查(共卡? GPU0 上 + xuanhe4 服务 + 谱仪残留?); 若确为共卡拥塞, 待 GPU 空出后重启或降步数。 |