From 36bc37b0e331a8013a5e7e24d5e3fb10edd68502 Mon Sep 17 00:00:00 2001 From: Yuren Hao Date: Sat, 1 Aug 2026 14:28:01 -0500 Subject: =?UTF-8?q?RESULT=2083:=2072M=E7=9C=9Fgap=3D+0.0036(0.4%ppl,?= =?UTF-8?q?=E2=89=88seed=E6=95=A3=E5=B8=830.0029)=20=E2=80=94=20=E4=BF=AE?= =?UTF-8?q?=E5=A4=8D=E5=9B=9E=E6=94=B60.119CE,=20'72M=20EP=E8=90=BD?= =?UTF-8?q?=E5=90=8EBP'=E4=BD=9C=E5=BA=9F;=20=E5=8F=A3=E5=BE=84=E7=BA=AA?= =?UTF-8?q?=E5=BE=8B=3D=E5=B0=BE=E7=AA=97=E5=9D=87=E5=80=BC=E9=9D=9Ebest;?= =?UTF-8?q?=20135M=E4=BF=AE=E5=A4=8D=E7=89=88=E8=B5=B7=E9=A3=9E=E4=BD=86?= =?UTF-8?q?=E9=80=9F=E7=8E=87=E5=BC=82=E5=B8=B80.70it/s=E5=BE=85=E6=9F=A5?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn --- docs/campaign/CASCADE_ABLATION_PLAN.md | 18 ++++++++++++++++++ 1 file changed, 18 insertions(+) (limited to 'docs/campaign') diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index de2a93c..a2d73d8 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2008,3 +2008,21 @@ ckpt)在 GPU0 跑 — 预言每块位移比均在地板带之上、逐块泄漏 "任一块 RMS(d)/RMS(z) 跌入 ~5e-7(≈4×fp32 eps)带 ⟹ 该块读出被舍入伤害"。任意尺寸零训练可预检。 修复后该判据对 fp32 训练不再有约束力(read_lin 绕开), 保留为: (a) 其他实现的诊断; (b) 硬件侧的 最小可分辨对比量(physical epsilon)规格律。 + +## RESULT 83 (2026-08-01): 72M 真 gap = +0.004 (0.4% ppl) — 修复把 72M 从 +0.12 拉进 seed 噪声内 +从头训练, crown bsign 配方逐字符克隆 + --read_lin, 234k 步, 零 skip, cos 中位 0.9997(旧版 0.9971)。 +宽尾窗 210-234k 均值 (n=241/臂, sem 0.003): +| 臂 | 尾均值 | vs BP 三seed均值 3.3966 | ppl | +|---|---|---|---| +| **EP read_lin** | **3.4003 ± 0.003** | **+0.0036** | **+0.4%** | +| EP 旧读出(bsign) | 3.5194 ± 0.003 | +0.1228 | +13.1% | +| BP s1/s2/s3 | 3.3981/3.3986/3.3933 | (seed 间 sd 0.0029) | | +- **gap +0.0036 ≈ seed 间散布(0.0029)** → EP 与 BP 在 72M 上统计不可分。修复回收 0.119 CE。 +- 口径纪律: best 口径(rlin 3.1889 vs BP 3.2820-3.2943)看似 EP 大胜, 但 best=数千次带噪评估的最小值, + 下探偏置随评估次数增长; **一律以尾窗均值为准**, 不引用 best 作对外数字。 +- 旧封卷 +0.076(best 口径) 现修正为: 同口径尾窗 +0.123 → 修复后 +0.004。**"72M EP 落后 BP" 的结论 + 作废**; 项目页/邮件/报告的 4-5% ppl 带全部需改为"统计不可分(0.4%)"。 +- 五尺寸(11M/18M/36M/72M)全部落入 seed 噪声: −0.4%/+1.2%/+0.1%/+0.4% ppl。135M 修复版已起飞 + (3卡, 0.70 it/s, ~收敛需 ~7 天?? 见下), 为唯一未决点。 +- ⚠️ 135M 速率异常: 0.70 it/s vs 旧 fw135m 的 ~5 it/s(3卡) → 440k 步需 ~175h。需查(共卡? GPU0 上 + xuanhe4 服务 + 谱仪残留?); 若确为共卡拥塞, 待 GPU 空出后重启或降步数。 -- cgit v1.2.3