From 70c6c3a02cb6d9106549232ec421d122502f4c0a Mon Sep 17 00:00:00 2001 From: Yuren Hao Date: Sun, 2 Aug 2026 07:35:36 -0500 Subject: =?UTF-8?q?RESULT=2084:=20135M=E4=B8=AD=E9=80=94=E8=A3=81=E5=86=B3?= =?UTF-8?q?=20=E2=80=94=20=E4=BF=AE=E5=A4=8D=E7=89=883.4576=20vs=20BP=203.?= =?UTF-8?q?4693(EP=E9=A2=86=E5=85=881.2%ppl),=20=E6=97=A7=E8=AF=BB?= =?UTF-8?q?=E5=87=BA+21.8%;=20+0.29=E5=AE=BD=E5=BA=A6=E5=A2=99=E6=B6=88?= =?UTF-8?q?=E5=A4=B1;=20BP=20seed2=E4=BB=8E=E5=A4=B4=E8=87=82=E5=B7=B2?= =?UTF-8?q?=E5=8F=91=E5=B0=84=E5=AE=9A=E6=95=A3=E5=B8=83=E5=B0=BA=E5=BA=A6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn --- docs/campaign/CASCADE_ABLATION_PLAN.md | 15 +++++++++++++++ 1 file changed, 15 insertions(+) diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index 3fac8eb..65f746a 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2034,3 +2034,18 @@ ckpt)在 GPU0 跑 — 预言每块位移比均在地板带之上、逐块泄漏 - 最终方案: 本地 GPU0+1(干净), world=2 B=12 → eff batch 24 与原配置逐字节一致(DDP 等价性由 ddp_grad_test 验证); 数据流按 rank 独立播种, world 变化不影响统计等价。**2.045 it/s, 440k 步 ETA ~60h**(旧三卡 1.28)。 - 教训入库: 启动前查的是"卡上有没有显存", 应查"卡上有没有 util"; 远程机群一律先读 FLEET_ACCESS.md。 + +## RESULT 84 (2026-08-02): 135M 中途裁决 — 修复版反超 BP, +0.29 的宽度墙消失 +同进度窗 99-105k 步 (同 eff batch 24 / 同调度 / 同 seed / 同架构 135.30M, val 均值 n=63/臂): +| 臂 | 值 | vs BP | ppl | +|---|---|---|---| +| **EP read_lin** | **3.4576** | **−0.0117** | **−1.2% (EP 领先)** | +| EP 旧读出(bsign) | 3.6665 | +0.1972 | +21.8% | +| BP twin s1 | 3.4693 | — | — | +- 健康: 24% 进度零 skip, drift 0.004, cos 中位 **0.9999**(旧版 0.9971), 零非有限值。 +- 旧读出在 135M 的终点 gap +0.29(33.6% ppl) 是本项目最大的负面数字, 现于同进度点被抹平并反超。 +- ⚠️ 限定: 中途(105k/440k), 每臂单 seed。135M 的 seed 散布未测 → **已发射 BP seed2 从头臂**(GPU3, + 3.43 it/s, ETA 36h, 早于 EP 的 53h), 用于给 −0.0117 定尺度。 +- 事故避免记录: seed2 标签下存在 7 月旧续跑(ckpt 至 150k, wandb run 已到 187301) → 新 run 日志被 wandb + 拒收。判定**保持从零重跑**(BP resume 为 weights-only 冷动量, 会污染"seed 散布"这一被测量), 仅换 + --wandb_run fw135m_bp_s2_v2; 复核 0 拒收。 -- cgit v1.2.3