diff options
| author | Yuren Hao <yurenh2@illinois.edu> | 2026-08-02 07:35:36 -0500 |
|---|---|---|
| committer | Yuren Hao <yurenh2@illinois.edu> | 2026-08-02 07:35:36 -0500 |
| commit | 70c6c3a02cb6d9106549232ec421d122502f4c0a (patch) | |
| tree | e61f83d22d3eec7b4e150d8451059bbc75bd6862 | |
| parent | aaf835380f29d1bfd6679c6da0d362cb78e7e2df (diff) | |
RESULT 84: 135M中途裁决 — 修复版3.4576 vs BP 3.4693(EP领先1.2%ppl), 旧读出+21.8%; +0.29宽度墙消失; BP seed2从头臂已发射定散布尺度
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn
| -rw-r--r-- | docs/campaign/CASCADE_ABLATION_PLAN.md | 15 |
1 files changed, 15 insertions, 0 deletions
diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index 3fac8eb..65f746a 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2034,3 +2034,18 @@ ckpt)在 GPU0 跑 — 预言每块位移比均在地板带之上、逐块泄漏 - 最终方案: 本地 GPU0+1(干净), world=2 B=12 → eff batch 24 与原配置逐字节一致(DDP 等价性由 ddp_grad_test 验证); 数据流按 rank 独立播种, world 变化不影响统计等价。**2.045 it/s, 440k 步 ETA ~60h**(旧三卡 1.28)。 - 教训入库: 启动前查的是"卡上有没有显存", 应查"卡上有没有 util"; 远程机群一律先读 FLEET_ACCESS.md。 + +## RESULT 84 (2026-08-02): 135M 中途裁决 — 修复版反超 BP, +0.29 的宽度墙消失 +同进度窗 99-105k 步 (同 eff batch 24 / 同调度 / 同 seed / 同架构 135.30M, val 均值 n=63/臂): +| 臂 | 值 | vs BP | ppl | +|---|---|---|---| +| **EP read_lin** | **3.4576** | **−0.0117** | **−1.2% (EP 领先)** | +| EP 旧读出(bsign) | 3.6665 | +0.1972 | +21.8% | +| BP twin s1 | 3.4693 | — | — | +- 健康: 24% 进度零 skip, drift 0.004, cos 中位 **0.9999**(旧版 0.9971), 零非有限值。 +- 旧读出在 135M 的终点 gap +0.29(33.6% ppl) 是本项目最大的负面数字, 现于同进度点被抹平并反超。 +- ⚠️ 限定: 中途(105k/440k), 每臂单 seed。135M 的 seed 散布未测 → **已发射 BP seed2 从头臂**(GPU3, + 3.43 it/s, ETA 36h, 早于 EP 的 53h), 用于给 −0.0117 定尺度。 +- 事故避免记录: seed2 标签下存在 7 月旧续跑(ckpt 至 150k, wandb run 已到 187301) → 新 run 日志被 wandb + 拒收。判定**保持从零重跑**(BP resume 为 weights-only 冷动量, 会污染"seed 散布"这一被测量), 仅换 + --wandb_run fw135m_bp_s2_v2; 复核 0 拒收。 |