From 2ec65555120378de3ff8298bed97852b143bd802 Mon Sep 17 00:00:00 2001 From: Yuren Hao Date: Mon, 3 Aug 2026 09:04:08 -0500 Subject: =?UTF-8?q?RESULT=2085:=20EP=E6=88=90=E6=9C=AC=E5=AE=9A=E6=A1=88?= =?UTF-8?q?=20=E2=80=94=20=E5=8F=97=E6=8E=A7=E5=AE=9E=E6=B5=8Bwall-clock?= =?UTF-8?q?=202.70=C3=97(=E7=BA=AF=E8=AE=AD=E7=BB=83=E6=AD=A52.77=C3=97),?= =?UTF-8?q?=20=E8=A7=A3=E6=9E=90FLOPs=209F/3F=3D3.0=C3=97=E4=BA=92?= =?UTF-8?q?=E8=AF=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 口径清理: 项目页/call sheet的"2.0×"与给Suhas的"1.0-1.4×"均作废(后者疑将holofast+sdpa对EP 自身的~1.5×加速误作对BP比值); 七月brief的3.2× FLOPs一直正确。KHS对比(6.7-12×)不受影响, EP家族内仍有2.5-4.4×成本优势。方法: SIGSTOP静音同卡, 同模型同batch各400步, 两窗口复核。 Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn --- docs/campaign/CASCADE_ABLATION_PLAN.md | 22 ++++++++++++++++++++++ 1 file changed, 22 insertions(+) (limited to 'docs/campaign/CASCADE_ABLATION_PLAN.md') diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index 7d18ab4..5cdc19b 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2058,3 +2058,25 @@ ckpt)在 GPU0 跑 — 预言每块位移比均在地板带之上、逐块泄漏 | BP twin s1 | 3.3999 | — | 两个独立窗口(99-105k: −0.0117; 144-150k: −0.0041)均显示修复版持平或略优, 旧读出稳定落后 0.20-0.23。 BP seed2 在跑(定散布尺度)。 + +## RESULT 85 (2026-08-03): EP 成本定案 — wall-clock 2.7×, FLOPs ≈3× BP; 对外"2.0×"与"1.0-1.4×"作废 +**受控实测**（同一张 A6000, SIGSTOP 静音其余负载, 同模型 L12/C768/H12/T256, 同 B=24, 同 --amp, +同 muon+cosine, EP 带 --read_lin --bsign_rand --gate_every 0, 各 400 步, 用两点累计速率反解稳态）: +| 臂 | 稳态 | 每步 | +|---|---|---| +| BP | 3.451 it/s | 289.7 ms | +| EP | 1.279 it/s | 781.8 ms | +**wall-clock = 2.70×**; 扣掉两臂等量的 eval 开销(11.6 ms/step) → **纯训练步 2.77×**。 +两个独立窗口复核一致(BP 3.430/3.451, EP 1.279/1.279)。 + +**解析 FLOPs**（F = 一次前向）: BP = F + 2F = **3F**。EP = 自由相 F + K=3 轮×(forces 的逐块 vjp +≈F + rebuild 前向 F) + θ-读出反传 2F = **9F** ⟹ **3.0×**。实测 2.77 略低于解析 3.0（部分重建在 +无梯度路径、读出不穿 embedding），**解析与实测互证**。 + +**口径清理（对外材料已出错，须改）**: +- ❌ 项目页/call sheet/cheat sheet 的 "2.0× wall-clock" → 应为 **2.7×** +- ❌ 给 Suhas 邮件里的 "measured step cost about 1.0 to 1.4 times that of BP" → **严重低估**； + 该数疑似把速度包对 EP 自身的加速比(holofast+sdpa 合计 ~1.5×)误当成了对 BP 的比值。 +- ✅ 七月 brief 的 "3.2× BP FLOPs" 一直是对的, 与本次解析 3.0× 一致。 +- 与同类工作的对比不受影响: KHS(VGG10 ImageNet) 付 6.7×(单侧)–12×(对称) wall-clock, + 我们 2.7× 仍是 EP 家族内 2.5–4.4× 的成本优势; 结构口径 1 相 × K=3 vs 2 相 × 10 迭代不变。 -- cgit v1.2.3