From 1e1d266db41f3acdcd647df71070982b2d1b057b Mon Sep 17 00:00:00 2001 From: Yuren Hao Date: Mon, 3 Aug 2026 17:47:13 -0500 Subject: =?UTF-8?q?RESULT=2088:=20K=E7=94=B5=E6=B1=A0=E5=88=A4=E5=86=B3=20?= =?UTF-8?q?=E2=80=94=20K=3D1/2/3=E5=9C=A8CE=E4=B8=8A=E4=B8=8D=E5=8F=AF?= =?UTF-8?q?=E5=88=86(=E9=85=8D=E5=AF=B9=E5=B7=AE3e-5,=20=E6=AF=94seed?= =?UTF-8?q?=E6=95=A3=E5=B8=83=E5=B0=8F=E4=B8=A4=E4=B8=AA=E6=95=B0=E9=87=8F?= =?UTF-8?q?=E7=BA=A7),=20=E6=88=90=E6=9C=AC=E5=8F=AF=E9=99=8D=E8=87=B31.67?= =?UTF-8?q?=C3=97BP?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 三臂共种子=val批次相同=噪声完全相关, 配对差分为正统计量。先疑bit-identical(bf16空转)经逐行 比对否决: K有真实但可忽略的数值效应。诚实定位: K=1即BP+仅存于θ-雅可比的O(β)修正, 迭代在本 架构不做实质工作(级联自由相按构造为不动点, 与KHS同); 贡献在局部性/有限β偏差长程可控/硬件约束, 不在"梯度不同"。待决: 主线是否改K=1(倾向旗舰保K=3可比, 另开K=1成本臂)。 Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn --- docs/campaign/CASCADE_ABLATION_PLAN.md | 22 ++++++++++++++++++++++ 1 file changed, 22 insertions(+) (limited to 'docs') diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md index 8bb231b..a4d1297 100644 --- a/docs/campaign/CASCADE_ABLATION_PLAN.md +++ b/docs/campaign/CASCADE_ABLATION_PLAN.md @@ -2119,3 +2119,25 @@ BP seed2 在跑(定散布尺度)。 hardware")、技术摘要(新增成本段并说明为何不用迭代计数)。 - 他们主实验用**两相 centered**(β 与 −β, 中间重置回自由平衡); 论文亦指出 backward/random 方案只需 一相且 "particularly appealing for PCNs" ⟹ 我方单相随机符号(bsign)与其判断同向, 可引为佐证。 + +## RESULT 88 (2026-08-03): K 电池判决 — K=1/2/3 在 CE 上不可分, 成本可降至 1.67× BP +配对仪器(共享 ckpt fw135m_bsign_s250000, 6k 步, 除 --K 外逐字符相同, read_lin+bsign, β 钉 3e-3)。 +三臂共用同一数据种子 ⟹ **val 批次逐步相同, 评估噪声完全相关**, 故配对差分是正确统计量: +| 臂 | 尾窗均值 254-256k | 成本 | +|---|---|---| +| K=1 | 3.520571 | 5F = **1.67× BP** | +| K=2 | 3.520595 | 7F = 2.33× | +| K=3 | 3.520600 | 9F = 3.00× | +配对差: K1−K3 = **−0.000029 ± 0.000021**(sem); K1−K2 = −0.000024 ± 0.000015; K2−K3 = −0.000005 ± 0.000015。 +**三臂在 3e-5 CE 量级上不可分**（对照: seed 间散布 0.003, 大两个数量级; 泄漏本体 0.046, 大三个数量级）。 +三臂尾窗均落在 all-BP 杆 3.5206 上。 +- **先核对再下结论**: 曾疑三臂 bit-identical(bf16 下位移低于 eps 致迭代空转), 逐行比对否决—— + train 第 4-5 位小数确在分叉(step 250100: 3.5473 vs 3.5474; step 253000: 3.3564 vs 3.3570)。 + **K 有真实但可忽略的数值效应**, 非零非空转。 +- **成本重估**: 若 K=1 采纳, wall-clock 从实测 2.70× 降至约 **1.6×**(FLOPs 5F/3F=1.67×), 需实测复核。 +- **诚实定位(必须写进论文)**: K=1 时算法 = BP + 仅存于 θ-雅可比的 O(β) 修正; 既然 CE 与 K=3 不可分, + 则"迭代到平衡"在本架构下不做实质工作。级联结构使自由相按构造为精确不动点(与 KHS 同, RESULT 87), + 小 β 下 nudged 平衡的一阶解即伴随解 ⟹ 迭代天然廉价。**贡献不在"梯度不同", 在参数更新的局部性、 + 有限 β 偏差在长程下的可控性、以及实测的硬件约束**。 +- 待决: 是否把主线 K 从 3 改为 1。倾向**保留 K=3 于旗舰对照臂**(与历史结果同配方可比), 另开 K=1 + 作为成本臂; 因 KHS 的 K≥4 阈值基于异步局部更新(一次约走一层), 与我方一次走完整链不可比, 需自证。 -- cgit v1.2.3