diff options
Diffstat (limited to 'docs/paper/PAPER_A_OUTLINE.md')
| -rw-r--r-- | docs/paper/PAPER_A_OUTLINE.md | 57 |
1 files changed, 57 insertions, 0 deletions
diff --git a/docs/paper/PAPER_A_OUTLINE.md b/docs/paper/PAPER_A_OUTLINE.md new file mode 100644 index 0000000..9b0c0ef --- /dev/null +++ b/docs/paper/PAPER_A_OUTLINE.md @@ -0,0 +1,57 @@ +# Paper A — 骨架(claim 架构 + 图表清单) + +## 一句话 claim(脊柱) + +Transformer language models can be trained end-to-end without backpropagation, by equilibrium +propagation; we map every cost this incurs — and show each one is denominated in a currency that +digital simulation pays and physical relaxation does not. + +候选标题: +- "Training transformer language models by physical relaxation" +- "Equilibrium propagation trains language models: the complete cost map" +- "Backprop-free transformers: what it costs, and why physics doesn't pay it" + +## 单一主张与降级清单 + +CLAIM(按证据强度排序): +1. 存在性:EP 端到端训练 attention+FFN 的 LM(S0/S1 实跑;33M "能看" demo 为能力锚)。 +2. 机制图谱 + 配方:有效域阈值、闸门、控制器协同设计、holo/tracking 估计器、围栏/熔断 + ——每条带定量数与验尸记录;规则税 0.041±0.005(9σ,S0)→ S1 的税-尺度走势。 +3. 器件容忍包络(hardware-aware sim,Rasch/Nat Comm 方法学):噪声线性律、√N 平均律、 + program-verify 6-8bit + 30% 失配下 90% 改进量保留、锁相必要性(tf32 之死)。 +4. 成本倒置(Figure 1):E≈700–3000 力评估/步 ⇒ 数字 ×100–1000;物理 settle ⇒ ~0。 + +NOT-CLAIM(在 limitations 与正文显式声明): +- 不主张 SOTA / 大于 33M 的质量(1B 仅 2k 步稳定性证书 + 成本模型); +- 不主张物理 demo(paper B);不主张实测能耗。 + +## Figure 清单 + +- **Fig 1(统一图)**:EP 的需求(settle / nudge平均 / 噪声积分 / 收缩控制)× 两列成本 + (数字仿真实测 ×N vs 物理 ~free),每行放我们的实测数。全文的论点压缩。 +- Fig 2:架构与训练规则(thick 块力场、两相/全纯估计器、控制回路框图——含闸门=learn-enable)。 +- Fig 3:S0 终表+消融阶梯(墙的证伪轨迹 2.55→1.68 各级贡献瀑布图;多 seed 误差棒)。 +- Fig 4:规模阶梯(S0→S1→33M):税-尺度曲线 + 失效模式与对应围栏的时间线。 +- Fig 5:33M "能看" demo:故事样本(EP vs BP 并排)+ BPC。 +- Fig 6:硬件孪生:噪声线性律 + √N 律 + 器件孪生训练曲线;锁相必要性 inset(tf32)。 +- 附录图:优化器定价表、塌缩验尸(fp 吸收)、AEP 长视野失稳、追踪估计器探针等。 + +## 章节 + +1. Intro:BP-free 的动机(物理学习)+ 一句话 claim + Fig 1。 +2. Setup:平衡块、VF-EP、AEP;与 CET/DEQ 的关系(两条能量化路线)。 +3. The recipe:估计器(holo/clamp-free/selection/tracking)+ 控制律(res 信号、λ controller、 + 闸门、熔断)——以"协同设计"为主题串联。 +4. Results:S0 完整税单(多 seed)→ S1 阶梯与税-尺度 → 33M demo。 +5. Hardware-aware validation:孪生 + 缩放律 + 容忍包络(方法学引 Rasch/aihwkit)。 +6. The inversion:成本模型(E×、1B 账单)+ BOM 级含义一段(指向 paper B)。 +7. Limitations & open problems(诚实清单:S1 规则税 0.39、估计器生命周期、AEP 视野、纯模拟优化器税)。 + +## 投稿序列 + +33M demo 落地(~7 月) → arXiv 即挂(优先权) → Nature 主刊试投(desk 1–3 周,免费彩票, +形态按"能力+倒置"句式写) → 不中无缝转 ICLR(9 月底);Nature 系火力主存 paper B(物理 demo)。 + +## 数据来源索引 + +全部实验记录:METHODS.md(系统态)/ FINDINGS.md(编年史)/ lt_ep_code(代码备份)。 |
