blob: 9b0c0ef7a32d38b9de90e39fa2d1de70e948c694 (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
|
# Paper A — 骨架（claim 架构 + 图表清单）
## 一句话 claim（脊柱）
Transformer language models can be trained end-to-end without backpropagation, by equilibrium
propagation; we map every cost this incurs — and show each one is denominated in a currency that
digital simulation pays and physical relaxation does not.
候选标题：
- "Training transformer language models by physical relaxation"
- "Equilibrium propagation trains language models: the complete cost map"
- "Backprop-free transformers: what it costs, and why physics doesn't pay it"
## 单一主张与降级清单
CLAIM（按证据强度排序）：
1. 存在性：EP 端到端训练 attention+FFN 的 LM（S0/S1 实跑；33M "能看" demo 为能力锚）。
2. 机制图谱 + 配方：有效域阈值、闸门、控制器协同设计、holo/tracking 估计器、围栏/熔断
——每条带定量数与验尸记录；规则税 0.041±0.005（9σ，S0）→ S1 的税-尺度走势。
3. 器件容忍包络（hardware-aware sim，Rasch/Nat Comm 方法学）：噪声线性律、√N 平均律、
program-verify 6-8bit + 30% 失配下 90% 改进量保留、锁相必要性（tf32 之死）。
4. 成本倒置（Figure 1）：E≈700–3000 力评估/步 ⇒ 数字 ×100–1000；物理 settle ⇒ ~0。
NOT-CLAIM（在 limitations 与正文显式声明）：
- 不主张 SOTA / 大于 33M 的质量（1B 仅 2k 步稳定性证书 + 成本模型）；
- 不主张物理 demo（paper B）；不主张实测能耗。
## Figure 清单
- **Fig 1（统一图）**：EP 的需求（settle / nudge平均 / 噪声积分 / 收缩控制）× 两列成本
（数字仿真实测 ×N vs 物理 ~free），每行放我们的实测数。全文的论点压缩。
- Fig 2：架构与训练规则（thick 块力场、两相/全纯估计器、控制回路框图——含闸门=learn-enable）。
- Fig 3：S0 终表+消融阶梯（墙的证伪轨迹 2.55→1.68 各级贡献瀑布图；多 seed 误差棒）。
- Fig 4：规模阶梯（S0→S1→33M）：税-尺度曲线 + 失效模式与对应围栏的时间线。
- Fig 5：33M "能看" demo：故事样本（EP vs BP 并排）+ BPC。
- Fig 6：硬件孪生：噪声线性律 + √N 律 + 器件孪生训练曲线；锁相必要性 inset（tf32）。
- 附录图：优化器定价表、塌缩验尸（fp 吸收）、AEP 长视野失稳、追踪估计器探针等。
## 章节
1. Intro：BP-free 的动机（物理学习）+ 一句话 claim + Fig 1。
2. Setup：平衡块、VF-EP、AEP；与 CET/DEQ 的关系（两条能量化路线）。
3. The recipe：估计器（holo/clamp-free/selection/tracking）+ 控制律（res 信号、λ controller、
闸门、熔断）——以"协同设计"为主题串联。
4. Results：S0 完整税单（多 seed）→ S1 阶梯与税-尺度 → 33M demo。
5. Hardware-aware validation：孪生 + 缩放律 + 容忍包络（方法学引 Rasch/aihwkit）。
6. The inversion：成本模型（E×、1B 账单）+ BOM 级含义一段（指向 paper B）。
7. Limitations & open problems（诚实清单：S1 规则税 0.39、估计器生命周期、AEP 视野、纯模拟优化器税）。
## 投稿序列
33M demo 落地（~7 月） → arXiv 即挂（优先权） → Nature 主刊试投（desk 1–3 周，免费彩票，
形态按"能力+倒置"句式写） → 不中无缝转 ICLR（9 月底）；Nature 系火力主存 paper B（物理 demo）。
## 数据来源索引
全部实验记录：METHODS.md（系统态）/ FINDINGS.md（编年史）/ lt_ep_code（代码备份）。
|
