优化器审计修订: OLion(sign输出→正交化器精度要求塌到1bit)推翻Muon模拟死刑的前提; 三条未探路线(平衡态正交化/跟踪摊销/局部规则白化); Hyperball=每矩阵一个AGC的最便宜自适应+跨宽深LR迁移; 价目表实验扩臂

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn

1 files changed, 26 insertions, 0 deletions

diff --git a/docs/hardware/HW_RESEARCH_FINDINGS.md b/docs/hardware/HW_RESEARCH_FINDINGS.md
index 406f009..359b1f0 100644
--- a/docs/hardware/HW_RESEARCH_FINDINGS.md
+++ b/docs/hardware/HW_RESEARCH_FINDINGS.md
@@ -335,3 +335,29 @@ mismatch/offset sensitivity; (2) SwiGLU's 1408-wide Gilbert gate: per-multiply m
 (3) RoPE phase error (expect very tolerant — phase error ~ position blur).
 Narrative gift: "the architecture the digital world adopted for training stability is the architecture
 analog needs for dynamic range."
+
+## 2026-08-05 — 优化器审计修订: OLion 改变了 Muon-模拟判决的前提; Hyperball = 最便宜的自适应
+**OLion (arXiv:2602.01105, PKU+MSRA, Wang/Shen/Zhang)**: Lion 动量 → Newton-Schulz 正交化 →
+**逐元素取号** → RMS 定标(γ=0.2√(d1d2)/‖S‖_F) → 内建解耦 weight decay。GPT-2 124/355/770M +
+Llama-2-7B 全线快于 AdamW/Lion/Muon/AdaMuon, LR 3e-4..5e-3 全区间稳。单篇预印本, 待复现。
+**对模拟实现的关键改变**: 7-11 审计判 Muon 死刑的前提是 NS 输出须以模拟精度写入; OLion 的最终
+更新是 sign(正交化(M)) —— **正交化器的输出精度要求塌缩到 1 bit**(误差只在过零点附近才算数)。
+模拟计算弱在精度、强在廉价的近似动力学 ⟹ "粗糙的模拟正交化器 + 比较器 + 定幅脉冲写"成为可行
+栈, 后两级正是 Lion 行已定价 analog-native 的单元。附带: ±1/√d 平坦更新分布对受限电导范围友好
+(论文自己为数字低精度论证过同一点); 内建 wd 恰好补上我方 Muon 无衰减的洞(RESULT: 08-05 发现)。
+**Muon"神奇算法"三条未探路线(用户 08-05 问题触发)**:
+(a) **正交化作为平衡态**: Ẋ=X(I−XᵀX) 类流以正交因子为吸引子 — 物理弛豫, 与 EP 同范式; 审计的
+1000× 是"每步从头 NS"假设。
+(b) **跟踪摊销**: 动量 EMA(0.95) 时间尺度 ~20 步, 极因子漂移缓慢 ⟹ 常驻旁路只需每步纠 O(lr)
+漂移, 成本从 10-15·C 次向量通过塌到 ~C 级。
+(c) **局部规则白化**: 右因子 (MᵀM)^{-1/2} 即白化变换, Pehlevan–Chklovskii 相似性匹配线用**局部
+反 Hebbian 规则**在线计算白化/PCA — 正是物理学习圈会造的电路类。polar(M)=M·(MᵀM)^{-1/2}。
+组合栈: 动量电容(漏积分) → 模拟白化旁路(局部规则, 跟踪) → 比较器(取号) → 定幅脉冲写。
+每级都是已定价或经典的模拟原语。判决升级: "Muon 经济死刑"→"OLion 类谱优化器存在可信模拟路径
+(纸面设计, 白化旁路 C×C fabric/矩阵 + 自身失配未定价, 比较器过零精度由 imperfection 表回答)"。
+**Hyperball (arXiv:2606.16899, Wen/Dang/Lyu/Ma/Liang)**: wrapper, 把权重矩阵与更新的 Frobenius
+范数钉常数(权重活在球面上, 只转方向, 显式角速度取代 weight decay)。Muon+Hyperball 在 ≤1.2B
+Qwen3 类模型上 **20-30% token 等效加速**, 且**跨宽深的 LR 迁移更好**(直接利好我方迁移条令)。
+反方 (2607.22444): 恒定角速度不豁免调度。模拟角度: 每矩阵一个标量范数约束 = 经典 AGC(一个功率
+传感器+一个增益旋钮/矩阵), **最便宜的自适应形态**; 权重定范数与受限电导范围天然契合。
+**价目表实验扩臂**: EP × {SGDM, Lion, AdamW, Adafactor, OLion, Muon+Hyperball} vs Muon 基线。