From 08f5c8cc3a660da3c2a2ac8af24e3bb221f69a25 Mon Sep 17 00:00:00 2001 From: Yuren Hao Date: Wed, 5 Aug 2026 04:34:17 -0500 Subject: =?UTF-8?q?=E4=BC=98=E5=8C=96=E5=99=A8=E5=AE=A1=E8=AE=A1=E4=BF=AE?= =?UTF-8?q?=E8=AE=A2:=20OLion(sign=E8=BE=93=E5=87=BA=E2=86=92=E6=AD=A3?= =?UTF-8?q?=E4=BA=A4=E5=8C=96=E5=99=A8=E7=B2=BE=E5=BA=A6=E8=A6=81=E6=B1=82?= =?UTF-8?q?=E5=A1=8C=E5=88=B01bit)=E6=8E=A8=E7=BF=BBMuon=E6=A8=A1=E6=8B=9F?= =?UTF-8?q?=E6=AD=BB=E5=88=91=E7=9A=84=E5=89=8D=E6=8F=90;=20=E4=B8=89?= =?UTF-8?q?=E6=9D=A1=E6=9C=AA=E6=8E=A2=E8=B7=AF=E7=BA=BF(=E5=B9=B3?= =?UTF-8?q?=E8=A1=A1=E6=80=81=E6=AD=A3=E4=BA=A4=E5=8C=96/=E8=B7=9F?= =?UTF-8?q?=E8=B8=AA=E6=91=8A=E9=94=80/=E5=B1=80=E9=83=A8=E8=A7=84?= =?UTF-8?q?=E5=88=99=E7=99=BD=E5=8C=96);=20Hyperball=3D=E6=AF=8F=E7=9F=A9?= =?UTF-8?q?=E9=98=B5=E4=B8=80=E4=B8=AAAGC=E7=9A=84=E6=9C=80=E4=BE=BF?= =?UTF-8?q?=E5=AE=9C=E8=87=AA=E9=80=82=E5=BA=94+=E8=B7=A8=E5=AE=BD?= =?UTF-8?q?=E6=B7=B1LR=E8=BF=81=E7=A7=BB;=20=E4=BB=B7=E7=9B=AE=E8=A1=A8?= =?UTF-8?q?=E5=AE=9E=E9=AA=8C=E6=89=A9=E8=87=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn --- docs/hardware/HW_RESEARCH_FINDINGS.md | 26 ++++++++++++++++++++++++++ 1 file changed, 26 insertions(+) (limited to 'docs') diff --git a/docs/hardware/HW_RESEARCH_FINDINGS.md b/docs/hardware/HW_RESEARCH_FINDINGS.md index 406f009..359b1f0 100644 --- a/docs/hardware/HW_RESEARCH_FINDINGS.md +++ b/docs/hardware/HW_RESEARCH_FINDINGS.md @@ -335,3 +335,29 @@ mismatch/offset sensitivity; (2) SwiGLU's 1408-wide Gilbert gate: per-multiply m (3) RoPE phase error (expect very tolerant — phase error ~ position blur). Narrative gift: "the architecture the digital world adopted for training stability is the architecture analog needs for dynamic range." + +## 2026-08-05 — 优化器审计修订: OLion 改变了 Muon-模拟判决的前提; Hyperball = 最便宜的自适应 +**OLion (arXiv:2602.01105, PKU+MSRA, Wang/Shen/Zhang)**: Lion 动量 → Newton-Schulz 正交化 → +**逐元素取号** → RMS 定标(γ=0.2√(d1d2)/‖S‖_F) → 内建解耦 weight decay。GPT-2 124/355/770M + +Llama-2-7B 全线快于 AdamW/Lion/Muon/AdaMuon, LR 3e-4..5e-3 全区间稳。单篇预印本, 待复现。 +**对模拟实现的关键改变**: 7-11 审计判 Muon 死刑的前提是 NS 输出须以模拟精度写入; OLion 的最终 +更新是 sign(正交化(M)) —— **正交化器的输出精度要求塌缩到 1 bit**(误差只在过零点附近才算数)。 +模拟计算弱在精度、强在廉价的近似动力学 ⟹ "粗糙的模拟正交化器 + 比较器 + 定幅脉冲写"成为可行 +栈, 后两级正是 Lion 行已定价 analog-native 的单元。附带: ±1/√d 平坦更新分布对受限电导范围友好 +(论文自己为数字低精度论证过同一点); 内建 wd 恰好补上我方 Muon 无衰减的洞(RESULT: 08-05 发现)。 +**Muon"神奇算法"三条未探路线(用户 08-05 问题触发)**: +(a) **正交化作为平衡态**: Ẋ=X(I−XᵀX) 类流以正交因子为吸引子 — 物理弛豫, 与 EP 同范式; 审计的 +1000× 是"每步从头 NS"假设。 +(b) **跟踪摊销**: 动量 EMA(0.95) 时间尺度 ~20 步, 极因子漂移缓慢 ⟹ 常驻旁路只需每步纠 O(lr) +漂移, 成本从 10-15·C 次向量通过塌到 ~C 级。 +(c) **局部规则白化**: 右因子 (MᵀM)^{-1/2} 即白化变换, Pehlevan–Chklovskii 相似性匹配线用**局部 +反 Hebbian 规则**在线计算白化/PCA — 正是物理学习圈会造的电路类。polar(M)=M·(MᵀM)^{-1/2}。 +组合栈: 动量电容(漏积分) → 模拟白化旁路(局部规则, 跟踪) → 比较器(取号) → 定幅脉冲写。 +每级都是已定价或经典的模拟原语。判决升级: "Muon 经济死刑"→"OLion 类谱优化器存在可信模拟路径 +(纸面设计, 白化旁路 C×C fabric/矩阵 + 自身失配未定价, 比较器过零精度由 imperfection 表回答)"。 +**Hyperball (arXiv:2606.16899, Wen/Dang/Lyu/Ma/Liang)**: wrapper, 把权重矩阵与更新的 Frobenius +范数钉常数(权重活在球面上, 只转方向, 显式角速度取代 weight decay)。Muon+Hyperball 在 ≤1.2B +Qwen3 类模型上 **20-30% token 等效加速**, 且**跨宽深的 LR 迁移更好**(直接利好我方迁移条令)。 +反方 (2607.22444): 恒定角速度不豁免调度。模拟角度: 每矩阵一个标量范数约束 = 经典 AGC(一个功率 +传感器+一个增益旋钮/矩阵), **最便宜的自适应形态**; 权重定范数与受限电导范围天然契合。 +**价目表实验扩臂**: EP × {SGDM, Lion, AdamW, Adafactor, OLion, Muon+Hyperball} vs Muon 基线。 -- cgit v1.2.3