From 68ac1f9d1fa8944a216964479e49e813de6370ac Mon Sep 17 00:00:00 2001 From: Yuren Hao Date: Wed, 5 Aug 2026 08:18:11 -0500 Subject: =?UTF-8?q?=E5=81=8F=E7=BD=AE=E6=94=BE=E5=A4=A7=E5=85=AC=E7=90=86(?= =?UTF-8?q?=E7=94=A8=E6=88=B708-06=E6=8C=87=E5=87=BA):=20=E9=80=90?= =?UTF-8?q?=E5=9D=90=E6=A0=87=E5=BD=92=E4=B8=80=E5=8C=96=E6=8A=8A=E6=8C=81?= =?UTF-8?q?=E4=B9=85=E5=B0=8F=E5=81=8F=E7=BD=AE=E6=94=BE=E5=A4=A7=E6=88=90?= =?UTF-8?q?=E6=BB=A1=E5=B9=85=E6=BC=82=E7=A7=BB,=20sign=E5=85=A8=E5=AE=B6?= =?UTF-8?q?=E5=90=8C=E7=BD=AA(=E5=90=A6=E5=86=B3=E5=8F=AA=E6=8C=A1=20?= =?UTF-8?q?=E6=96=B9=E5=B7=AE=E4=B8=8D=E6=8C=A1=E5=81=8F=E7=BD=AE);=20?= =?UTF-8?q?=E6=9B=B2=E7=8E=87=E9=80=9A=E9=81=93=3D=E5=81=8F=E7=BD=AE?= =?UTF-8?q?=E7=A3=81=E9=93=81(E[s=C2=B7=C4=9D]=3D=CE=B2c+=CE=B4/=CE=B2,=20?= =?UTF-8?q?=E6=B1=A1=E6=9F=93=E8=A2=AB1/=CE=B2=E6=94=BE=E5=A4=A7333=C3=97)?= =?UTF-8?q?,=20=E5=AD=98=E6=B4=BB=3D=E4=B8=A4=E6=A1=A3|=CE=B2|=E9=94=81?= =?UTF-8?q?=E7=9B=B8=E5=88=86=E7=A6=BB;=20=E8=AF=84=E5=88=86=E8=A1=A8?= =?UTF-8?q?=E5=A2=9E=E7=AC=AC=E4=B8=89=E8=BD=B4=3D=E5=81=8F=E7=BD=AE?= =?UTF-8?q?=E6=94=BE=E5=A4=A7=E7=B3=BB=E6=95=B0,=20=E5=99=A8=E4=BB=B6?= =?UTF-8?q?=E7=94=B5=E6=B1=A0=E9=A2=84=E6=B3=A8=E5=86=8C=E6=8E=92=E5=BA=8F?= =?UTF-8?q?=E9=87=8D=E6=8E=92=E9=A2=84=E6=B5=8B(per-matrix=E4=BC=98?= =?UTF-8?q?=E9=9B=85=E9=80=80=E5=8C=96/sign=E6=BB=A1=E5=B9=85/Dither?= =?UTF-8?q?=E7=BF=BB=E8=BA=AB)=E3=80=82=20=E9=99=84:=20--dump=5Fgrad?= =?UTF-8?q?=E6=8E=A2=E9=92=88+cautlion=E5=B7=B2=E5=AE=9E=E8=A3=85=E3=80=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn --- docs/hardware/EQOLION_DESIGN.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) (limited to 'docs/hardware') diff --git a/docs/hardware/EQOLION_DESIGN.md b/docs/hardware/EQOLION_DESIGN.md index a44fccb..7be8a58 100644 --- a/docs/hardware/EQOLION_DESIGN.md +++ b/docs/hardware/EQOLION_DESIGN.md @@ -88,3 +88,15 @@ sign(M) vs sign(polar(M)) 一致率**中位 0.700（0.647-0.816）**，谱偏斜 | **DitherLion** | sign(m + τ·noise·rms(m)) | 基底噪声（免费）+ 比较器 | 硬 sign 变期望意义的软 sign，小分量跨步携带比例信息 | | KFAC-lite（下一轮） | u = m·Q，Q 用反 Hebbian 局部规则追踪**输入活动协方差**的白化 | 搭车探针 + 外积写 + 漏衰减 | **数据统计是平稳的**——R4 杀掉的是追极因子（高翻腾），活动协方差不翻腾，追踪前提在这里成立 | 测试协议 = 与 stage A 完全同网格（C128/2500 步/3 档 LR），本地双卡 ~45 分钟出结果，与农场标准组同表对比。 + +--- +## 偏置放大公理（2026-08-06，用户指出，账已算） +**逐坐标归一化在持久偏置下把小偏置放大成全速漂移**：真梯度≈0 而偏置 b 持久的坐标，Adam 的 +v→b² ⟹ 更新→lr·sign(b) 满幅；SGD 只走 lr·b。sign 全家同罪（Lion/OLion/ConsensusLion—— +持久偏置下快慢 EMA 同号，否决门大开；**否决只挡方差不挡偏置**）。DitherLion 例外候选：软化 +sign 在噪声尺度下恢复比例响应，小偏置不被推到满幅。 +**曲率通道 = 偏置磁铁**：β 无关加性读出偏移 δ 经 1/β_t 归一化后随硬币翻号 ⟹ 偶通道(梯度)被 +bsign 清除，**奇通道 E[s·ĝ] = β·c + δ/β**——污染不翻号全额沉积且被 1/β 放大(333×@3e-3)。 +存活路径=锁相分离：c∝β 而污染∝1/β，两档|β|×随机符号四点调制按档积分可解出双通道，零额外相位。 +**评分表新增第三轴：偏置放大系数**（质量/硬件成本之外）。器件电池预注册预测：持久偏置下排序 +重排——per-matrix(Muon/Hyperball)优雅退化, per-coordinate(Adam/sign族)满幅漂移, Dither 翻身。 -- cgit v1.2.3