summaryrefslogtreecommitdiff
path: root/docs/hardware/EQOLION_DESIGN.md
diff options
context:
space:
mode:
authorYuren Hao <yurenh2@illinois.edu>2026-08-05 08:18:11 -0500
committerYuren Hao <yurenh2@illinois.edu>2026-08-05 08:18:11 -0500
commit68ac1f9d1fa8944a216964479e49e813de6370ac (patch)
tree3a5aedebe30df058079ddc123fe04b63c7f5b7e2 /docs/hardware/EQOLION_DESIGN.md
parentd0d1849e16127d4248bf5ef6c0bb1d6686aa9924 (diff)
偏置放大公理(用户08-06指出): 逐坐标归一化把持久小偏置放大成满幅漂移, sign全家同罪(否决只挡
方差不挡偏置); 曲率通道=偏置磁铁(E[s·ĝ]=βc+δ/β, 污染被1/β放大333×), 存活=两档|β|锁相分离; 评分表增第三轴=偏置放大系数, 器件电池预注册排序重排预测(per-matrix优雅退化/sign满幅/Dither翻身)。 附: --dump_grad探针+cautlion已实装。 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn
Diffstat (limited to 'docs/hardware/EQOLION_DESIGN.md')
-rw-r--r--docs/hardware/EQOLION_DESIGN.md12
1 files changed, 12 insertions, 0 deletions
diff --git a/docs/hardware/EQOLION_DESIGN.md b/docs/hardware/EQOLION_DESIGN.md
index a44fccb..7be8a58 100644
--- a/docs/hardware/EQOLION_DESIGN.md
+++ b/docs/hardware/EQOLION_DESIGN.md
@@ -88,3 +88,15 @@ sign(M) vs sign(polar(M)) 一致率**中位 0.700(0.647-0.816)**,谱偏斜
| **DitherLion** | sign(m + τ·noise·rms(m)) | 基底噪声(免费)+ 比较器 | 硬 sign 变期望意义的软 sign,小分量跨步携带比例信息 |
| KFAC-lite(下一轮) | u = m·Q,Q 用反 Hebbian 局部规则追踪**输入活动协方差**的白化 | 搭车探针 + 外积写 + 漏衰减 | **数据统计是平稳的**——R4 杀掉的是追极因子(高翻腾),活动协方差不翻腾,追踪前提在这里成立 |
测试协议 = 与 stage A 完全同网格(C128/2500 步/3 档 LR),本地双卡 ~45 分钟出结果,与农场标准组同表对比。
+
+---
+## 偏置放大公理(2026-08-06,用户指出,账已算)
+**逐坐标归一化在持久偏置下把小偏置放大成全速漂移**:真梯度≈0 而偏置 b 持久的坐标,Adam 的
+v→b² ⟹ 更新→lr·sign(b) 满幅;SGD 只走 lr·b。sign 全家同罪(Lion/OLion/ConsensusLion——
+持久偏置下快慢 EMA 同号,否决门大开;**否决只挡方差不挡偏置**)。DitherLion 例外候选:软化
+sign 在噪声尺度下恢复比例响应,小偏置不被推到满幅。
+**曲率通道 = 偏置磁铁**:β 无关加性读出偏移 δ 经 1/β_t 归一化后随硬币翻号 ⟹ 偶通道(梯度)被
+bsign 清除,**奇通道 E[s·ĝ] = β·c + δ/β**——污染不翻号全额沉积且被 1/β 放大(333×@3e-3)。
+存活路径=锁相分离:c∝β 而污染∝1/β,两档|β|×随机符号四点调制按档积分可解出双通道,零额外相位。
+**评分表新增第三轴:偏置放大系数**(质量/硬件成本之外)。器件电池预注册预测:持久偏置下排序
+重排——per-matrix(Muon/Hyperball)优雅退化, per-coordinate(Adam/sign族)满幅漂移, Dither 翻身。