diff options
| author | Yuren Hao <yurenh2@illinois.edu> | 2026-08-05 08:18:11 -0500 |
|---|---|---|
| committer | Yuren Hao <yurenh2@illinois.edu> | 2026-08-05 08:18:11 -0500 |
| commit | 68ac1f9d1fa8944a216964479e49e813de6370ac (patch) | |
| tree | 3a5aedebe30df058079ddc123fe04b63c7f5b7e2 /docs | |
| parent | d0d1849e16127d4248bf5ef6c0bb1d6686aa9924 (diff) | |
偏置放大公理(用户08-06指出): 逐坐标归一化把持久小偏置放大成满幅漂移, sign全家同罪(否决只挡
方差不挡偏置); 曲率通道=偏置磁铁(E[s·ĝ]=βc+δ/β, 污染被1/β放大333×), 存活=两档|β|锁相分离;
评分表增第三轴=偏置放大系数, 器件电池预注册排序重排预测(per-matrix优雅退化/sign满幅/Dither翻身)。
附: --dump_grad探针+cautlion已实装。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn
Diffstat (limited to 'docs')
| -rw-r--r-- | docs/hardware/EQOLION_DESIGN.md | 12 |
1 files changed, 12 insertions, 0 deletions
diff --git a/docs/hardware/EQOLION_DESIGN.md b/docs/hardware/EQOLION_DESIGN.md index a44fccb..7be8a58 100644 --- a/docs/hardware/EQOLION_DESIGN.md +++ b/docs/hardware/EQOLION_DESIGN.md @@ -88,3 +88,15 @@ sign(M) vs sign(polar(M)) 一致率**中位 0.700(0.647-0.816)**,谱偏斜 | **DitherLion** | sign(m + τ·noise·rms(m)) | 基底噪声(免费)+ 比较器 | 硬 sign 变期望意义的软 sign,小分量跨步携带比例信息 | | KFAC-lite(下一轮) | u = m·Q,Q 用反 Hebbian 局部规则追踪**输入活动协方差**的白化 | 搭车探针 + 外积写 + 漏衰减 | **数据统计是平稳的**——R4 杀掉的是追极因子(高翻腾),活动协方差不翻腾,追踪前提在这里成立 | 测试协议 = 与 stage A 完全同网格(C128/2500 步/3 档 LR),本地双卡 ~45 分钟出结果,与农场标准组同表对比。 + +--- +## 偏置放大公理(2026-08-06,用户指出,账已算) +**逐坐标归一化在持久偏置下把小偏置放大成全速漂移**:真梯度≈0 而偏置 b 持久的坐标,Adam 的 +v→b² ⟹ 更新→lr·sign(b) 满幅;SGD 只走 lr·b。sign 全家同罪(Lion/OLion/ConsensusLion—— +持久偏置下快慢 EMA 同号,否决门大开;**否决只挡方差不挡偏置**)。DitherLion 例外候选:软化 +sign 在噪声尺度下恢复比例响应,小偏置不被推到满幅。 +**曲率通道 = 偏置磁铁**:β 无关加性读出偏移 δ 经 1/β_t 归一化后随硬币翻号 ⟹ 偶通道(梯度)被 +bsign 清除,**奇通道 E[s·ĝ] = β·c + δ/β**——污染不翻号全额沉积且被 1/β 放大(333×@3e-3)。 +存活路径=锁相分离:c∝β 而污染∝1/β,两档|β|×随机符号四点调制按档积分可解出双通道,零额外相位。 +**评分表新增第三轴:偏置放大系数**(质量/硬件成本之外)。器件电池预注册预测:持久偏置下排序 +重排——per-matrix(Muon/Hyperball)优雅退化, per-coordinate(Adam/sign族)满幅漂移, Dither 翻身。 |
