diff options
| author | Yuren Hao <yurenh2@illinois.edu> | 2026-07-31 04:40:51 -0500 |
|---|---|---|
| committer | Yuren Hao <yurenh2@illinois.edu> | 2026-07-31 04:40:51 -0500 |
| commit | 15abb3ee664955bf9bb93c46825a4ad8947998fd (patch) | |
| tree | 293f8d7870ce74def6cebd044f60e062d7aee1aa /docs/hardware/DILLAVOU_CRASH_BRIEF_CN.md | |
| parent | bde5a676779cce353817f68c9dcbe0c90d28dd1c (diff) | |
Dillavou通话材料v3: 机制段按RESULT 77-79改判(读出地板+零成本修复+小尺寸EP胜BP), Q2改为板上对比读出/physical epsilon, cheat sheet加破案更新节
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn
Diffstat (limited to 'docs/hardware/DILLAVOU_CRASH_BRIEF_CN.md')
| -rw-r--r-- | docs/hardware/DILLAVOU_CRASH_BRIEF_CN.md | 63 |
1 files changed, 63 insertions, 0 deletions
diff --git a/docs/hardware/DILLAVOU_CRASH_BRIEF_CN.md b/docs/hardware/DILLAVOU_CRASH_BRIEF_CN.md new file mode 100644 index 0000000..20c4103 --- /dev/null +++ b/docs/hardware/DILLAVOU_CRASH_BRIEF_CN.md @@ -0,0 +1,63 @@ +# Dillavou 速成简报(内部,通话前读,~15 分钟) + +## 他是谁(30 秒版) +Harvard 物理 PhD(导师 Shmuel Rubinstein,做摩擦与无序材料记忆——**不是 ML 出身,是实验凝聚态物理学家**)→ UPenn 博后(Douglas Durian + Andrea Liu 组,物理学习实验线的动手人,每代板子都是他搭的)→ 2025-05 起离开 Penn:ARIA(英国 DARPA 仿制品)R&D Creator,self-employed 做 "Learning Metamaterials"——pre-spinout 配置(个人持 IP,创业为默认出口),详见 cheat sheet 追加节。 + +## 平台名词(他们的自称,用对了显得懂) +**CLLN = Contrastive Local Learning Network**。两个完全相同的网络副本(free / clamped 两种边界条件),每条边一个本地学习单元,比较两副本响应、自主更新权重。无处理器、无外部存储、无时钟同步要求。"twin networks" 就指这两副本。 + +## 四篇必懂 +### 1. PRApplied 2022 — "Demonstration of Decentralized Physics-Driven Learning" +Dillavou, Stern, Liu, Durian。第一代板子:**线性**可变电阻网络,16 边。 +- 权重 = 数字电位器档位;每边**比较器 + XOR 取对比信号的符号,±固定步长更新(sign-only)**。 +- 任务:allostery、线性回归、Iris 三分类(~95%)。损伤鲁棒(剪边继续学)。 +- 名言(他常引):"a laboratory network of only 500 edges will already outpace its in silico counterpart"。 +- 局限:线性网络只能学线性任务;数字电位器还不是真模拟存储。 +- 理论蓝本 = Stern et al. 2021 PRX 的 coupled learning(钳位式对比学习)。 + +### 2. PNAS 2024 — "Machine learning without a processor" ⭐我们邮件里 "your processor-free network" 指的就是它 +Dillavou et al.。第二代:**晶体管非线性边,权重 = 电容上的电荷**(真模拟存储,连续时间自主更新)。 +- 学会 XOR、非线性回归(线性系统学不了的任务),无任何数字处理器。 +- 数字:**重训秒级,执行微秒级,每晶体管皮焦级耗散**,损伤鲁棒。 +- 发现类似 NN spectral bias 的误差模式排序:先均值、再斜率、再曲率。 +- 我们板子的四要素(twin 副本 / 共享权重电容 / 本地对比更新 / 无钟)全部承自这里。 + +### 3. arXiv 2505.22887 (2025) — "Understanding and Embracing Imperfection in Physical Learning Networks" ⭐邮件里点名的 imperfection 论文 +Dillavou, Guzman, Liu, Durian。 +- 发现:元件/测量不完美 → **极限环、精度退化、旧任务遗忘**,理想系统里都不存在。 +- 机制(解析模型):**"不受控的学习偏差持续改写内部表征"**,类比生物脑 representational drift。 +- 解法:system-agnostic 训练法缓解,哲学是"拥抱不完美"而不是配数字孪生去校正。 +- **明天最大的共同语言**:我们 C768 泄漏 = 同一类病(一致性估计器偏差长程累积);我们的 bias-vs-nudge 曲线就是这类病的定量仪器;"the rule co-adapts to the device"(cos 0.97 追踪带故障网络)与他的哲学完全同频。 + +### 4. arXiv 2606.15443 (2026-06-13) — "Coercivity and Local Convergence of Physical Learning in Linear Circuits" +**McGinnis, Xinbo Li, Mori——你邮件里写的 "McGinnis, Li and Mori" 作者没记错**(Li = Xinbo Li)。 +- 内容:线性电路、小 nudge 极限下,EP / CL / AL(他们新提的 Adjoint Coupled Learning)的**首个局部收敛分析**。 +- 核心区分(= 你邮件说的 "recently formalized" 的那个):**EP 和 AL 在自然损失上做精确梯度下降;CL 的动力学多一个三次修正项**——"力 vs 约束"的数学化版本。 +- coercivity 秩条件(由网络关联结构决定)⟹ 损失指数衰减;反例 = kite 电路(对称性使 coercivity 常数在解流形上退化),但 Sard 定理证明这种退化非泛型。 +- 同日姊妹篇 2606.15444(Kline 替 Li):EP 与 CL 在连续时间小 nudge 极限**守恒一个质量型量**,约束训练动力学。 +- 注意:这是 **Penn 数学系的组(Yoichiro Mori)**,不是 Dillavou 组,但他必然熟。给了"同板对比 EP nudge vs CL clamp"一个可检验的理论预言:两者应差在三次阶。 + +## 他最近在忙什么(寒暄与收尾弹药) +- **2511.17825 (2025-11,他一作)**:"Analog Physical Systems Can Exhibit Double Descent"——标准训练出不了 double descent,**为元件非理想性修改过的训练协议才出**。他的现行主线 = 从"演示能学"转向**不完美物理系统的训练科学**,和我们 call sheet 议程完美对齐。 +- 2509.15842:Restricted Kirchhoff Machine(Guzman/Ciarella/Liu)——CLLN 做无监督 RBM 类比,二值化 MNIST 仿真 + 时间/功耗/能耗 scaling 对比 CPU/GPU。 +- 2512.03799:物理网络的任务记忆/遗忘("Remembrance of Tasks Past")。 + +## 邮件逐句底细对照(你写过什么 → 事实 → 他追问怎么接) +| 你邮件里的话 | 背后事实 | 追问时接法 | +|---|---|---| +| "two continuously-running replicas, shared weight capacitors" | PNAS 2024 架构:两副本同一条边共用一个存权重的电容,更新电流由本地对比驱动 | 我们保留这个拓扑,departure 只在 nudge 注入和对比通道 | +| "OTA current nudge alongside the voltage clamp" | 他的板子输出用电压钳(CL 式);我们加跨导放大器把损失导数作为电流注入(EP 式力) | McGinnis-Li-Mori 预言两者差在三次阶——同板对比可以直接验这个预言 | +| "difference-of-squares contrast channel vs sign-only cells" | 他 2022 板就是 sign-only(比较器+XOR);exact 通道 = 模拟乘法算平方差型对比量 | 我们 bsign(随机极性)在 72M/135M 的稳定性给 sign 家族背书,第三臂 | +| "bias-versus-nudge curve ... additive precision floor" | 我们 sim:振幅扫 20× cos 不变(乘性主导),下限由加性读出噪声定;他 2505.22887 是同类病的电路侧记录 | 问他 bench 上怎么分离加性/乘性(call sheet Q3) | + +## 万一他往深处问 +- **kite 反例**:菱形+对角的对称小电路,对称性让收敛常数在解上退化——记住"非泛型,几乎所有目标输出下 coercivity 成立"即可。 +- **spectral bias 排序**:他 PNAS 板子先学均值再斜率再曲率——如果他提,接"我们 LM 侧也看到低频先收敛的对应物"。 +- **异步性**:他们 2022 还有篇 Desynchronous Learning(arXiv 2201.04626)——异步更新不坏收敛,clockless 的实验支撑。 +- 不懂就直说"这块我还没读透,会后补"。他是实验物理学家,**诚实比装懂值钱**。 + +## 人设校准(最重要的一条) +他不是 ML 理论家,是**搭板子的实验物理学家**。聊具体的观测量、测量协议、元件行为最对味;聊 transformer 内部机制他可能反过来问你基础问题——这是好事,主导权在你。他的哲学一以贯之:**别和物理对抗,让学习规则吸收物理**。我们整条线(co-adaptation、bsign、拥抱大 nudge)都顺着这个哲学讲。 + +## 来源 +- arXiv:2108.00275 (PRApplied 2022) · arXiv:2311.00537 (PNAS 2024) · arXiv:2505.22887 (imperfection) · arXiv:2606.15443 + 2606.15444 (McGinnis 组两篇) · arXiv:2511.17825 (double descent) · arXiv:2509.15842 (Kirchhoff machine) · aps.org 个人页(博后身份,已过时) |
