summaryrefslogtreecommitdiff
path: root/docs/campaign/CASCADE_ABLATION_PLAN.md
diff options
context:
space:
mode:
authorYuren Hao <yurenh2@illinois.edu>2026-08-04 05:46:57 -0500
committerYuren Hao <yurenh2@illinois.edu>2026-08-04 05:46:57 -0500
commitf3ade7674328c55a98d32fd332a3a1cf79fd40a6 (patch)
tree789515f125d31b894f147f61f1b1bab287a6dcc3 /docs/campaign/CASCADE_ABLATION_PLAN.md
parent3962588a667d0d8945044b105dedda75e3fa3a41 (diff)
RESULT 89终局 + 交付物: 135M完赛 EP 3.2087 vs BP 3.2074(+0.1% ppl), 旧读出+45.2%
窗口敏感性诚实记录: 97%窗给-0.0030(seed间距0.0059), 完赛大窗给+0.0013(间距0.0005, cosine 衰减后BP收拢); 以大窗为准且不得称"统计不可分"(2.6倍间距), 正确表述=差0.1%且处分辨极限, seed数(BP n=2/EP n=1)不足以给区间。 交付: --gen模式(复用模型定义, EP/BP同代码路径)、fig_135m_curves(四曲线/横轴token/BP细线在上)、 EPT_135M_samples.ipynb(同prompt同种子并排, 输出已烤入, 代码真可跑)。 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_014FAPDWQ49M5Ye3NpTndTpn
Diffstat (limited to 'docs/campaign/CASCADE_ABLATION_PLAN.md')
-rw-r--r--docs/campaign/CASCADE_ABLATION_PLAN.md18
1 files changed, 18 insertions, 0 deletions
diff --git a/docs/campaign/CASCADE_ABLATION_PLAN.md b/docs/campaign/CASCADE_ABLATION_PLAN.md
index 3a78932..2298ab4 100644
--- a/docs/campaign/CASCADE_ABLATION_PLAN.md
+++ b/docs/campaign/CASCADE_ABLATION_PLAN.md
@@ -2159,3 +2159,21 @@ BP seed2 在跑(定散布尺度)。
⟹ **11M 到 135M 全部落在种子噪声内**; "gap 随尺寸增长"作为 EP 属性正式作废(RESULT 80 已判为
伪影签名, 本条为 135M 端点确证)。
- EP rlin 剩 11.4k 步(~2h)出终局尾窗; 届时更新为完赛口径。
+
+### RESULT 89 终局 (完赛口径, 尾窗 396-440k, n=441/臂)
+| 臂 | 尾窗均值 | vs BP 均值 | ppl |
+|---|---|---|---|
+| EP read_lin | 3.2087 | **+0.0013** | **+0.1%** |
+| BP twin s1 | 3.2071 | | |
+| BP twin s2 | 3.2076 | | |
+| BP 两 seed 均值 | 3.2074 | (间距 **0.0005**) | |
+| EP 旧读出 | 3.5804 | +0.3730 | **+45.2%** |
+- ⚠️ **窗口敏感性, 须诚实报**: 97% 处窗口(422-428.6k, n=67)给 EP **−0.0030**、seed 间距 0.0059;
+ 完赛大窗(n=441)给 EP **+0.0013**、seed 间距 0.0005(cosine 衰减到底后两 BP 收拢)。
+ **以完赛大窗为准**: EP 比 BP 高 0.0013 = 0.1% ppl。
+- **不得声称"统计不可分"**: 0.0013 是 seed 间距的 2.6 倍。但 BP 仅 n=2(一个自由度)、EP n=1,
+ 该设计根本无力分辨 0.001 量级 ⟹ 正确表述 = "**差 0.1% 困惑度, 处在本设计的分辨极限附近**",
+ 并明说 seed 数不足以给出区间。若要主张不可分, 需 EP n≥2 与 BP n≥3(约 3 天/臂)。
+- 旧读出终值 +45.2% ppl = 精度伪影在 135M 的完整体量。
+- 交付物已出终版: assets/figs/fig_135m_curves.{png,pdf}(四曲线, 横轴 token) +
+ assets/EPT_135M_samples.ipynb(EP/BP 同 prompt 同种子并排, 输出已烤入, 代码可跑)。