diff options
Diffstat (limited to 'notes.md')
| -rw-r--r-- | notes.md | 26 |
1 files changed, 26 insertions, 0 deletions
@@ -97,6 +97,32 @@ z_short 不和长期 preference Jaccard 相关是**符合预期的**： **可视化**: `collaborativeagents/results/fig_main_results.png` panel (c) +### z_short Ablation Experiment (02/10 启动) + +**目的**: 通过消融实验证明dual-vector中z_short的必要性 + +**实验设计**: +| 条件 | eta_long | eta_short | beta_long | beta_short | 说明 | +|------|----------|-----------|-----------|------------|------| +| Full (baseline) | 0.01 | 0.05 | 2.0 | 5.0 | 完整dual-vector (已完成的60s实验) | +| No z_short | 0.01 | **0.0** | 2.0 | 5.0 | 禁用session内适应 | +| No z_long | **0.0** | 0.05 | 2.0 | 5.0 | 禁用跨session学习 | + +**配置**: 60 profiles × 60 sessions, max 10 turns, same as main experiment +**方法名**: `rag_vector_no_short`, `rag_vector_no_long` + +**预期结果**: +1. **No z_short** (z_long only): 跨session学习正常，但session内第1-2 turn后如果agent犯错无法快速修正偏好权重 → 预计E/T会更高（更多enforcement） +2. **No z_long** (z_short only): 每个session从零开始（z_short在session开始时reset），完全没有跨session记忆 → 预计后期session表现差，没有学习曲线 +3. **Full** (both): 最佳表现，z_long提供跨session基础，z_short提供session内微调 + +**关键对比指标**: +- **E/T per-session曲线**: No z_short应该在early turns有更高E/T +- **Success rate over sessions**: No z_long应该flat，Full应该upward +- **Late-session performance**: Full应该最好，No z_long应该和early一样 + +**状态**: 🔄 Running (02/10 21:48 启动) + --- ## RAG vs Reflection 分析 |