blob: 93b27712da581a35796ea51438ecf34daeaab149 (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
# TBD — GPU Ready 后待完成
## 1. Encoder 加 GPU 支持
- `hag/encoder.py` 的 `Encoder` 类加 `device` 参数
- `_load_model()` 时 `.to(device)`，推理时 tensor 搬到 GPU
- batch encode 结果 `.cpu()` 回传
## 2. 数据准备脚本
- 新建 `scripts/prepare_hotpotqa.py`
- 从 HuggingFace 下载 HotpotQA，提取所有 context passages
- 去重，存成 memory bank 可消费的格式（JSONL 或直接构建 memory_bank.pt）
- 同时导出 questions + gold answers + gold passage indices 供评测用
## 3. 对比评测脚本
- 新建 `scripts/run_comparison.py`
- 同一个 memory bank，分别跑 FAISS 和 Hopfield retriever
- 同一个 LLM 生成答案
- 输出对比表格：EM / F1 / Retrieval Recall@k
- 支持不同 beta、max_iter 的 sweep
## 4. run_eval.py 补 FAISS 路径
- 当前 `run_eval.py` 只接 memory_bank，FAISS 模式需要额外从 memory_bank 构建 FAISS 索引
- 加上自动转换逻辑
|
