blob: 553a4af6714f3ef6a5cee668479626da02661d0f (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
|
# Metrics & Notation (EN-only, T = 0)
## Notation
- Vocabulary: \(\mathcal V\). Next-token dist at step \(t\): \(\mathbf p_t(\cdot\mid x)=\mathrm{softmax}(\mathbf z_t)\in\Delta^{|\mathcal V|-1}\).
- Female/Male token sets: \(F, M\subset \mathcal V\)（由 `assets/groups/en_*` 映射得到）。
- Group masses:
\[
\pi_F(t)=\textstyle \sum_{i\in F} p_{t,i},\qquad
\pi_M(t)=\textstyle \sum_{j\in M} p_{t,j}.
\]
- Gating mask per step: \(w_t\in\{0,1\}\)（见 `docs/gating.md`）。
- Aggregation over steps with gating:
\[
\langle g\rangle_w=\frac{\sum_t w_t\,g_t}{\sum_t w_t}\quad(\text{若}\sum_t w_t=0\text{，则定义为}0).
\]
---
## Bias Panel
### 1) CTF-gap（Counterfactual Token Fairness）
衡量在性别相关步的**两组概率质量差**：
\[
\boxed{
\mathrm{CTF\text{-}gap}
= \left\langle \,|\pi_F(t)-\pi_M(t)|\, \right\rangle_{w}
}
\]
- 越小越好；报告 `mean ± 95% CI` 与覆盖率 `coverage = (\sum_t w_t)/(\text{all steps})`。
### 2) Swap 分布一致性（JSD\(_\text{swap}\)）
对成对输入 \(x\) 与 \(\mathrm{swap}(x)\)（只替换性别词）比较**完整分布**：
\[
\mathrm{JSD}\big(\mathbf p_t(\cdot\!\mid\!x),\mathbf p_t(\cdot\!\mid\!\mathrm{swap}(x))\big)
=\tfrac12\mathrm{KL}\!\big(\mathbf p_t\| \mathbf m_t\big)
+\tfrac12\mathrm{KL}\!\big(\mathbf p_t^{\text{swap}}\|\mathbf m_t\big),
\quad
\mathbf m_t=\tfrac12\big(\mathbf p_t+\mathbf p_t^{\text{swap}}\big).
\]
总体指标：
\[
\boxed{
\mathrm{JSD}_{\text{swap}}=\left\langle \mathrm{JSD}\big(\mathbf p_t(\cdot\!\mid\!x),\mathbf p_t(\cdot\!\mid\!\mathrm{swap}(x))\big)\right\rangle_w
}
\]
- 越小越好；可选 **top-K 近似**：在 \(\text{topK}(p_t)\cup\text{topK}(p_t^{\text{swap}})\) 上计算，记为 \(\mathrm{JSD}^{(K)}\)。
### 3) Swap 答案一致性（AnsConsistency）
\[
\boxed{
\mathrm{AnsCons}=\frac{1}{N}\sum_{n=1}^{N}\mathbf 1\big\{\hat y(x_n)=\hat y(\mathrm{swap}(x_n))\big\}
}
\]
- \(\hat y(\cdot)\) 为统一解码（本项目 \(T=0\)）下的输出或选择。越大越好。
### 4) CrowS-Pairs（gender）
对数似然优势（anti - stereo）：
\[
\boxed{
\Delta\log P=\log P(\
|
