EXPERIMENT III · POST-TRAINING

偏好，还是长度

DPO 学到的是“更好的回答”，还是只是“更长的回答”？

待开始DPO偏好数据长度偏置

为什么值得做

偏好数据里，被选中的回答往往更长。模型可能只学会了写得更多，而评测也常常偏爱长回答，两者叠加会让提升看起来比实际更大。

HYPOTHESIS

控制 chosen / rejected 长度差之后，DPO 在固定评估集上的提升会明显缩小，但事实类维度的提升会保留下来。

MINIMAL SETUP

FALSIFIED IF

长度匹配后提升与原始数据相当，说明长度不是主要来源。

WILL PUBLISH

长度分布、两组训练配置、长度归一化前后的评测对照。

还没有记录。实验开始后，每一次运行、失败和修正都会记在实验室里。