联系我 ↗

EXPERIMENT IX · REASONING

想够了吗

模型能否知道一道题什么时候已经“想够了”?

待开始提前退出推理成本KV Cache
  1. Q提出可证伪的问题当前阶段
  2. R做最小运行路径未开始
  3. E连接真实验证未开始
  4. P公开证据与限制未开始

为什么值得做

增加计算深度能换来准确率,也会换来时延和成本。如果能按题目难度提前退出,简单的题就不必走完全程。

Q

假设

HYPOTHESIS

基于中间状态置信度的提前退出,在准确率基本不变的前提下减少可观的平均迭代次数。

R

最小装置

MINIMAL SETUP
  1. 01在第 VII 号实验的循环模型上加入逐步置信度头
  2. 02按难度分层构造测试集
  3. 03画出不同阈值下的准确率–平均迭代次数曲线
E

什么会证明我错了

FALSIFIED IF

任何阈值下,提前退出都带来明显准确率损失。

P

将会公开

WILL PUBLISH

阈值扫描结果、难度分层数据、退出分布图。

前期线索相关的已有工作,不是这个实验的结论

  • 承接第 VII 号实验需要先完成循环模型的复现。

实验日志RUN LOG

还没有记录。实验开始后,每一次运行、失败和修正都会记在实验室里。

去实验室 ↗