EXPERIMENT IX · REASONING
想够了吗
模型能否知道一道题什么时候已经“想够了”?
- Q提出可证伪的问题当前阶段
- R做最小运行路径未开始
- E连接真实验证未开始
- P公开证据与限制未开始
为什么值得做
增加计算深度能换来准确率,也会换来时延和成本。如果能按题目难度提前退出,简单的题就不必走完全程。
假设
HYPOTHESIS基于中间状态置信度的提前退出,在准确率基本不变的前提下减少可观的平均迭代次数。
最小装置
MINIMAL SETUP- 01在第 VII 号实验的循环模型上加入逐步置信度头
- 02按难度分层构造测试集
- 03画出不同阈值下的准确率–平均迭代次数曲线
什么会证明我错了
FALSIFIED IF任何阈值下,提前退出都带来明显准确率损失。
将会公开
WILL PUBLISH阈值扫描结果、难度分层数据、退出分布图。
前期线索相关的已有工作,不是这个实验的结论
- 承接第 VII 号实验需要先完成循环模型的复现。
实验日志RUN LOG
还没有记录。实验开始后,每一次运行、失败和修正都会记在实验室里。
去实验室 ↗