EXPERIMENT VI · INFERENCE

重复的前缀

一个 Agent 的多轮对话里，有多少 token 在被重复计算？

待开始Prompt Caching前缀缓存vLLM

为什么值得做

Agent 每一轮都会把系统提示、工具定义和历史重新发给模型。前缀缓存能省下这部分，但只要上下文顺序稍有变化，缓存就会失效。

HYPOTHESIS

把稳定内容（系统提示、工具定义、Skills）固定在前、易变内容放在后，缓存命中率能提高一倍以上，首 token 时延随之下降。

MINIMAL SETUP

FALSIFIED IF

重排后命中率提升不到 20%，或重排损害了任务通过率。

WILL PUBLISH

会话请求样本（脱敏）、重排规则、命中率与时延对照。

还没有记录。实验开始后，每一次运行、失败和修正都会记在实验室里。