CCA-F 练习题库· Context Management & Reliability
什么是 prompt caching，它的主要好处是什么？
- A保存模型已生成的输出文本，当同样的问题再次被问到时直接回放这份存好的回复，使其不必被重新生成
- B在服务端缓存 prompt 的前缀（例如大型 system prompt 或文档），使重复请求无需重新处理它 —— 从而降低延迟和成本
- C在 API 调用之间，把每个用户的会话状态（对话历史、偏好、标识）存放在服务端存储中，并以 session ID 作为键
- D为最常被问到的查询预先生成答案，并直接返回这些事先写好的回复，使热门问题根本不会到达模型
正确答案：B
解析
- B正确：Prompt caching 会在服务端缓存 prompt 中已处理好的前缀（tools、system prompt，以及靠前的消息内容，例如大型文档），一直缓存到指定的 cache breakpoint 为止，这样后续复用完全相同前缀的请求就可以跳过对它的重新处理。它的主要好处是降低延迟 —— 尤其是更快的 time-to-first-token —— 以及降低成本，因为 cached-read tokens 的计费约为基础输入 token 费率的 0.1 倍（大约便宜 90%）。各干扰项描述的都是无关概念，都是错的。
- A保存模型输出以便复用。
- C在调用之间存储用户会话状态。
- D为常见查询预先生成回复。所以本题构造良好，恰好只有一个正确答案。
延伸阅读
本题为本站自有原创练习题，非任何官方考试内容；解析对照 Anthropic 公开文档撰写， 如与最新文档不符请以官方为准。想在限时环境下检验水平，可参加 模拟考（题目与本页题库不重叠）。