CCA-F 练习题库· Tool Design & MCP Integration
在扩充了 tool descriptions 以修复误路由之后,仍有 30% 的请求被路由到错误的工具。接下来你应该调查什么?
- A审查 system prompt 中对关键词敏感的指令,它们会造成意料之外的工具关联 —— 从而压过已改进的描述。
- B从被误路由的生产请求中补 10-15 个 few-shot examples,持续增加直到路由准确率超过 95%。
- C把这两个工具合并成一个带 mode 参数的工具,彻底消除路由决策,改由工具自己选择行为。
- D部署一个专门的路由分类器作为预处理步骤,用带标注的请求与工具配对样本训练,由它先选好工具、绕开工具描述。
正确答案:A
解析
- A正确。在扩充 tool descriptions 之后仍有 30% 的请求被误路由,下一步应当是诊断根本原因,而不是继续堆修补——而典型的元凶就是 system prompt。其中对关键词敏感的祈使句(例如“always look up the customer first”)会制造出隐含的关键词到工具的关联,连写得很好的描述也会被它压过,因为模型把 system prompt 和 tool descriptions 当作同一个指令面。审查并移除这些相互冲突的关联,才是针对真正的原因。
- B(增加更多 few-shot examples)是暴力调优,什么都没诊断出来还有过拟合的风险;
- D(专门的路由分类器)是重量级的架构增补而非调查手段,在原因查明之前为时过早;
- C(合并这两个工具)是激进的能力变更,只有当两个工具确实重叠时才适用。
延伸阅读
本题为本站自有原创练习题,非任何官方考试内容;解析对照 Anthropic 公开文档撰写, 如与最新文档不符请以官方为准。想在限时环境下检验水平,可参加 模拟考(题目与本页题库不重叠)。