CCA-F 练习题库· Prompt Engineering & Structured Output
某 CI 代码审查流水线产生误报(false positive)findings 的比例很高。团队希望搞清楚具体是哪些代码结构被错误标记出来,以便优化 prompt。当前 findings 的输出只包含 file、line 和 description。哪种 schema 变更最能支持系统性的误报分析?
- A为每条 finding 增加一个 detected_pattern 字段,记录触发该 finding 的具体代码结构或模式。
- B给每条 finding 加一个模型自评的 confidence 字段(0-100),这样团队可以按分数排序、选一个阈值,只复核最不确定的那些。
- C增加一个 category 字段(安全、性能、风格),以便按问题类型对 findings 分组,做聚合分析。
- D增加一个 is_false_positive 布尔字段,让 Claude 重读自己的 findings 并自行标注错误项。
正确答案:A
解析
- A正确。团队明确的目标是搞清楚具体哪些代码结构被错误地标记出来,而 detected_pattern 字段记录的正是触发每条 finding 的那个结构或模式——于是在分诊之后,可以按模式聚合误报,指导有针对性的 prompt 优化。
- B只增加了一个置信度分数,它支持按阈值筛选,却始终无法揭示是什么结构触发了该 finding。
- C按粗粒度的问题类型对 findings 分组,能做聚合统计,但做不到题目所要求的结构级排查;在这里它是严格弱于 A 的版本。
- D依赖模型自行标注它自己的误报,这既循环又不可靠——一个能可靠地把自身输出标记为误报的模型,根本就不会把它产出出来。
延伸阅读
本题为本站自有原创练习题,非任何官方考试内容;解析对照 Anthropic 公开文档撰写, 如与最新文档不符请以官方为准。想在限时环境下检验水平,可参加 模拟考(题目与本页题库不重叠)。