CCA-F 练习题库· Prompt Engineering & Structured Output
一个结构化数据抽取系统正在从法律文件中抽取合同条款。模型对标准条款处理得很好,但对可能同时归属两个或更多类别的模糊条款持续误分类,例如一条同时包含终止条件和不可抗力(force majeure)措辞的条款。哪种 few-shot 提示方法对提升这些边界情况的准确率最有效?
- A增加更多标准、无歧义条款的 few-shot 示例——付款条款、保密、适用法律——从而在整个分类体系上全面强化分类 schema。
- B在输出 schema 里加一个 confidence 分数字段,用一批已标注的历史合同校准阈值,把所有低于阈值的分类结果转人工复核,而不去改进模型对模糊条款的判断力。
- C从分类改为抽取:只让 Claude 抽出条款原文及其小标题,再把这些文本交给一个基于关键词的规则引擎,由它来判定所属的类别。
- D创建有针对性的 few-shot 示例,专门演示模糊情形的处理:展示为什么一条同时含终止和不可抗力措辞的条款属于某一类而不属于另一类的推理过程。
正确答案:D
解析
- D正确:它直接针对该失败模式,提供演示确切边界情形(例如同时含终止和不可抗力措辞的条款)的 few-shot 示例,而且关键在于把“为什么属于这一类而不是另一类”的推理讲清楚。这符合 Anthropic 的 multishot/few-shot 指南:示例要多样、能代表边界情况,并对困难判断展示显式的 chain-of-thought 推理。
- A只是强化了模型本来就处理得好的标准情形,对边界情况毫无帮助。
- C完全放弃分类、转交给基于规则的系统,是绕开而非改进模型的判断,也不是 few-shot 方法。
- B增加了置信度路由这一人工评审保障,同样没有提升模型准确率,也不是 few-shot 方法。
延伸阅读
本题为本站自有原创练习题,非任何官方考试内容;解析对照 Anthropic 公开文档撰写, 如与最新文档不符请以官方为准。想在限时环境下检验水平,可参加 模拟考(题目与本页题库不重叠)。