CCA-F 练习题库· Context Management & Reliability
某个用于保险理赔的结构化数据抽取系统，在验证集上达到了 97% 的总体准确率。团队提议在不做人工审核的情况下把整个工作流自动化。一位同事认为这个聚合指标掩盖了重要风险。最重要的顾虑是什么？
- A97% 的准确率意味着每一百件理赔中大约有三件带有抽取错误，不经核查就处理这些理赔，可能让保险公司面临法律责任、监管投诉和昂贵的后续补救。
- B聚合准确率指标会掩盖在特定文档类型或字段上的糟糕表现。某个准确率只有 85% 的理赔类型或字段类别，会被其他地方的优异表现所掩盖，因此在自动化之前需要做分层分析。
- C验证集可能无法代表生产环境的数据量，因此这个 97% 的数字不可信。
- D无论准确率指标好到什么程度，都应始终保留人工审核，因为保险决策的自动化会带来监管与声誉风险，而这种风险是任何验证集上的数字都无法免除掉的。
正确答案：B
解析
- B正确。这位同事的论点恰恰是聚合的 97% 这个数字掩盖了风险，而 B 点明了确切的机制：一个总体准确率数字可以掩盖在特定文档类型或字段类别上的糟糕表现（例如某个理赔类型只有 85%，被其他部分的优异结果掩盖），因此在移除人工审核之前必须做分层/子群分析。
- A只是把 3% 的错误率及其责任风险重述了一遍，并未解释这种掩盖；
- C提出的是一个不同的代表性顾虑，而不是聚合掩盖子群的问题；
- D则是一种忽视了分析缺口的绝对化政策立场。
延伸阅读
本题为本站自有原创练习题，非任何官方考试内容；解析对照 Anthropic 公开文档撰写， 如与最新文档不符请以官方为准。想在限时环境下检验水平，可参加 模拟考（题目与本页题库不重叠）。