置信度与人工复核（考点 5.5）· CCAF 备考

本页目录5

这个考点是什么

这个考点考的是「什么时候可以放手让 Claude 自动决策，什么时候必须把结果拦下来交给人」。核心矛盾在于：团队常用一个单一的聚合指标（比如整体准确率）来判断系统是否「足够好」，但聚合指标天然会把表现不均匀的子群体平均掉——总体 97% 的准确率完全可能是某个字段类别或某类文档只有 85%、被其他强势子类拉高之后的结果。

要发现这种隐藏风险，必须做分层评估（stratified evaluation），按文档类型、字段类别等维度分别统计，而不是只看一个总分。

第二层是置信度路由（confidence-based routing）：把高置信度的输出自动放行、低置信度的输出转人工复核，听起来很合理，但前提是「置信度分数」本身是可信的。模型自己报出来的 confidence score 往往没有经过校准——它说 0.9，不代表实际准确率就是 90%。

要让路由阈值真正对应某个目标准确率，必须用带标注的验证集去校准分数与实际正确率之间的映射关系，再据此选阈值。

第三层是在关键决策场景下，提升可靠性到底该用什么手段。这里既有单点技巧（如 self-consistency：多次独立采样再取多数结果），也有系统级的纵深防御组合（结构化输出约束、验证循环、人工升级门、上下文质量下降时重置）。考点要求辨别哪些手段是真的在降低不确定性，哪些看似合理实则会放大不确定性。

为什么考

这个考点常以「团队看到一个漂亮的聚合准确率就想撤掉人工复核」或「工程师直接拿模型自报的置信度当路由阈值」这类场景出题，考察是否能一眼识别出「聚合掩盖子组风险」和「未校准分数不可直接使用」这两个具体机制，而不是停留在「应该更谨慎」这种笼统结论上。

另一类考法是给出一组提升可靠性的候选手段（提高 temperature、缩短 prompt、抑制推理链、self-consistency、纵深防御组合等），要求辨别哪些手段方向是对的、哪些看似合理实则会增加方差或丢失关键信息。

核心辨析

1
聚合准确率（aggregate accuracy） vs 分层评估（stratified evaluation）：总体指标高不代表处处都高，某个文档类型或字段类别的准确率可能远低于均值却被强势子类掩盖；移除人工复核前必须按子群体拆开看，而不是只信一个总分。
2
模型自报的 confidence score vs 校准后的置信度阈值
原始置信度分数通常未经校准，0.9 并不等于「这条结果 90% 是对的」；要把它用作路由依据，必须先在带标注的验证集上校准分数与真实准确率的对应关系，再选出满足目标准确率的阈值，直接拿原始分数当阈值是常见错误。
3
self-consistency（多次独立采样 + 多数投票）是提升关键决策可靠性的正确模式，常与 chain-of-thought 搭配使用，通过降低单次随机生成的方差来提高稳定性——不要和「提高 temperature」混淆，后者恰恰是在增加输出的随机性，方向相反。
4
缩短 prompt 或抑制模型的推理过程（reasoning/思维链）不是可靠性手段
面对输入本身有歧义的场景，缩短 prompt 往往删掉的正是消除歧义所需的上下文和约束；抑制推理链则同时丢掉了准确率增益和可审计性，这两点在关键业务决策里都是刚需。
5
生产级关键决策的可靠性依赖纵深防御（defense in depth）而非单一技巧
结构化输出约束保证格式可解析、验证循环在结果被采纳前捕获格式或逻辑错误、人工升级门（human escalation gate）把低置信度或高风险场景转交人工、上下文质量下降时重置会话防止长会话漂移和错误累积——四者分工不同，缺一不能互相替代。

反模式对照

常见做法

看到 97% 的总体准确率就认为可以撤掉人工复核、全流程自动化

正确做法

按文档类型、字段类别等维度做分层评估，先确认没有子群体的准确率明显低于目标线，再考虑减少人工复核

聚合指标会把某个子类（比如 85% 准确率的某类字段）平均掉，拿总分做自动化决策会放大这类隐藏风险。

常见做法

直接把模型自报的 confidence score 当作自动放行/转人工的路由阈值

正确做法

先用带标注的验证集校准置信度分数与实际准确率的对应关系，再据此确定满足目标准确率的阈值

未校准的分数不是准确率的可靠预测量，0.9 的自报置信度不必然对应 90% 的实际正确率。

常见做法

为了让关键决策更「稳」而提高 temperature，或为了省 token 而砍掉 chain-of-thought 推理

正确做法

用 self-consistency（多次独立采样 + 多数投票）配合 chain-of-thought 来降低单次生成的方差

提高 temperature 是在增加随机性而非降低，抑制推理链会同时损失准确率增益和可审计性，两者都与「提升可靠性」的目标相反。

常见做法

只靠单一手段（例如仅做提示词调优，或仅依赖更大的模型做 zero-shot）来保证生产环境关键决策的可靠性

正确做法

组合使用结构化输出约束、验证循环、人工升级门、上下文质量下降时重置这几层机制

单点技术只能覆盖问题的一个侧面，格式错误、逻辑不一致、高风险场景遗漏、长会话漂移需要不同机制分别兜底。

练这个考点

练习模式支持按考点专练（需 Google 登录，不占用正式考机会）。

专练考点 5.5

该考点的公开题（免登录，含完整解析）：

← 返回考点目录