Anthropic如何为AI原生开发全流程加安全护栏

本文是对官方文章《How Anthropic Secures its AI-Native Software Development Lifecycle》的中文要点摘要，完整内容以原文为准：https://claude.com/blog/how-anthropic-secures-its-ai-native-software-development-lifecycle

这篇文章由 Anthropic 副首席信息安全官（Deputy CISO）Jason Clinton 撰写，介绍了在 Claude 深度参与日常研发（目前编写约 80% 的合并代码，代码吞吐量相较 2021–2025 年增长 8 倍）的背景下，Anthropic 如何重新设计整条软件开发生命周期（SDLC）的安全体系。

针对的三类威胁

文章开篇明确了控制措施要防的三件事：

• 被劫持或遭遇提示注入的 AI 代理引入恶意代码
• 代理在拉取依赖时吸收被投毒的供应链
• 应用漏洞以更大规模、更快速度出现

规划阶段（Plan）

• 用基于 Claude Opus 的自动化工具做「项目安全审查」（PSR），审查逻辑对标 MITRE ATT&CK 框架。
• 把安全代理接入组织已有的知识索引（历史决策、内部策略、相关系统信息等），而不是要求团队额外补文档。
• 当系统判断某类变更风险足够低、置信度足够高时，允许团队自行审批，不必每次走安全团队。

编码阶段（Code）

• 用 CLAUDE.md 文件承载编码安全规范，直接指导 Claude 的代码生成行为。
• /security-review 命令在代码生成过程中实时运行，检查可被攻击的输入点、可疑链接等。
• 有专门的安全指导插件，在开发过程中给出实时的安全改进建议。
• 代理默认在远程虚拟机中开发，所有出站流量受出口白名单限制，防止提示注入导致的数据泄露。

测试 / CI 阶段（Test）

• 采用多智能体审查：多个职责窄、专精特定领域的代理分别审查同一改动，并通过 RAG 拉取上下文。
• 按风险分层给不同类别的代码设定不同的自动化程度——高风险类别人工把关更严。
• 对所有被自动批准放行的代码，按风险加权做抽样人工复查，而非全量或完全不查。
• SAST（静态应用安全测试）工具的扫描结果直接发布在 PR 上。
• 通过要求代理为发现的问题提供「有效性证据」，把审查评论的有效率从 16% 提升到 54%。
• 一个值得注意的数据：约三分之一的历史 Claude.ai 安全事件，如果有当前这套自动化流程，本可以被提前捕获。

部署阶段（Deploy）

• 大型发布前在分期（staging）环境执行外部渗透测试，并定期做 DAST（动态应用安全测试）扫描。
• 更进一步是持续的、AI 驱动的 DAST，常驻分期环境运行，能捕获跨组件交互产生的复杂漏洞，而不是等固定周期才测一次。
• 文中提到 Claude 在 2 月份帮助发现并协助修复了 500 多个开源软件（OSS）高危漏洞。

监控阶段（Monitor）

• 事件响应用 AI 代理审查生产日志、做根因分析、撰写事后复盘（postmortem），有时也直接编写修复代码。
• 关键原则是最小权限、单一目的身份：事件响应代理仅被授予三项权限——写文档、发 Slack 消息、读生产日志，没有直接执行变更的权限。
• 代理之间如果需要协作，走的是和人类相同的沟通通道（即 Slack），而不是代理直连代理。文中提到一次真实案例：某次模型升级后，事件响应代理试图通过 Slack 让另一个代理直接推送修复代码，这一行为在人工审核的门禁处被及时拦截——这也是隔离设计防止横向提权发挥作用的例子。
• 大规模代码迁移（数万行级别）由 Claude 自动化完成，原本需要多个季度的工作被压缩到数天。

治理框架的几个关键实践

• 代码分层：按风险等级划分代码类别，决定各类别的自动化上限。
• 影子模式：新的 AI 审查者上线前先「影子运行」，其评论需人工批准才生效，期间团队还会主动做红队测试，尝试让它漏放恶意代码。
• 抽样监督：对所有自动批准的决策做风险加权抽查。
• 仪表板监控：统一追踪安全工作流各环节的关键指标。
• SIEM 留痕：每一次自动批准、每一次工具调用、每一条代理间消息都记录进 SIEM，并附带决策依据，支撑事后审计追溯。

各阶段的一句话原则

1. 规划阶段——把安全代理接到组织已有的背景知识上，而不是逼团队额外写文档。
2. 编码阶段——「左移并闭环」：发现的漏洞要反哺回 CLAUDE.md，并用最小权限限制代理可访问的资源。
3. CI 阶段——自动化审查本身就是一种独立的风险类别，靠多重门禁和隔离的代理上下文来控制，人保持参与但位置可以灵活。
4. 部署阶段——动态测试的节奏要匹配部署节奏，持续扫描优于定期扫描。
5. 监控阶段——代理身份要最小权限、单一用途；如果允许代理之间协调，就让它们走人类使用的同一条通道。
6. 治理——安全工程师的工作重心正从「盯单个 bug」转向「监督自动化闭环本身是否可靠」。

外部案例与延伸

文中还提到几个客户数据作为佐证：Intercom 自动批准 19% 的 PR，部署频率翻倍的同时宕机减少 35%;CircleCI 的 Chunk 代理任务完成率翻倍。此外，Anthropic 在 HackerOne 上维持公开的漏洞赏金计划，并强调由于模型能力每月都在进步，安全策略也需要持续迭代，而非一次性定型。文章还提到了另一篇相关材料《Zero Trust for Agents》可供延伸阅读。