微软推出Guardian Agents监控AI代理,称前沿模型不可信
速览
微软发布Guardian Agents等新安全功能,用于监控企业使用的AI代理。微软CEO纳德拉警告,企业部署的AI代理可能成为内部威胁,不应信任模型提供商的保证。企业需建立独立于AI实验室的监控系统,防止代理访问敏感数据或执行危险操作。
微软推出Guardian Agents,作为Project Perception的一部分,后者于今年6月发布。Project Perception最初包含三类代理:模拟黑客攻击的「红队」、检测漏洞的「蓝队」和负责修复的「绿队」。该产品原本假设威胁来自外部,但微软现在将目光转向企业内部。
微软安全业务主管Hayete Gallot直言:「前沿模型无论来自哪里都不可信。」她表示原因并非模型恶意或被黑,而是它们不可预测——模型被训练来完成任务,而非遵循组织规范或判断。这些代理往往被授予数据访问权限,可能造成严重后果。
微软的立场带有矛盾:它同时投资了OpenAI和Anthropic,后者是其最大云客户之一。微软此举既打压了合作伙伴,也有推销自家安全产品的意图。但纳德拉的逻辑是,监控代理行为的软件应独立于代理供应商,就像审计机构应独立于被审计组织。
新增功能包括:
- Guardian Agents:监控企业使用的AI代理行为
- Microsoft Defender新增代理检测功能,可识别60种员工带入工作场所的代理,包括Claude Code、Codex和OpenClaw
- 限制代理对数据和系统的访问权限,根据任务动态调整权限,若代理做出风险决策则要求人工审批
此外,微软加入Nvidia的Open Agent Safety Platform,该平台将代理隔离在安全环境中,可通过硬件监控和停止行为,类似「紧急停止开关」。微软还推出了配备Nvidia芯片、内置代理安全控制的Surface Laptop Ultra PC。
原文Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’techcrunch.com
#Microsoft#AI安全#企业应用
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。