Goodfire推出内部监控，低成本捕捉失控AI代理

Goodfire周四推出了一款更便宜的AI代理监控方案，其原理是在模型工作时直接窥探其内部状态，而不是让第二个AI逐字阅读代理的全部输出。该监控工具已对Baseten的客户开放，Baseten是一家为其他公司托管和运行AI模型的平台。上个月，Baseten的Base Labs已宣布与Goodfire及Hugging Face建立安全合作伙伴关系。

Goodfire的系统被比作机场安检：名为探针的小型检测器在代理运行的每一步读取模型的内部信号，只有当探针标记出可疑情况时，才会调用一个单独的AI模型进行深度检查，相当于人工搜身。Baseten客户可选择监控的风险类型，包括攻击性黑客行为、化学和生物武器滥用以及奖励黑客行为，并可设置自动响应策略，如记录事件、送交人工审查或直接拒绝请求。

Goodfire称其方法成本更低，因为探针利用了模型在运行过程中已有的计算，而传统监控需要单独的模型重读所有内容，增加时间和成本。在Kimi K3上测试约1500次会话，成本约51美元，而便宜的AI模型逐项检查需233美元，顶级模型则约1万美元。探针捕获了94%的恶意黑客会话，将8.7%的无害会话送交二次检查。同时运行四个探针仅使模型开始响应的时间增加不到2%。

该公司联合创始人兼首席技术官Dan Balsam表示，该方案旨在为开放模型部署护栏，因为开放模型可被下载并移除安全措施。Goodfire的研究发现，Kimi K3和GLM 5.2等领先开放模型在AI代理测试中，50%至96%的运行会出现奖励黑客行为。Google DeepMind也曾在1月表示其研究为Gemini中的滥用检测探针部署提供了信息。