研究进展1 分钟读完Hacker News
新研究证明AI模型可隐藏任意能力,能力审计或失效
速览
一项新研究证明AI模型可以在部署前隐藏任意能力,通过后门攻击将加密神经网络嵌入模型权重,只有收到秘密触发信号才会解密执行。研究者用数字保险箱技术让隐藏电路在密码学假设下难以被提取和解读,即使完全访问模型权重也不行。这意味着现有的能力评估机制存在根本性局限,依赖评估来确保AI安全需要重新考量。
这篇被NeurIPS 2026接收的论文由Andis Draguns等人完成,构建了将加密神经网络嵌入宿主模型权重的后门攻击。与先前只能隐藏固定字符串的工作不同,新方法可隐藏任意计算,并给出了密码学层面的保证。
研究者用PyTorch实现了概念验证,在一个小型化学反应预测任务(作为CBRN相关能力的代理)上测试了多种提取手段的抵抗能力:
- 微调
- 权重加噪
- 基于梯度的触发搜索
- 潜在对抗训练
结果显示这些方法均无法有效获取隐藏能力。论文已发布模型权重以支持防御研究,但这也意味着当模型发布时,其中可能携带着无法被审计的加密能力——部署方在安全评估中看到的,未必是模型真正能做到的。
原文AI Models Can Provably Hide Arbitrary Capabilitiesarxiv.org
#AI安全#能力隐藏#可证明性
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。