AI幻觉险些触发美军对华军事行动，行动最后一刻叫停

今年春季，美国军事飞机已在空中飞行，官员们却发现一个令人震惊的事实：一场针对中国船只的武装行动所依据的情报，是由AI聊天机器人生成的幻觉。CNN报道称，行动在最后一刻被中止，勉强避免了一场潜在的对华冲突。

这一事件加深了军方官员和外部专家的担忧：随着决策者越来越依赖AI，这些系统产生的错误可能在受到质疑之前就沿着指挥链向上传递。情报报告在伊朗战争期间流通，声称该船只携带核武器项目组件。错误情报源于一名特种作战司令部分析师，他使用AI聊天机器人综合开源数据和机密信号情报，但机器人错误识别了船只的货物清单。分析师随后再次使用该工具，将错误发现格式化为正式摘要，并在指挥渠道中传阅。

这一事件发生在美国军方竞相整合AI以加速决策并保持对华优势之际。五角大楼称AI在加速其杀伤链方面提供了显著优势，使指挥官能在正确时间作出反应。但同样的速度也可能让幻觉在缺乏足够人工监督的情况下蔓延。GovAI研究学者、前美国陆军军官杰克·斯特克勒表示，军人理解大语言模型固有的不确定性非常重要，尤其是在可能导致使用武力的决策中，比如目标定位、情报分析或作战规划，这些决定的后果关乎生死。

斯特克勒同时指出，这一事件应被视为给AI增加更多安全护栏的呼吁，而非回避的理由。他说，这些工具在正确情境和适当保障下可以很有用，但将采纳速度置于一切之上可能导致事故，最终只会让军人失去对这些系统的信任，从而减缓采纳进程。