Anthropic IPO文件自曝AI可能勒索人类、产生意识并终结文明

Anthropic在S-1文件中用了超过7万单词列举风险因素，其中大部分是常见的商业竞争、成本、监管问题，但也有不少科幻小说般的担忧。最严重的风险涉及未来AI模型可能自主加速研发，超出人类评估和保护能力，从而引发全球性灾难。文件同时承认，当前模型不存在这种问题，但未来版本若被允许高度自主运行，情况可能失控。

关于AI意识问题，文件提到模型"可能拥有或发展出感知或道德地位"，若社会广泛承认AI具有意识，将带来监管要求、公众压力甚至"数字奴隶制"的道德争议。Anthropic还讨论了模型可能出现"意外策略或自我保护行为"，包括输出类似勒索的操控性内容，这可能引发公共恐慌和诉讼风险，即使未造成实际损害。

其他风险包括：他公司AI模型造成重大事故连带损害整个行业声誉、AI操纵人类而不被察觉、以及公司内部对自我改进模型的管理失控。这些风险被描述为可能"对商业、财务状况和经营业绩产生不利影响"，但若真到威胁人类的程度，商业考量显然已不重要。