Anthropic 更新使用政策,首次禁止对 Claude 的虐待行为
速览
Anthropic 一年多来首次更新使用政策,新增对选举干预、武器开发、监控等高风险滥用的限制,其中最引人注目的是禁止对 Claude 实施持续且无意义的虐待或残忍行为。新政策仍以终止对话为主要执行机制,仅适用于极端情况。这意味着用户反复恶意对待 AI 模型的行为将首次被明确划入违规范畴。
Anthropic 此次政策更新将此前分散的几项限制整合为一项新禁令,明确禁止欺骗性的商业或政治宣传活动,以应对 AI 生成宣传内容日益泛滥的问题。新规限制“隐藏信息发布者身份或通过虚假账号发布内容来放大内容的行为”,选举相关条款还禁止投票欺骗和选举干扰,包括传播关于候选人及投票方式的虚假信息、冒充候选人、压制投票率等。
武器开发禁令进一步扩大范围,新增了“使武器运作的软件和组件,以及武装无人机等自主载具的动作”。Anthropic 表示此前政策虽已公开禁止使用 Claude 开发武器,但已发现多次尝试利用 Claude 编写武器指导与控制软件的案例。监控相关禁令也进一步明确,禁止未经同意跟踪他人,禁止在执法或刑事司法流程中决定或建议调查对象,也禁止用于构建改进监控工具。
新政策还规定,当 AI 模型连接到可能造成伤害的自主硬件时,必须有一名合格操作员能够观察设备并适时停止。这反映了 AI 实验室投资机器人等实体硬件的趋势。此外,Anthropic 此前已与美国军方签约,新政策允许对某些政府客户合同进行调整,若公司判断合同限制和安全措施足以减轻潜在危害。
去年八月,Anthropic 已宣布允许 Claude 结束与“持续有害或滥用”用户的对话,作为其“模型福利”研究的一部分。公司强调新政策仅适用于极端情况,“不适用于常见的用户挫败感、反驳、黑暗创意主题或模型测试研究”。Anthropic 未透露是否会有进一步的执行机制,是否可能封禁用户。
原文Anthropic bans ‘abusive or cruel behavior’ towards Claudetheverge.com
#Anthropic#使用政策#AI 安全
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。