产品动态2 分钟读完The Verge AI

OpenAI 发布新分类器,应对 AI 生成的儿童虐待图像

速览

OpenAI 发布了一款新的分类器,声称能更准确地识别儿童性虐待材料(CSAM),包括 AI 生成的图像,并大幅减少误报。该工具将免费提供给经过审查的组织,OpenAI 还将为开发者提供检测指导并培训执法部门。此举旨在应对 AI 生成内容导致举报系统不堪重负的现状。

OpenAI 在华盛顿特区的一次新闻发布会上公布了这一分类器。其背景是,AI 生成的儿童性虐待图像数量激增,已威胁到美国国家失踪与受虐儿童中心(NCMEC)举报系统的运作。该系统在 2025 年收到了 40 万份与生成式 AI 相关的举报,远超 2024 年的 6.7 万份。

OpenAI 表示,该分类器将误报数量减少了 48%,且被其标记的图像中包含虐待内容的可能性是此前的两倍。它旨在识别多种工具(包括开源模型和所谓“脱衣”应用)生成的虐待性 AI 图像。这也是首个专门标记 AI 生成材料的广泛可用分类器。

OpenAI 同时调整了其 ChatGPT 图像生成器的应对方式。现在,试图生成此类内容的用户会看到一条新的警告,首次违规将导致 24 小时无法使用 ChatGPT,并提示其账户可能被永久关闭,同时会提供寻求帮助的资源。OpenAI 表示会将所有 CSAM 实例报告给 NCMEC。

北卡罗来纳州总检察长 Jeff Jackson 在活动中表示,与 OpenAI 合作预防此类内容生成是一种新颖的尝试。他将其形容为“基本上仍是一个实验”,并指出各州总检察长的工作重心通常是事后追责。

原文OpenAI wants to stop deepfakes from overwhelming child abuse tiplinestheverge.com

#OpenAI#安全#内容审核

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。