OpenAI 最新推出儿童性虐待内容(CSAM)检测图像分类器,同时配套 ChatGPT 的违规拦截警告机制,专门用来识别普通和 AI 生成的儿童性虐待图片,给到审核机构、执法人员辅助研判,降低人工审核压力,提升识别效率,以此加强儿童网络安全防护。这次的核心难点就是 AI 生成类有害图片很难靠传统比对方式识别,新分类器可以识别没见过的新图像,还会输出风险评分,方便工作人员优先处理高风险素材,工具是和美国国家失踪与受剥削儿童中心 NCMEC 合作完成训练和测试的。
工具核心能力清单
- 识别对象:真实拍摄的 CSAM 图像、AI 生成的 CSAM 图像、绘画动画类儿童色情化素材
- 输出能力:区分普通有害图和 AI 生成有害图,输出风险优先级分数
- 性能数据:同等检出效果下,误标记图片数量减少 48%,标记样本里真实有害内容占比提升一倍;第三方测试里,动画绘图类相关有害内容识别率可达 90%
- 开放方式:通过 OpenAI API,只对经过资质审核的合规机构免费开放,普通个人用户不能直接调用
ChatGPT 配套防护规则
- 用户发起寻找、生成儿童性虐待内容的请求时,系统直接中断操作,弹出警示,告知违法后果,引导求助渠道
- 首次违规,账号临时停用 24 小时
- 多次持续违规,会执行更长封禁、直接封号,同时按规定上报相关机构
整体落地流程
- 合作机构接入 API,批量上传待审核图像
- 分类器自动检测,返回风险标签、是否 AI 生成、风险分数
- 审核人员按照分数排序人工复核,确认有害内容后按流程上报、留存证据
- ChatGPT 端实时拦截相关提示词请求,触发账号处罚流程
这套方案不是单独靠 AI 自动判定结案,AI 只做初步筛查和分流,最终确认、取证、上报依然依靠人工审核和执法机构,避免单纯模型判断带来误判造成的问题。
【相关 FAQ】加粗
问题 1:OpenAI 儿童性虐待内容检测工具能不能给普通个人使用?
回答 1:OpenAI 儿童性虐待内容检测工具仅面向通过资质审核的机构免费开放,个人用户无法直接调用这套 CSAM 检测工具,个人只能看到 ChatGPT 端对应的内容拦截警告机制。
问题 2:OpenAI 儿童性虐待内容检测工具能不能识别 AI 生成的有害图片?
回答 2:可以,这款 OpenAI 儿童性虐待内容检测工具是目前少数可以区分普通 CSAM 图像和 AI 生成 CSAM 图像的分类器,同时也支持识别动画、绘画形式的儿童性虐待相关内容。
问题 3:触发 OpenAI 儿童性虐待内容检测对应的违规请求,账号会直接永久封禁吗?
回答 3:不会直接永久封禁,第一次触发相关违规请求时 ChatGPT 账号暂停 24 小时;反复多次发起这类请求,才会面临长期限制、封号以及上报相关部门处理。
【参考资料】加粗
[2026-11-17](OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护)IT 之家
[2026-11-17](OpenAI 发布免费图像分类器 识别儿童虐待材料)IT 时代网
[2026-11-16](OpenAI unveils new tool to detect child sexual abuse material)Anadolu Ajansı
[2026-11-16](OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM)TechCrunch
【免责声明】加粗
本内容仅为公开信息整理,不构成安全技术落地、法务处置指导;AI 检测工具存在识别误差,不能替代人工审核与执法机关调查;相关有害内容制作、传播、索取均属于违法行为,请遵守当地法律法规。
