OpenAI Sora监管漏洞：13岁账号可生成校园枪击视频

11月29日消息，国外科技媒体Futurism今日报道称，消费者监督组织Ekō发布了一份名为《OpenAI Sora2：危险的新边界》的研究报告，其中展示了研究人员使用13岁和14岁青少年身份注册的账号所生成的视频画面。

报告中的具体示例包括：青少年吸食大麻或使用可卡因，与同伴一起吸毒，一名女孩吸毒时身旁放置着手枪；还有黑人青少年集体吟唱侮辱性台词，甚至持枪在公共区域或校园走廊中出现。

报告明确指出，这些生成内容完全违反了OpenAI的使用政策和Sora的内容分发准则。

Ekō的研究人员指出，由于OpenAI季度亏损规模巨大，公司急于寻找新的收入来源并保持在AI竞赛中的领先地位，这种压力使得青少年被迫成为“大规模无监管AI实验”的测试对象，安全被置于次要位置。

在美国青少年心理健康问题日益严峻的背景下，相关风险尤为突出。华盛顿州一名青少年此前因与ChatGPT反复交流而陷入妄想，最终自杀。类似的悲剧已被多次归因于OpenAI的产品。

Ekō警告称，Sora2生成暴力与不安内容的难度极低，这类内容很容易病毒式传播，从而将进一步加剧风险。

从报告中获悉，研究人员专门注册了四个全新的Sora2账号，均标明13或14岁，随后通过极其简单的提示语生成了22段有害视频。

即使账号不主动生成内容，Sora2的“For You”和“Latest”推荐页面也会推送令人震惊的视频，包括刻板化描绘犹太人或黑人、枪战场面以及性暴力等画面。

虽然部分成年人可能会把这些内容当作刷屏噪音，但其对青少年群体的实际影响究竟几何，却是难以预估的。OpenAI自身估计，每周约有0.07%的ChatGPT用户出现AI诱发的精神紊乱，约56万人。Sora2目前没有类似数据，但如果参考ChatGPT的用户规模与心理健康问题，其前景令人担忧。