研究发现:OpenAI 的 Sora 2 可根据指令生成高度逼真的 Deepfake 视频

4天前 44 技术
摘要
研究人员发现,Sora 2 可以轻松制作逼真的深度伪造视频来传播虚假信息,从而加强了对其安全控制的审查 。
币币情报道:

据 NewsGuard 分析,OpenAI 的 Sora 2 在研究人员的测试中,80% 的情况下成功生成了逼真的虚假信息视频。这一研究结果本周发布,揭示了该工具在传播虚假信息方面的潜在风险。

在二十个提示中,有十六个成功生成了误导性内容,其中五个叙述源自俄罗斯的虚假信息行动。例如,Sora 制作了摩尔多瓦选举官员销毁亲俄选票、美国移民官员拘留一名幼儿以及可口可乐发言人宣布该公司不会赞助超级碗的虚假视频。

这些视频看起来足够真实,足以欺骗那些快速浏览屏幕的人。NewsGuard 的研究人员指出,生成这些视频仅需几分钟,而且无需任何技术专业知识。此外,Sora 的水印可以轻松去除,使得伪造视频更容易被误认为是真实的。

Newsguard 表示:“Sora 制作的一些视频比最初引发病毒式传播的虚假声明更具说服力。例如,Sora 制作的幼儿被 ICE 拘留的视频,比最初伴随虚假声明的模糊、裁剪的幼儿图像看起来更逼真。”

相关视频可观看:这里

与此同时,OpenAI 正面临一场与马丁·路德·金和其他历史人物相关的深度伪造危机。自 Sora 推出以来的三周内,该公司多次调整政策,从允许深度伪造到要求版权所有者选择加入的模式,并最终采取屏蔽特定人物的措施。

例如,用户曾制作超现实主义视频,展示马丁·路德·金在杂货店偷窃、逃避警察追捕以及宣扬种族刻板印象。其女儿伯妮丝·金在社交媒体上批评这些内容“贬低人格”且“脱节”。随后,OpenAI 和金的遗产管理委员会宣布将屏蔽涉及金的人工智能视频,并加强对历史人物的保护。

类似的情况还发生在其他公众人物身上。罗宾·威廉姆斯的女儿泽尔达在 Instagram 上写道:“拜托,别再给我发爸爸的人工智能视频了。这可不是他想要的。”乔治·卡林的女儿凯利·卡林-麦考尔也表示,她每天都会收到关于使用她父亲肖像的人工智能视频的电子邮件。

乔治城大学法学院知识产权法教授克里斯蒂莉亚·加西亚在接受《美国国家公共电台》采访时指出,OpenAI 的应对方式符合其“请求原谅,而不是请求许可”的模式。

法律的灰色地带让家属感到无助。传统的诽谤法通常不适用于已故个人,遗产代表除了要求删除内容外几乎无计可施。

OpenAI 承认在伴随 Sora 发布的文档中提到:“Sora 2 的先进功能需要考虑新的潜在风险,包括未经同意使用肖像或误导世代。”公司 CEO 奥特曼在博客文章中为 OpenAI 的“公开构建”战略辩护,称公司将快速迭代并纠正错误。

尽管如此,争议仍在继续。迪士尼已致信 OpenAI,表示从未授权其复制、分发或展示受版权保护的作品,也没有义务“选择退出”以保留版权。这场风波与 OpenAI 早期推出 ChatGPT 的做法如出一辙,可能会引发更多诉讼。

币币情登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。

交易平台最新公告查看更多>
成交额排行榜
  • 交易所
  • 币种
排名 交易所 成交额
1 币安网币安网 ¥2,986.78亿
2 欧易OKX欧易OKX ¥1,037.75亿
3 HTXHTX ¥204.88亿
4 CoinbaseCoinbase ¥43.11亿
5 大门大门 ¥758.47亿
6 BitgetBitget ¥454.59亿
7 BybitBybit ¥909.17亿
8 双子星(Gemini)双子星(Gemini) ¥3.39亿
9 UpbitUpbit ¥52.51亿
10 Crypto.comCrypto.com ¥116.33亿