正在阅读:

AI虚假信息带来的困扰为何越来越严重了?

扫一扫下载界面新闻APP

AI虚假信息带来的困扰为何越来越严重了?

“虚假信息本质上还是伪造的信息,但它的危害在大模型时代被放大了。”

图片来源:界面新闻

界面新闻记者 | 肖芳

界面新闻编辑 | 宋佳楠

今年十一期间抖音B平台大量涌现雷军AI配音” 的恶搞视频雷军本人小米带来很大困扰

这些恶搞视频“雷军”锐评了堵车、假期等热门话题,还有一些不雅谩骂。一些恶搞短视频播放量几天之内达到上亿。对此,雷军本人10发布短视频回应希望大家都不要再玩了,“有网友投诉说国庆期间被我连续骂了7天,的确让我自己也挺困扰,让我挺不舒服的,这个事不太好。”

谈及上述事件,Gartner研究副总裁高挺告诉界面新闻虚假信息本质上还是伪造的信息,但它的危害在大模型时代被放大了。

在一位信息安全从业者看来雷军AI配音” 恶搞视频变多,主要是外站一家AI公司在宣传其声音克隆功能。这类玩梗,公众知道是AI模仿,传播虚假信息的风险不大。平台在治理中的难点是,因为无法判断名人、明星对于这种网友玩梗是反对,还是出于营销目的乐见其成,在当事人明确提出赞同或反对的意见前,平台难以制定治理策略。

相比之下,新闻AI谣言往往带来的社会危害性更大。界面新闻搜索发现类似事件今年多次发生

近期一篇题为《山东大妈摆摊卖水果被罚16万,监管局回应不交罚145万,法院判了》文章微信公众号平台流传非常广引发很多网友争论有关部门核实这篇文章长沙一家MCN公司为了增加公众号的阅读量与公司收益利用AI生成内容博眼球在此之前多个短视频平台出现利用AI编造地震运钞车抢劫新闻这些内容不明真相网友带来一定程度恐慌

对于生成式AI带来虚假新闻,各个内容平台都明确表示会进行打击抖音安全中心相关负责人称,对于虚假信息,无论是否由AI生成,一经发现平台均会严厉处置。同时,对于AI生成内容,在符合社区内容规则的前提下,抖音要求发布者对内容进行显著标识,帮助其他用户区分虚拟与现实,特别是易混淆场景。

但据界面新闻了解治理AI生成虚假新闻难点在于面临很高的核验成本,平台很难完全以一己之力判断信息真实性,很多情况需要监管部门介入,但相关信息核验过程已经进行快速传播

虚假信息给企业声誉以及社会正常生活秩序造成负面影响之外带来诸如“网络钓鱼”,或者“账户接管”企业网络安全影响。此前行业中曾经发生诈骗分子通过AI技术仿造一家能源公司CEO声音,诈骗公司高管上百万元钱财AI生成的音色、音调和口音都非常逼真导致这名高管根本没意识到诈骗

高挺表示生成式AI导致了更高破坏性、更逼真的攻击,这些攻击更难被人类识别以及被传统技术阻止,会对企业造成更大的损失。

虚假信息生产成本越来越低,但负面影响却越来越显性通过传统人工核验手段已经很难完全解决问题上述技术安全专家表示我们需要有更多新兴的技术去解决虚假信息治理问题有些人利用技术手段制造虚假信息技术安全专家应该能够识别这些虚假信息特征通过技术手段与之对抗真正源头解决问题

信息安全领域很多技术专家已经虚假信息治理有了一些初步共识并把“虚假信息安全”作为一个技术研究方向

具体来讲“虚假信息安全”包含了在信息传播中能够确保完整性评估真实性以及防止冒充和追踪有害信息传播的一系列技术。背后原理是,通过大语言模型来跟踪社交媒体上的内容验证实时通信的完整性,确保第三方媒体的真实性

Gartner在其预测的2025年十大战略技术趋势“虚假信息安全”列为重要技术趋势之一。该机构认为未来1到3“虚假信息安全”技术产生明显的商业收益

从研究实践来看一些技术证明有效加利福尼亚大学的一项研究表明通过上下文标签向用户提供背景介绍、针对错误的解释以及相关权威内容等细节信息可以有助于减少虚假内容扩散Facebook、X等海外内容平台正通过人工智能等技术手段,训练系统自动对海量信息进行检测和标记,以克服人工核查的局限性这些研究和实践国内内容平台也有较强借鉴意义

针对通过生成式AI带来钓鱼诈骗问题企业和组织可以通过一套完整的技术解决方案来应对界面新闻了解到,360蚂蚁金服多家国内互联网公司已经基于大模型研发解决方案,试图通过数据接入及解析、分析研判与溯源调查手段识别更多风险

未经正式授权严禁转载本文,侵权必究。

雷军

  • 李斌不是雷军,李斌就是李斌
  • 小米甩掉“心魔”,雷军走出米粉围城

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

AI虚假信息带来的困扰为何越来越严重了?

“虚假信息本质上还是伪造的信息,但它的危害在大模型时代被放大了。”

图片来源:界面新闻

界面新闻记者 | 肖芳

界面新闻编辑 | 宋佳楠

今年十一期间抖音B平台大量涌现雷军AI配音” 的恶搞视频雷军本人小米带来很大困扰

这些恶搞视频“雷军”锐评了堵车、假期等热门话题,还有一些不雅谩骂。一些恶搞短视频播放量几天之内达到上亿。对此,雷军本人10发布短视频回应希望大家都不要再玩了,“有网友投诉说国庆期间被我连续骂了7天,的确让我自己也挺困扰,让我挺不舒服的,这个事不太好。”

谈及上述事件,Gartner研究副总裁高挺告诉界面新闻虚假信息本质上还是伪造的信息,但它的危害在大模型时代被放大了。

在一位信息安全从业者看来雷军AI配音” 恶搞视频变多,主要是外站一家AI公司在宣传其声音克隆功能。这类玩梗,公众知道是AI模仿,传播虚假信息的风险不大。平台在治理中的难点是,因为无法判断名人、明星对于这种网友玩梗是反对,还是出于营销目的乐见其成,在当事人明确提出赞同或反对的意见前,平台难以制定治理策略。

相比之下,新闻AI谣言往往带来的社会危害性更大。界面新闻搜索发现类似事件今年多次发生

近期一篇题为《山东大妈摆摊卖水果被罚16万,监管局回应不交罚145万,法院判了》文章微信公众号平台流传非常广引发很多网友争论有关部门核实这篇文章长沙一家MCN公司为了增加公众号的阅读量与公司收益利用AI生成内容博眼球在此之前多个短视频平台出现利用AI编造地震运钞车抢劫新闻这些内容不明真相网友带来一定程度恐慌

对于生成式AI带来虚假新闻,各个内容平台都明确表示会进行打击抖音安全中心相关负责人称,对于虚假信息,无论是否由AI生成,一经发现平台均会严厉处置。同时,对于AI生成内容,在符合社区内容规则的前提下,抖音要求发布者对内容进行显著标识,帮助其他用户区分虚拟与现实,特别是易混淆场景。

但据界面新闻了解治理AI生成虚假新闻难点在于面临很高的核验成本,平台很难完全以一己之力判断信息真实性,很多情况需要监管部门介入,但相关信息核验过程已经进行快速传播

虚假信息给企业声誉以及社会正常生活秩序造成负面影响之外带来诸如“网络钓鱼”,或者“账户接管”企业网络安全影响。此前行业中曾经发生诈骗分子通过AI技术仿造一家能源公司CEO声音,诈骗公司高管上百万元钱财AI生成的音色、音调和口音都非常逼真导致这名高管根本没意识到诈骗

高挺表示生成式AI导致了更高破坏性、更逼真的攻击,这些攻击更难被人类识别以及被传统技术阻止,会对企业造成更大的损失。

虚假信息生产成本越来越低,但负面影响却越来越显性通过传统人工核验手段已经很难完全解决问题上述技术安全专家表示我们需要有更多新兴的技术去解决虚假信息治理问题有些人利用技术手段制造虚假信息技术安全专家应该能够识别这些虚假信息特征通过技术手段与之对抗真正源头解决问题

信息安全领域很多技术专家已经虚假信息治理有了一些初步共识并把“虚假信息安全”作为一个技术研究方向

具体来讲“虚假信息安全”包含了在信息传播中能够确保完整性评估真实性以及防止冒充和追踪有害信息传播的一系列技术。背后原理是,通过大语言模型来跟踪社交媒体上的内容验证实时通信的完整性,确保第三方媒体的真实性

Gartner在其预测的2025年十大战略技术趋势“虚假信息安全”列为重要技术趋势之一。该机构认为未来1到3“虚假信息安全”技术产生明显的商业收益

从研究实践来看一些技术证明有效加利福尼亚大学的一项研究表明通过上下文标签向用户提供背景介绍、针对错误的解释以及相关权威内容等细节信息可以有助于减少虚假内容扩散Facebook、X等海外内容平台正通过人工智能等技术手段,训练系统自动对海量信息进行检测和标记,以克服人工核查的局限性这些研究和实践国内内容平台也有较强借鉴意义

针对通过生成式AI带来钓鱼诈骗问题企业和组织可以通过一套完整的技术解决方案来应对界面新闻了解到,360蚂蚁金服多家国内互联网公司已经基于大模型研发解决方案,试图通过数据接入及解析、分析研判与溯源调查手段识别更多风险

未经正式授权严禁转载本文,侵权必究。