正在阅读:

【深度】人工智能距离准确识别仇恨言论还有多远?

扫一扫下载界面新闻APP

【深度】人工智能距离准确识别仇恨言论还有多远?

在听证会上,参议员向扎克伯格问道:“你能定义什么是仇恨言论吗?”然而这位33岁的创始人没能直接给出答案:“这个问题真的挺难的。”

图片来源:视觉中国

“对于一个女生来说,你相当聪明啊。”显然,这句夸奖背后的逻辑是“女生通常不够聪明”,带有一定歧视性意味。

倘若用户不希望类似的冒犯性表达出现在社交媒体上,他可以将其标记出来,让审核人员判断是否应该删除。但如果像Facebook创始人扎克伯格所希望的,把最初的标记工作通通交给人工智能,那么机器该如何自动辨认出这句话暗含的歧视?筛选关键词“女生”、“相当”、还是“聪明”?

在4月10日出席数据泄露丑闻的国会听证会时,扎克伯格向参议员们表示,Facebook到今年底将雇2万名审核人员监控并移除冒犯性言论。更引人注目的是,扎克伯格指出Facebook将愈发依赖人工智能来标记社交媒体上的仇恨言论(hate speech):

我很乐观地相信,在5到10年时间里,我们就会利用人工智能更准确地识别语言上的细微差异。

​从技术、机制和监管的角度考虑,扎克伯格的这番表态是否过度乐观?

4月10日,扎克伯克出席参议院听证会。来源:视觉中国

定义仇恨言论是个难题

在听证会上,共和党参议员本·萨斯向扎克伯格问道:“你能定义什么是仇恨言论吗?”这位33岁的创始人没能直接给出答案:“这个问题真的挺难的。”

通常来说,仇恨言论是以性别、种族、宗教、性取向等特征为基础,以诋毁他人为核心的冒犯性表达,甚至有可能对被攻击群体的人身安全构成威胁。

但同一句话在不同的时间、不同的场合,以及不同的人群心里可能产生五花八门的解读。对于绝大多数人来说,种族歧视是不可接受的,但这一判断在几十年前还颇具分歧。​如果人工智能将主导仇恨言论的筛选,那么它必然也要与时俱进。

澳大利亚新南威尔士大学人工智能教授沃尔什(Toby Walsh)对界面新闻表示,仇恨言论还和文化有关。例如在德国,否认犹太大屠杀的存在是违法的行为,但在美国宪法第一修正案保障言论自由的情况下,美国人可以合理地质疑犹太大屠杀。对此,沃尔什认为人工智能可以在不同国家接受不同的训练。

纽约大学计算机教授戴维斯(Ernest Davis)则向界面新闻介绍说虽然他没听说美国法律对仇恨言论下过定义,但至少现在许多领域都有明显是仇恨言论的表达,人们已经产生不少共识。戴维斯认为,在可预见的未来里,比如5年后,人工智能至少可以捕捉已经被人类标记过的同类型仇恨言论。

识别潜台词难上加难

目前最受欢迎的机器学习方式——深度学习是一种训练习得模式。工程师告诉深度学习系统许多好的和不好的例子,把好的例子拆分成单个词语或句子,让机器学会辨别这些词语的关系,并由此构建复杂的是非分析网络。

新闻网站Quartz报道称,谷歌母公司旗下的Jigsaw已开发出名为Perspective的人工智能API接口来对抗充满恶意的网络表达。但这个系统并不完善,经常分不清负面词语和仇恨言论。

例如在系统评估中,“垃圾车”(garbage truck)的仇恨指数高达78%,而“开打种族战”(race war now)的仇恨指数仅为24%。上文所提到的“对于一个女生来说,你相当聪明啊”,仇恨指数为18%。

Perspective的API接口介绍

在Perspective刚发布的时候,Jigsaw表示,这个系统当前的最大弊端是被标记的数据太少,机器还没有学会足够多富有内涵的复杂词语。比如“种族战”在一些句子里可能是仇恨言论,但在学术著作和历史书里却不存在负面含义。

显然,简单识别关键词的褒贬已经出现了问题,但理解常识和潜台词更是难上加难。识别出语句的真实含义需要对世界有更加深入的理解,《麻省理工科技评论》文章指出,正是以所谓的“常识”为前提,语言才成为强大而复杂的交流手段。

一场持续的“军备竞赛”

同时,即使在语言识别中取得进展,仇恨言论和假新闻的制造者也会采取相同的反制措施来避免被识别。“加密法西斯主义者”使用隐喻等修辞技巧来使他们的内容看起来不那么法西斯主义”。例如,“蓝精灵”据称为加密法西斯主义的一个实例。

“这就是一场持续性的‘军备竞赛’,”计算机教授戴维斯告诉界面新闻。在他看来,仇恨言论和人工智能就是木马病毒和杀毒软件之间的关系。杀毒软件制作者会分析病毒的攻击模式,而病毒的制造者自然也会分析自己受到的反制措施。因此,发表仇恨言论的人会主动寻求全新的表达方式。等到这种表达方式变得很常见,人类已经可以标记出来时,人工智能才可以接受相应训练并自动捕获他们。

据《麻省理工科技评论》报道,为美国情报机构提供人工智能报告的公司Primer的CEO戈尔利(Sean Gourley)警告称,从负面的角度来说,在不远的将来,人工智能也会迅猛发展成为大规模制造精准假新闻的工厂。

2016年,微软发布的Twitter聊天机器人Tay就曾不幸沦陷,被用户“教坏”,成为一个飙脏话、散播歧视性言论的“反社会分子”。

微软发布的Twitter机器人Tay

另一方面,人工智能还可被用来生产假视频和音频,而视频和音频或许也将在未来成为隐藏仇恨言论的新媒介。2017年,华盛顿大学的研究人员便发布了美国前总统奥巴马的“假演讲”:利用人工智能模拟奥巴马的口型,并植入研究人员想让他说的话。

但人工智能教授沃尔什认为无需太过担心,因为图像和声音识别技术的发展日新月异。即便仇恨言论更换了媒介,那也不会成为多么艰巨的挑战。

戴维斯也指出,视频识别确实比较难,但现在语音转文字的技术已经比较完善,同时还会持续发展。更何况,声音会透露有关仇恨言论的更多信息,比如人的语调。所以戴维斯认为,音频识别不会比文字识别难得多,只不过需要更多的算法支持,以及考虑到YouTube规模之庞大,人们需要花费更多的精力教会机器而已。

自我监管行得通吗?

此前,Uber自动驾驶的致命车祸为人工智能带来一定的信任危机。对于如何让用户放心地把仇恨言论交给人工智能这一问题,沃尔什指出,人们必须建立一个具有更高透明度的系统,它可以很好地自我解释来赢得信任。同时这个系统还应具备简便的退出机制。

更重要的监管问题是,谁有权决定机器应该学习什么?如果设计算法的Facebook程序员应当负责,那么他们已经出现了纰漏:美国媒体Gizmodo两年前援引Facebook员工爆料称,该公司常常故意打压保守派的新闻——值得注意的是,Facebook地处加州硅谷,是著名的自由派票仓。

沃尔什认为,在充满偏见的情况下错删仇恨言论,以及其他的公司过失里,政府可以通过法规和罚金来参与其中。例如欧盟即将生效的《通用数据保护条例》(GDPR)将加强消费者对个人数据的控制和科技公司应承担的数据泄露责任。如有违反,公司将会被处以一定比例销售额的罚款,对于Facebook等科技巨头来说将是一笔天文数字。

同时,一些欧洲国家早已对Facebook处理仇恨言论不当提出过批评,例如德国和意大利。去年,德国政府通过“反仇恨言论法”,要求社交媒体网站迅速采取行动。在Facebook、Twitter、YouTube等网站上出现的明显违反法律的言论必须在24小时以内删除,比较难辩别的言论也要在7天内得到处理,否则社交媒体网站将面临最高5000万欧元的惩罚。

沃尔什指出,目前社交媒体公司都是自我监管,但现在这已经行不通了。在媒体报道后,外界才知道Facebook自我审查删掉了许多言论,“Facebook据说被称为地球上最大的新闻机构,那么它就必须和(美国)《纽约时报》、(法国)《世界报》、(德国)《时代》周报和《中国日报》采取同样公开的、已知的(新闻审查)标准。”

未经正式授权严禁转载本文,侵权必究。

马克•扎克伯格

  • 超高分辨率拖累Vision Pro,扎克伯格说了句实话
  • 韩国总统尹锡悦会见扎克伯格,探讨Meta与韩企加强合作的方案等

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

【深度】人工智能距离准确识别仇恨言论还有多远?

在听证会上,参议员向扎克伯格问道:“你能定义什么是仇恨言论吗?”然而这位33岁的创始人没能直接给出答案:“这个问题真的挺难的。”

图片来源:视觉中国

“对于一个女生来说,你相当聪明啊。”显然,这句夸奖背后的逻辑是“女生通常不够聪明”,带有一定歧视性意味。

倘若用户不希望类似的冒犯性表达出现在社交媒体上,他可以将其标记出来,让审核人员判断是否应该删除。但如果像Facebook创始人扎克伯格所希望的,把最初的标记工作通通交给人工智能,那么机器该如何自动辨认出这句话暗含的歧视?筛选关键词“女生”、“相当”、还是“聪明”?

在4月10日出席数据泄露丑闻的国会听证会时,扎克伯格向参议员们表示,Facebook到今年底将雇2万名审核人员监控并移除冒犯性言论。更引人注目的是,扎克伯格指出Facebook将愈发依赖人工智能来标记社交媒体上的仇恨言论(hate speech):

我很乐观地相信,在5到10年时间里,我们就会利用人工智能更准确地识别语言上的细微差异。

​从技术、机制和监管的角度考虑,扎克伯格的这番表态是否过度乐观?

4月10日,扎克伯克出席参议院听证会。来源:视觉中国

定义仇恨言论是个难题

在听证会上,共和党参议员本·萨斯向扎克伯格问道:“你能定义什么是仇恨言论吗?”这位33岁的创始人没能直接给出答案:“这个问题真的挺难的。”

通常来说,仇恨言论是以性别、种族、宗教、性取向等特征为基础,以诋毁他人为核心的冒犯性表达,甚至有可能对被攻击群体的人身安全构成威胁。

但同一句话在不同的时间、不同的场合,以及不同的人群心里可能产生五花八门的解读。对于绝大多数人来说,种族歧视是不可接受的,但这一判断在几十年前还颇具分歧。​如果人工智能将主导仇恨言论的筛选,那么它必然也要与时俱进。

澳大利亚新南威尔士大学人工智能教授沃尔什(Toby Walsh)对界面新闻表示,仇恨言论还和文化有关。例如在德国,否认犹太大屠杀的存在是违法的行为,但在美国宪法第一修正案保障言论自由的情况下,美国人可以合理地质疑犹太大屠杀。对此,沃尔什认为人工智能可以在不同国家接受不同的训练。

纽约大学计算机教授戴维斯(Ernest Davis)则向界面新闻介绍说虽然他没听说美国法律对仇恨言论下过定义,但至少现在许多领域都有明显是仇恨言论的表达,人们已经产生不少共识。戴维斯认为,在可预见的未来里,比如5年后,人工智能至少可以捕捉已经被人类标记过的同类型仇恨言论。

识别潜台词难上加难

目前最受欢迎的机器学习方式——深度学习是一种训练习得模式。工程师告诉深度学习系统许多好的和不好的例子,把好的例子拆分成单个词语或句子,让机器学会辨别这些词语的关系,并由此构建复杂的是非分析网络。

新闻网站Quartz报道称,谷歌母公司旗下的Jigsaw已开发出名为Perspective的人工智能API接口来对抗充满恶意的网络表达。但这个系统并不完善,经常分不清负面词语和仇恨言论。

例如在系统评估中,“垃圾车”(garbage truck)的仇恨指数高达78%,而“开打种族战”(race war now)的仇恨指数仅为24%。上文所提到的“对于一个女生来说,你相当聪明啊”,仇恨指数为18%。

Perspective的API接口介绍

在Perspective刚发布的时候,Jigsaw表示,这个系统当前的最大弊端是被标记的数据太少,机器还没有学会足够多富有内涵的复杂词语。比如“种族战”在一些句子里可能是仇恨言论,但在学术著作和历史书里却不存在负面含义。

显然,简单识别关键词的褒贬已经出现了问题,但理解常识和潜台词更是难上加难。识别出语句的真实含义需要对世界有更加深入的理解,《麻省理工科技评论》文章指出,正是以所谓的“常识”为前提,语言才成为强大而复杂的交流手段。

一场持续的“军备竞赛”

同时,即使在语言识别中取得进展,仇恨言论和假新闻的制造者也会采取相同的反制措施来避免被识别。“加密法西斯主义者”使用隐喻等修辞技巧来使他们的内容看起来不那么法西斯主义”。例如,“蓝精灵”据称为加密法西斯主义的一个实例。

“这就是一场持续性的‘军备竞赛’,”计算机教授戴维斯告诉界面新闻。在他看来,仇恨言论和人工智能就是木马病毒和杀毒软件之间的关系。杀毒软件制作者会分析病毒的攻击模式,而病毒的制造者自然也会分析自己受到的反制措施。因此,发表仇恨言论的人会主动寻求全新的表达方式。等到这种表达方式变得很常见,人类已经可以标记出来时,人工智能才可以接受相应训练并自动捕获他们。

据《麻省理工科技评论》报道,为美国情报机构提供人工智能报告的公司Primer的CEO戈尔利(Sean Gourley)警告称,从负面的角度来说,在不远的将来,人工智能也会迅猛发展成为大规模制造精准假新闻的工厂。

2016年,微软发布的Twitter聊天机器人Tay就曾不幸沦陷,被用户“教坏”,成为一个飙脏话、散播歧视性言论的“反社会分子”。

微软发布的Twitter机器人Tay

另一方面,人工智能还可被用来生产假视频和音频,而视频和音频或许也将在未来成为隐藏仇恨言论的新媒介。2017年,华盛顿大学的研究人员便发布了美国前总统奥巴马的“假演讲”:利用人工智能模拟奥巴马的口型,并植入研究人员想让他说的话。

但人工智能教授沃尔什认为无需太过担心,因为图像和声音识别技术的发展日新月异。即便仇恨言论更换了媒介,那也不会成为多么艰巨的挑战。

戴维斯也指出,视频识别确实比较难,但现在语音转文字的技术已经比较完善,同时还会持续发展。更何况,声音会透露有关仇恨言论的更多信息,比如人的语调。所以戴维斯认为,音频识别不会比文字识别难得多,只不过需要更多的算法支持,以及考虑到YouTube规模之庞大,人们需要花费更多的精力教会机器而已。

自我监管行得通吗?

此前,Uber自动驾驶的致命车祸为人工智能带来一定的信任危机。对于如何让用户放心地把仇恨言论交给人工智能这一问题,沃尔什指出,人们必须建立一个具有更高透明度的系统,它可以很好地自我解释来赢得信任。同时这个系统还应具备简便的退出机制。

更重要的监管问题是,谁有权决定机器应该学习什么?如果设计算法的Facebook程序员应当负责,那么他们已经出现了纰漏:美国媒体Gizmodo两年前援引Facebook员工爆料称,该公司常常故意打压保守派的新闻——值得注意的是,Facebook地处加州硅谷,是著名的自由派票仓。

沃尔什认为,在充满偏见的情况下错删仇恨言论,以及其他的公司过失里,政府可以通过法规和罚金来参与其中。例如欧盟即将生效的《通用数据保护条例》(GDPR)将加强消费者对个人数据的控制和科技公司应承担的数据泄露责任。如有违反,公司将会被处以一定比例销售额的罚款,对于Facebook等科技巨头来说将是一笔天文数字。

同时,一些欧洲国家早已对Facebook处理仇恨言论不当提出过批评,例如德国和意大利。去年,德国政府通过“反仇恨言论法”,要求社交媒体网站迅速采取行动。在Facebook、Twitter、YouTube等网站上出现的明显违反法律的言论必须在24小时以内删除,比较难辩别的言论也要在7天内得到处理,否则社交媒体网站将面临最高5000万欧元的惩罚。

沃尔什指出,目前社交媒体公司都是自我监管,但现在这已经行不通了。在媒体报道后,外界才知道Facebook自我审查删掉了许多言论,“Facebook据说被称为地球上最大的新闻机构,那么它就必须和(美国)《纽约时报》、(法国)《世界报》、(德国)《时代》周报和《中国日报》采取同样公开的、已知的(新闻审查)标准。”

未经正式授权严禁转载本文,侵权必究。