正在阅读:

找出伦理偏见有“赏金”,科学家出奇招保证AI系统公平

扫一扫下载界面新闻APP

找出伦理偏见有“赏金”,科学家出奇招保证AI系统公平

谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一种新的规避AI工具伦理偏见的方法,或有助于改善状况。

编译|智东西 董温淑

智东西1月14日消息,近日,来自谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一个改善AI系统伦理偏见的方法:类似bug赏金计划,用赏金鼓励开发人员去发现人工智能系统中的偏见。

随着人工智能在商业、政府和社会等方面的渗透,对于AI的关注、研究和实践也在不断增多,人们尤其关心AI在放大偏见、道德洗礼、隐私损失、数字上瘾、面部识别误用、虚假信息和造成失业方面的影响。研究显示,一些AI系统有加强种族、性别偏见的倾向,使用它们会在现实生活造成不公平现象。

比如,为了减少新冠病毒在监狱爆发的风险,美国司法部最近计划采用名为“PATTERN”的AI工具来识别出容易感染病毒的犯人,并优先把这部分犯人遣送回家。而美国司法国家研究院的样本分析数据显示,有30%的白人男性被PATTERN列为需要“优先治疗”,在黑人男性中这一数据仅为7%。

这说明PATTERN具有种族偏见,判断结果对黑色人种并不公平。

因此,研究如何规避AI开发、部署过程中的偏见是有必要的。谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一种新的规避AI工具伦理偏见的方法,或有助于改善状况。

这项研究已经发表在学术网站arXiv上,论文题目为《迈向更可靠的人工智能发展:支持可核实索赔的机制(Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims)》

论文链接:https://arxiv.org/abs/2004.07213

一、“可核实索赔”方式,提高AI系统伦理原则可验证性

近年来,包括OpenAI、谷歌甚至是美国军方在内的80多个机构都起草了AI伦理原则,但论文作者认为制定AI伦理原则只是“确保AI带来有益社会成果的第一步”,而且“现有的行业和学术规范不足以确保AI的负责人发展”。

另外,针对工人和社区的调查显示,大部分公众仍担心人工智能的风险,不相信上述组织能够有效地自我调节。

因此,研究人员认为需要采取更强有力的措施,而不是停留在“高水平的原则”层面上。“(就像)乘坐飞机的人并不会因为航司公关的宣传而感到安全,而是因为有相应的配套基础设施。”论文写到。

研究人员提出了一种赏金计划来解决AI系统的伦理偏见,即向发现并报告AI系统伦理偏见的开发者提供奖励。

这个设想的难点在于AI系统伦理偏见的可验证性,因此,研究者设计了一个“可核实索赔”的机制来解决问题。“可核实索赔”机制将人工智能开发过程看作一个社会技术系统,建立制度机制、软件机制和硬件机制来验证开发者找到的伦理偏见。

论文指出,为了建立一个可核实AI开发索赔的系统,跨部门、跨组织的协作是必要的。

二、建立可核实的索赔机制

根据论文,研究人员借鉴了已有的开发者索赔机制,还设计了一些新机制,最终设计了一个包括三方面机制的可核实的AI索赔系统。

1、机构机制:评估开发工作

“机构机制(Institutional Mechanisms)”涉及价值观、激励机制和责任制。指建立一个第三方审计机构,机构有权评估开发者或开发部门的工作,这有助于确保后者在开发过程中更加勤劳。

机构可以从以下几个方面激励开发工作:

澄清组织的目标和价值观;

提升AI开发过程中的透明度;

鼓励开发者以负责任的方式行事;

促进开发者之间的信息交流。

2、软件机制:制定审计跟踪要求

“软件机制(Software Mechanisms)”涉及具体的人工智能系统及其属性。是指标准制定机构与学界和业界合作,为人工智能的关键安全应用制定审计跟踪要求。

关于一些软件机制的知识并不普及,因此,AI开发组织和资助机构应该支持对AI系统软可解释性的研究,着重支持风险评估和审计方面。

AI开发人员应该开发、共享、使用成套工具,用共同的标准衡量成绩,以此保护机器学习的隐私。

3、硬件机制:提升计算能力

硬件机制(Hardware Mechanisms)涉及物理计算能力及其属性。更强的计算能力有助于建立起更强的AI系统,可以进一步增强核实索赔的技术能力。

硬件与AI开发的许多方面相关。比如传感器、网络、记忆、处理能力等。

因此,论文建议,业界和学界应该着力开发硬件安全功能,或者探索使用安全硬件的最佳方式。此外,政府资助机构也应增大在硬件方面的投入,助力提高计算能力。

三、能与现有努力相补充,仍待进一步研究

论文中写道:“偏见和安全奖励把bug奖励计划扩展到了AI领域,(这)可以与现有努力相补充,可以更好地记录数据集和他们性能限制和其他性能的模型……如果说AI伦理原则的广泛阐述是确保人工智能负责任发展的第一步……那么建立可核实索赔的机制就是第二步。”

但是,研究人员也指出这种设想还存在一些局限性:

首先,在索赔的可核实性和此类索赔的普遍性之间存在矛盾;

其次,索赔的可核实性并不代表他们能够在实践中被核实;

另外,即使有一种关于AI开发的索赔被证明是错误的,权力的不对称可能会阻碍修正措施的采用。

因此,研究人员表示,期待这些机制能够帮助AI研究机构以跨组织协作的方式开展有意义的讨论,并鼓励有兴趣的合作者提供更多建议。

他们还指出,发现AI系统中的偏见和安全问题是这项研究的出发点,但这项机制也可以用于改善其他属性(比如安全性、隐私保护、可说明性等)。

结语:改善AI系统伦理偏见新思路,未来将有更多方法

尽管还有一些局限性,但可验证索赔的方式提供了一个改善AI系统伦理偏见的新思路,提高了AI系统伦理原则的可验证性,有助于塑造更加积极、公平的AI系统。

除了赏金鼓励,论文中还建议用红队测试(Red Teaming)来发现AI系统的缺陷或漏洞。随着研究的深入,验证人工智能系统各方面性能的方法将会越来越多,让我们拭目以待。

文章来源:Leadership Conference on Civil and Human Rights,VentureBeat,arXiv

本文为转载内容,授权事宜请联系原著作权人。

OpenAI

  • ChatGPT概念全线反弹,软件ETF(159852)盘中涨超4%,科大讯飞领涨
  • 新质生产力有望出台新举措,数据ETF(516000)超跌反弹,数字政通涨超12%

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

找出伦理偏见有“赏金”,科学家出奇招保证AI系统公平

谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一种新的规避AI工具伦理偏见的方法,或有助于改善状况。

编译|智东西 董温淑

智东西1月14日消息,近日,来自谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一个改善AI系统伦理偏见的方法:类似bug赏金计划,用赏金鼓励开发人员去发现人工智能系统中的偏见。

随着人工智能在商业、政府和社会等方面的渗透,对于AI的关注、研究和实践也在不断增多,人们尤其关心AI在放大偏见、道德洗礼、隐私损失、数字上瘾、面部识别误用、虚假信息和造成失业方面的影响。研究显示,一些AI系统有加强种族、性别偏见的倾向,使用它们会在现实生活造成不公平现象。

比如,为了减少新冠病毒在监狱爆发的风险,美国司法部最近计划采用名为“PATTERN”的AI工具来识别出容易感染病毒的犯人,并优先把这部分犯人遣送回家。而美国司法国家研究院的样本分析数据显示,有30%的白人男性被PATTERN列为需要“优先治疗”,在黑人男性中这一数据仅为7%。

这说明PATTERN具有种族偏见,判断结果对黑色人种并不公平。

因此,研究如何规避AI开发、部署过程中的偏见是有必要的。谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一种新的规避AI工具伦理偏见的方法,或有助于改善状况。

这项研究已经发表在学术网站arXiv上,论文题目为《迈向更可靠的人工智能发展:支持可核实索赔的机制(Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims)》

论文链接:https://arxiv.org/abs/2004.07213

一、“可核实索赔”方式,提高AI系统伦理原则可验证性

近年来,包括OpenAI、谷歌甚至是美国军方在内的80多个机构都起草了AI伦理原则,但论文作者认为制定AI伦理原则只是“确保AI带来有益社会成果的第一步”,而且“现有的行业和学术规范不足以确保AI的负责人发展”。

另外,针对工人和社区的调查显示,大部分公众仍担心人工智能的风险,不相信上述组织能够有效地自我调节。

因此,研究人员认为需要采取更强有力的措施,而不是停留在“高水平的原则”层面上。“(就像)乘坐飞机的人并不会因为航司公关的宣传而感到安全,而是因为有相应的配套基础设施。”论文写到。

研究人员提出了一种赏金计划来解决AI系统的伦理偏见,即向发现并报告AI系统伦理偏见的开发者提供奖励。

这个设想的难点在于AI系统伦理偏见的可验证性,因此,研究者设计了一个“可核实索赔”的机制来解决问题。“可核实索赔”机制将人工智能开发过程看作一个社会技术系统,建立制度机制、软件机制和硬件机制来验证开发者找到的伦理偏见。

论文指出,为了建立一个可核实AI开发索赔的系统,跨部门、跨组织的协作是必要的。

二、建立可核实的索赔机制

根据论文,研究人员借鉴了已有的开发者索赔机制,还设计了一些新机制,最终设计了一个包括三方面机制的可核实的AI索赔系统。

1、机构机制:评估开发工作

“机构机制(Institutional Mechanisms)”涉及价值观、激励机制和责任制。指建立一个第三方审计机构,机构有权评估开发者或开发部门的工作,这有助于确保后者在开发过程中更加勤劳。

机构可以从以下几个方面激励开发工作:

澄清组织的目标和价值观;

提升AI开发过程中的透明度;

鼓励开发者以负责任的方式行事;

促进开发者之间的信息交流。

2、软件机制:制定审计跟踪要求

“软件机制(Software Mechanisms)”涉及具体的人工智能系统及其属性。是指标准制定机构与学界和业界合作,为人工智能的关键安全应用制定审计跟踪要求。

关于一些软件机制的知识并不普及,因此,AI开发组织和资助机构应该支持对AI系统软可解释性的研究,着重支持风险评估和审计方面。

AI开发人员应该开发、共享、使用成套工具,用共同的标准衡量成绩,以此保护机器学习的隐私。

3、硬件机制:提升计算能力

硬件机制(Hardware Mechanisms)涉及物理计算能力及其属性。更强的计算能力有助于建立起更强的AI系统,可以进一步增强核实索赔的技术能力。

硬件与AI开发的许多方面相关。比如传感器、网络、记忆、处理能力等。

因此,论文建议,业界和学界应该着力开发硬件安全功能,或者探索使用安全硬件的最佳方式。此外,政府资助机构也应增大在硬件方面的投入,助力提高计算能力。

三、能与现有努力相补充,仍待进一步研究

论文中写道:“偏见和安全奖励把bug奖励计划扩展到了AI领域,(这)可以与现有努力相补充,可以更好地记录数据集和他们性能限制和其他性能的模型……如果说AI伦理原则的广泛阐述是确保人工智能负责任发展的第一步……那么建立可核实索赔的机制就是第二步。”

但是,研究人员也指出这种设想还存在一些局限性:

首先,在索赔的可核实性和此类索赔的普遍性之间存在矛盾;

其次,索赔的可核实性并不代表他们能够在实践中被核实;

另外,即使有一种关于AI开发的索赔被证明是错误的,权力的不对称可能会阻碍修正措施的采用。

因此,研究人员表示,期待这些机制能够帮助AI研究机构以跨组织协作的方式开展有意义的讨论,并鼓励有兴趣的合作者提供更多建议。

他们还指出,发现AI系统中的偏见和安全问题是这项研究的出发点,但这项机制也可以用于改善其他属性(比如安全性、隐私保护、可说明性等)。

结语:改善AI系统伦理偏见新思路,未来将有更多方法

尽管还有一些局限性,但可验证索赔的方式提供了一个改善AI系统伦理偏见的新思路,提高了AI系统伦理原则的可验证性,有助于塑造更加积极、公平的AI系统。

除了赏金鼓励,论文中还建议用红队测试(Red Teaming)来发现AI系统的缺陷或漏洞。随着研究的深入,验证人工智能系统各方面性能的方法将会越来越多,让我们拭目以待。

文章来源:Leadership Conference on Civil and Human Rights,VentureBeat,arXiv

本文为转载内容,授权事宜请联系原著作权人。