迪士尼的动画片里,经常会出现一面魔镜。男女主人公有任何困惑,问问魔镜,从来不会失望。AI越来越像是那面魔镜。
美国政府近年来兴起了一阵AI热,他们与学校、企业及公益机构合作,开发各类AI软件为政府事务服务。法官通过软件判断嫌犯该不该缓刑,警察通过软件规划巡逻路线,民政部门希望软件告诉自己要不要对某起虐童行为发起调查。AI似乎成了万能钥匙,让政府的决策更为理性与高效。
可事实真会如他们所愿吗?
美国《连线》(WIRED)杂志的一篇报道,政府对AI的深度使用,正在影响着美国的司法公正。而面对学者与媒体的追问,美国政府官员与有关机构互相推诿,沉默是金,甚至说谎。AI在美国政府体系内的实践,值得我们关注。以下是文章全文——
旧金山高等法院法官沙龙·里尔登有点犯愁。
一个叫米姆的19岁青年被指控违反了缓刑条款,里尔登正在犹豫要不要把他再次收监。她面前摆着一份证据。米姆曾犯有盗窃罪,公共安全测评系统(PSD)通过算法对米姆是否有可能再次从事暴力犯罪或潜逃进行了风险评估。评估结果建议:释放米姆。
里尔登照办了。
五天后,警方宣布,米姆对一名七旬老人实施抢劫,并将其杀害。
【名词解释】PSD,Public Safety Assessment,公共安全测评系统。
旧金山地区检察官办公室随后发表声明:由于工作人员操作失误,未将米姆过往刑期纳入公共安全测评系统。言下之意,若不是操作失误,该系统就会出具收监建议,而不是释放。
米姆案暴露了一个事实:美国政府机构越来越依赖数学模型,在司法、儿童福利、教育及其他领域提供决策依据,而民众却很难甚至不可能去了解这些算法的运作过程。
旧金山高等法院从去年开始使用公共安全测评系统,该系统由阿诺德基金会免费捐赠。阿诺德基金会希望这套系统可以防止那些没有财力缴纳保释金的穷人长期滞留在狱中。但在与法院签署的谅解备忘录中,该基金会明确禁止法院公布“与公共安全测评系统有关的任何信息,包括其运行机理、操作流程和陈述内容。”
【名词解释】John and Laura Arnold Foundation,劳拉及约翰·阿诺德基金会,简称阿诺德基金会,该基金会主要关注肥胖问题、K12教育及司法改革。
华盛顿大学的罗伯特·布劳内思(以下简称“罗教授”)和罗格斯大学的艾伦·古德曼(以下简称“古教授”)这两位法学教授将这份备忘录公诸于世。两人本月发表了一篇论文,探讨政府利用算法进行预测行为的透明度问题。他们向美国23个州提交了42份档案公开请求,要求政府公布正在使用的公共安全测评系统及另外五款算法工具的信息。结果并不理想。
多家政府表示,没有教授所说项目的相关记录。知情人士则说,政府不敢承认,是因为他们与项目方有约在先:项目信息不得公开。在古教授看来,这帮当官的已经忘记了自己是老百姓选出来的了。
阿诺德基金会信誓旦旦地表示,不会再要求政府官员对公共安全测评系统保密,也很愿意对现有合同条款进行调整,以便官员们对外披露该系统的使用情况。旧金山高等法院人士则表示,到目前为止,他们与基金会的合同并未更新,限制条款仍然存在。
“民众至上”(ProPublica)网站调查发现,某套用于审判及保释的决策系统对黑人有偏见。学者们连年警告,警惕那些隐藏在商业机密或技术进程背后的公共政策,它们看似与商业及技术毫无瓜葛,实际上未必。
【名词解释】ProPublica,美国一家非营利性新闻网站,坚持做严肃、有深度的调查性报道,创办仅两年便捧得普利策奖。
在古教授看来,政府不愿意公开相关信息,说明政府对此普遍存在畏惧心理。
政府对公开算法工具的运算代码有难言之隐,部分原因在于,这些算法的知识产权通常归项目提供方所有。古教授则认为,公众迫切想知道的是:某套算法是如何被选中、开发和测试的,它们又是如何识别虚假信息的。这并不是在破坏传统意义上的官民互动,因为民众总是希望了解新政修订与实施的情况。“此举不会影响政府的决策方式。公共政策正在进入先前没有涉猎过的AI领域,民众难道不该关心一下吗?”古教授说。
铁板也在慢慢松动。阿诺德基金会已经将公共安全测评系统算法的核心公式及统计时采用的参数公开,这些参数包括测评对象的年龄、既往犯罪史以及是否无法出席听证会等信息。据基金会的说法,这套系统的设计,采纳了近75万个案例作为数据源,俄亥俄州卢卡斯郡用了这套系统后,虽然没交保释金就获释的嫌疑人激增,但嫌疑人取保候审期间的犯罪率已然下降。
古教授穷追不舍,要求基金会披露更多这套测评系统的相关信息,比如其数据集、设计理念、分析原理和评测进程。她认为,这些数据可以帮助政府和公众了解公共安全测评系统的优缺点,并将其与同类型审判前风险评估软件作个比较。对这一要求,基金会不做直接回应。不仅如此,正在使用这套测评系统的政府干脆不再披露其使用细节。
阿诺德基金会的说法是:正在收集可以披露的数据,供学者们评估;基金会首先要确保项目在司法系统使用期间的保密性,以防止政府或竞争对手在未经授权的情况下抄袭。
古教授和罗教授又将目光投向了商业软件PredPol。他们向11家警察局提出信息公开申请,希望公布其对PredPol的使用情况。这款软件可以预测哪些区域犯罪概率最高,以此作为警察巡逻路线规划的依据。
只有三家警察局做出回应。没有一家警察局公布PredPol的算法与预测过程。
PredPol由洛杉矶警察局和洛杉矶加利福尼亚大学合作开发,由同名企业负责销售推广。PredPol公司没有做出任何回应。
有些市政府表现得很积极。宾州阿雷格尼郡报告显示,该郡正在开发测试一套算法,以帮助儿童福利工作者决策是否要对某起儿童虐待行为进行调查。该郡民政部门已委托新西兰奥克兰理工大学进行研发。
古教授说,对于利用算法预测政府决策行为的负面效应,大多数政府并没有表达出足够专业的认知。
马里兰大学法学教授丹尼尔·西特龙说,有必要通过各州检察长、诉讼案件当事人乃至立法机构给地方政府施加压力,让他们谨慎考虑和使用此类算法工具。学者们相信,预测工具在政府层面会越来越流行,且算法也会越来越复杂。“到时候就更难办了。”古教授说。
评论