正在阅读:

警察知道明年夏天你会做什么

扫一扫下载界面新闻APP

警察知道明年夏天你会做什么

当警察使用犯罪预测算法时,他们也面临着将预测变为现实的风险。

2002年上映的科幻大片《少数派报告》改编自菲利普·K.迪克发表于1956年的小说。影片中,三位变异人具有预知能力,能够在犯罪发生之前预知犯罪,他们也因此被称为“先知”。警方的犯罪预防部门发现了这一大好机会,利用先知在人们犯下罪行之前识别出他们的身份,从而从根本上消灭了犯罪。然而,每隔一段时间,其中的一位先知就会生成出一份“少数派报告”,报告中的内容与其他两位同僚的预测相左。这个不便透露的细节一直作为秘密存在,一旦暴露就可能会损害整个系统的信誉。

《少数派报告》以一种严肃冷酷的口吻叙述了依赖于这种不完善的预测将会带来的种种弊端,尽管如此,英国警方还是越来越热衷于使用影片中的犯罪预防机制,并将其作为新技术开发的蓝图。上个月英国内政部向西米德兰兹郡警方下拨了500万英镑的资金,用于研制一套识别潜在犯罪者的系统;达勒姆警方开发出了一套算法用于决策拘留;与此同时,埃文郡和萨默赛特郡警方利用预测技术绘制了一份犯罪地图,标注出了暴力犯罪可能发生的地点。

咨询巨头埃森哲正在帮助警方开发西米德兰兹郡的识别系统,该系统将会利用人工智能、统计资料和警方数据来识别潜在的犯罪者和受害者,并且能够精准定位出谁将有可能成为现代奴隶制犯罪网络的重要“沟通枢纽”。目前,这个系统仍处于测试阶段,但埃森哲的网站上写着,它最终将能“帮助警队……降低行动成本”,“增进行动效力,提高工作效率,”还可以“降低未来社会对警察的需求”。

但是如果系统将个人识别为“有犯罪危险”会发生什么,对此还没有人进行过说明,西米德兰兹郡项目的警方负责人尼克·戴尔表示细节问题仍在解决当中。通过这个项目的试点,我们可以窥见英国内政部的宏伟蓝图,内政部计划在英格兰和威尔士全境实施国家数据分析解决方案(National Data Analytics Solution),利用人工智能来预测哪些人未来可能会进行持刀或持枪犯罪。

《少数派报告》剧照

机器学习的算法日新月异,警方预算又三番五次被削减,这些都在推动我们走向未来的犯罪预防系统。这是隐私保护倡导者一直以来所担忧的状况,也是科技公司一直以来所尊崇的方向。人工智能是否会极大地改变警务工作已经不再是个问题了,现在的问题是如何改变,以及为了谁的利益而改变。

*****

在经济紧缩的时代,政府部门承担着“少花钱多办事”的压力,不得不越来越多地利用技术来解决系统性的问题。尽管现任英国首相承诺过要出钱雇佣2万名新警察,但英国警察的总体数量是下降的:自保守党执政以来,警员数量迅速下降了18%,每年都有6%的警察离职。

西米德兰兹郡项目的前警方负责人伊恩·唐纳利2018年在接受《新科学人》杂志采访时表示,预算的削减迫使警察需要去找到一种方式来简化工作,办案过程中可以优先考虑已经被警方掌握的人。为了实现这一目标,该项目收集了过去十年间的数据,包括人们的案底、被拘留的次数、被拦截和搜查的情况。戴尔说,即使警方没有发现犯罪物品,搜查时的状况也会被记录在案。

撇开预测能力不谈,将注意力集中在已知犯罪者身上的做法可能会形成一个危险的循环,加剧对特定群体的偏见。在英国,黑人被拦下搜查的概率是白人的40倍。西米德兰兹郡项目在今年四月发布了一份独立的伦理调查报告,报告指出尽管算法并不涉及种族,但其他的数据源或许可以起到识别种族的替代效果,比如说被拦截搜查的记录。随后西米德兰兹郡警方又发布了一份后续报告,对相关问题作出了回应,澄清该系统模型中的任何因素都无法用来直接判断种族,但警方也承认“任何风险评估的过程……都有可能导致某种形式的偏见”。

正如游说组织隐私国际(Privacy International)的研究员弗雷德里克·卡尔特豪瑟所说:“预测性监管基于你过去的数据进行,却能决定你现在的身份,甚至影响你的未来。”

数学家凯西·奥尼尔强调,如果将不公正的决定编入计算机系统,并以客观的方式呈现出来,只会产生更不公正的结果。奥尼尔在《算法霸权》一书中讨论了PredPol的例子。PredPol是一款预测性警务软件,洛杉矶警方率先使用,随后肯特郡警方也进行了试用。PredPol宣传称系统中的数据是地理信息而非人口统计信息,也就意味着个人信息不会被输入到系统当中。(但是,西米德兰兹郡警务系统收集了具体到个人的信息数据。)问题在于,由于部分地区在软件开发之前就已经被过度监管,PredPol算法所使用的原始数据已经偏向了那些监管最严厉的区域。“过度的警务工作催生了新的数据,这些数据反过来又证明了过度监管的合理性。”奥尼尔写道。

《算法霸权》
[美]凯西·奥尼尔 著 马青玲 译
中信出版集团 2018-9

如果警务活动的目的单纯是为了客观地侦查犯罪,那么在荷兰公园遛狗的人也有可能被拦下检查,富有阶层的市民也可能在哈罗德百货门外被警察制伏搜身,特警部队也可能会突袭金丝雀码头抓走银行家。但是预测性警务系统更倾向于从特定地区或特定群体中发现犯罪,这就影响了警察的调查范围,甚至会影响最终的调查结果。从当前的警务模式中提取计算机生成模型,就会形成奥尼尔所称的“恶性反馈循环”——一开始输入该模型的假设就存在偏见,但数据处理却能够将这种偏见合理化。换句话说,这项技术可以有效地将它所预测到的世界变成现实。

公民自由组织Liberty的宣传和政策部门工作人员汉娜·库奇曼认为,将个人的历史搜索记录输入警务系统,可能会让警方对已经受到过多监管的组织进行更积极的监控。尽管西米德兰兹郡警务系统的创立初衷是为了防止人们实施犯罪,而不是先发制人地将他们定罪,但是前期干预仍然会增加个人或团体接触警方的次数。

“黑人被拦截调查的几率更高,所以多次被拦截并不能作为准确的指标说明该对象具有犯罪风险,”库奇曼说,“这一指标更能反映出当下的执法行动存在根深蒂固的歧视性。警方根据这些偏向性明显的数据采取行动,频繁与当事人接触,这无疑是荒唐离谱的。”

*****

从法律的角度看来,每个人在被证明有罪之前都是无罪的。但是美国的警察机关率先使用了预测技术,你对刑事司法体系的体验一定程度上取决于你的肤色。预测性警务系统微妙地歪曲了本该普遍适用的无罪推定原则。

哥伦比亚特区大学的法学教授鲁夫·弗格森担心英国警方将会犯下与大西洋彼岸的警察同样的错误——美国对潜在犯罪者的自动预测反映出的是现有的种族和阶级成见。

以芝加哥为例,当地的预测系统判断出了每个人的犯罪倾向,并据此列出了一份“热点名单”。具体算法仍是警方机密,但据报道称,系统考虑的因素包括犯罪和逮捕记录,以及目标是否为帮派成员。该系统根据个人的“热度”进行打分,分值范围从1分到500分。然后,警方会根据这份热点名单找出他们认为最危险的人,再去挨家挨户地敲门,通常都会有一名社工或教会牧师陪同。

事实上,弗格森在他的《大数据警务的兴起》(The Rise of Big Data Policing)一书中写道,热点名单变得更像是一个“头号通缉犯”名单,该名单对风险的预测往往集中在那些已经受到严密监管的地区,同时也是穷人和有色人种居住的地区。“有很多犯罪分子没有被逮捕……那些人在自己的家里行犯罪之实,在家中的篱笆后面,在没有人看到的地方。但是警方的逮捕行动往往都发生在警力部署密集的地区,”弗格森在华盛顿接受电话采访时说,“芝加哥有种族歧视的历史。把逮捕记录作为数据的一部分,产生的结果一定是有偏向性的。”

《大数据警务的兴起》

“预测性警务的问题在于警务部分。”他补充道。帮助有犯罪风险的人避免犯罪,这个目标是高尚的,但是它也将警务工作的重心微妙地转移到了犯罪预防上。2017年7月,阿兰·图灵研究所向西米德兰兹郡警方提交了一份道德报告。报告作者表示,他们担心试点项目正在“让执法机构从传统的直接与犯罪相关联的角色,转向更广更深的社会和公共政策层面”——这一转变需要“详细说明,并证明其合理性和合法性”。对于复杂的社会议题,加强警方与个体的联系不一定是正确的补救方式。

芝加哥热点名单还存在一个十分令人不安的因素,那就是亲戚朋友乃至熟人的数据都会影响一个人的风险得分。四月份,一个独立的道德委员会对西米德兰兹郡警务系统的数据表示了担忧,“有些人仅仅与其他有过违法行为的人联系过,数据就会将他们错误地牵连进来。”警方随后反驳称,对此类数据的使用“取决于关系的性质,而不会只因为存在这种关系……有一个兄弟犯了罪不代表兄弟俩都是罪犯,不过在短期内二者的数据可能具有相关性”。

在美国,这种关联性甚至已经可以作为犯罪共谋的证据,对于被牵扯进来的人来说,随之而来的影响可能会改变他们的一生。正如弗格森所说:“你的朋友,你的表弟,你的发小……他们所犯下的罪行需要你一起来背负,这是因为你和他们一起拍过视频,还是因为你和他们一起出去玩过?”

当自动风险评分以中立科学的形式呈现时,有些人的清白就会被无缘无故蒙上污点,可能是因为他的朋友,也可能是因为他成长的地区。预测性警务扭曲了无罪推定这一普适性原则,并且衍生出了这样一种观点:有些人是“潜在罪犯”,他们应该受到更多的监控。

隐私国际组织的弗雷德里克·卡尔特豪瑟警告说:“这不仅仅是犯罪连坐,更是对无罪推定的颠覆。在被证明有罪之前,你不一定是无罪的;只有在被判定可疑之前,你才是无罪的。”

本文作者Hettie O'Brien系《新政治家》的网络编辑。

(翻译:都述文)

来源:新政治家

原标题:The police know what you’ll do next summer

最新更新时间:08/29 14:24

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

警察知道明年夏天你会做什么

当警察使用犯罪预测算法时,他们也面临着将预测变为现实的风险。

2002年上映的科幻大片《少数派报告》改编自菲利普·K.迪克发表于1956年的小说。影片中,三位变异人具有预知能力,能够在犯罪发生之前预知犯罪,他们也因此被称为“先知”。警方的犯罪预防部门发现了这一大好机会,利用先知在人们犯下罪行之前识别出他们的身份,从而从根本上消灭了犯罪。然而,每隔一段时间,其中的一位先知就会生成出一份“少数派报告”,报告中的内容与其他两位同僚的预测相左。这个不便透露的细节一直作为秘密存在,一旦暴露就可能会损害整个系统的信誉。

《少数派报告》以一种严肃冷酷的口吻叙述了依赖于这种不完善的预测将会带来的种种弊端,尽管如此,英国警方还是越来越热衷于使用影片中的犯罪预防机制,并将其作为新技术开发的蓝图。上个月英国内政部向西米德兰兹郡警方下拨了500万英镑的资金,用于研制一套识别潜在犯罪者的系统;达勒姆警方开发出了一套算法用于决策拘留;与此同时,埃文郡和萨默赛特郡警方利用预测技术绘制了一份犯罪地图,标注出了暴力犯罪可能发生的地点。

咨询巨头埃森哲正在帮助警方开发西米德兰兹郡的识别系统,该系统将会利用人工智能、统计资料和警方数据来识别潜在的犯罪者和受害者,并且能够精准定位出谁将有可能成为现代奴隶制犯罪网络的重要“沟通枢纽”。目前,这个系统仍处于测试阶段,但埃森哲的网站上写着,它最终将能“帮助警队……降低行动成本”,“增进行动效力,提高工作效率,”还可以“降低未来社会对警察的需求”。

但是如果系统将个人识别为“有犯罪危险”会发生什么,对此还没有人进行过说明,西米德兰兹郡项目的警方负责人尼克·戴尔表示细节问题仍在解决当中。通过这个项目的试点,我们可以窥见英国内政部的宏伟蓝图,内政部计划在英格兰和威尔士全境实施国家数据分析解决方案(National Data Analytics Solution),利用人工智能来预测哪些人未来可能会进行持刀或持枪犯罪。

《少数派报告》剧照

机器学习的算法日新月异,警方预算又三番五次被削减,这些都在推动我们走向未来的犯罪预防系统。这是隐私保护倡导者一直以来所担忧的状况,也是科技公司一直以来所尊崇的方向。人工智能是否会极大地改变警务工作已经不再是个问题了,现在的问题是如何改变,以及为了谁的利益而改变。

*****

在经济紧缩的时代,政府部门承担着“少花钱多办事”的压力,不得不越来越多地利用技术来解决系统性的问题。尽管现任英国首相承诺过要出钱雇佣2万名新警察,但英国警察的总体数量是下降的:自保守党执政以来,警员数量迅速下降了18%,每年都有6%的警察离职。

西米德兰兹郡项目的前警方负责人伊恩·唐纳利2018年在接受《新科学人》杂志采访时表示,预算的削减迫使警察需要去找到一种方式来简化工作,办案过程中可以优先考虑已经被警方掌握的人。为了实现这一目标,该项目收集了过去十年间的数据,包括人们的案底、被拘留的次数、被拦截和搜查的情况。戴尔说,即使警方没有发现犯罪物品,搜查时的状况也会被记录在案。

撇开预测能力不谈,将注意力集中在已知犯罪者身上的做法可能会形成一个危险的循环,加剧对特定群体的偏见。在英国,黑人被拦下搜查的概率是白人的40倍。西米德兰兹郡项目在今年四月发布了一份独立的伦理调查报告,报告指出尽管算法并不涉及种族,但其他的数据源或许可以起到识别种族的替代效果,比如说被拦截搜查的记录。随后西米德兰兹郡警方又发布了一份后续报告,对相关问题作出了回应,澄清该系统模型中的任何因素都无法用来直接判断种族,但警方也承认“任何风险评估的过程……都有可能导致某种形式的偏见”。

正如游说组织隐私国际(Privacy International)的研究员弗雷德里克·卡尔特豪瑟所说:“预测性监管基于你过去的数据进行,却能决定你现在的身份,甚至影响你的未来。”

数学家凯西·奥尼尔强调,如果将不公正的决定编入计算机系统,并以客观的方式呈现出来,只会产生更不公正的结果。奥尼尔在《算法霸权》一书中讨论了PredPol的例子。PredPol是一款预测性警务软件,洛杉矶警方率先使用,随后肯特郡警方也进行了试用。PredPol宣传称系统中的数据是地理信息而非人口统计信息,也就意味着个人信息不会被输入到系统当中。(但是,西米德兰兹郡警务系统收集了具体到个人的信息数据。)问题在于,由于部分地区在软件开发之前就已经被过度监管,PredPol算法所使用的原始数据已经偏向了那些监管最严厉的区域。“过度的警务工作催生了新的数据,这些数据反过来又证明了过度监管的合理性。”奥尼尔写道。

《算法霸权》
[美]凯西·奥尼尔 著 马青玲 译
中信出版集团 2018-9

如果警务活动的目的单纯是为了客观地侦查犯罪,那么在荷兰公园遛狗的人也有可能被拦下检查,富有阶层的市民也可能在哈罗德百货门外被警察制伏搜身,特警部队也可能会突袭金丝雀码头抓走银行家。但是预测性警务系统更倾向于从特定地区或特定群体中发现犯罪,这就影响了警察的调查范围,甚至会影响最终的调查结果。从当前的警务模式中提取计算机生成模型,就会形成奥尼尔所称的“恶性反馈循环”——一开始输入该模型的假设就存在偏见,但数据处理却能够将这种偏见合理化。换句话说,这项技术可以有效地将它所预测到的世界变成现实。

公民自由组织Liberty的宣传和政策部门工作人员汉娜·库奇曼认为,将个人的历史搜索记录输入警务系统,可能会让警方对已经受到过多监管的组织进行更积极的监控。尽管西米德兰兹郡警务系统的创立初衷是为了防止人们实施犯罪,而不是先发制人地将他们定罪,但是前期干预仍然会增加个人或团体接触警方的次数。

“黑人被拦截调查的几率更高,所以多次被拦截并不能作为准确的指标说明该对象具有犯罪风险,”库奇曼说,“这一指标更能反映出当下的执法行动存在根深蒂固的歧视性。警方根据这些偏向性明显的数据采取行动,频繁与当事人接触,这无疑是荒唐离谱的。”

*****

从法律的角度看来,每个人在被证明有罪之前都是无罪的。但是美国的警察机关率先使用了预测技术,你对刑事司法体系的体验一定程度上取决于你的肤色。预测性警务系统微妙地歪曲了本该普遍适用的无罪推定原则。

哥伦比亚特区大学的法学教授鲁夫·弗格森担心英国警方将会犯下与大西洋彼岸的警察同样的错误——美国对潜在犯罪者的自动预测反映出的是现有的种族和阶级成见。

以芝加哥为例,当地的预测系统判断出了每个人的犯罪倾向,并据此列出了一份“热点名单”。具体算法仍是警方机密,但据报道称,系统考虑的因素包括犯罪和逮捕记录,以及目标是否为帮派成员。该系统根据个人的“热度”进行打分,分值范围从1分到500分。然后,警方会根据这份热点名单找出他们认为最危险的人,再去挨家挨户地敲门,通常都会有一名社工或教会牧师陪同。

事实上,弗格森在他的《大数据警务的兴起》(The Rise of Big Data Policing)一书中写道,热点名单变得更像是一个“头号通缉犯”名单,该名单对风险的预测往往集中在那些已经受到严密监管的地区,同时也是穷人和有色人种居住的地区。“有很多犯罪分子没有被逮捕……那些人在自己的家里行犯罪之实,在家中的篱笆后面,在没有人看到的地方。但是警方的逮捕行动往往都发生在警力部署密集的地区,”弗格森在华盛顿接受电话采访时说,“芝加哥有种族歧视的历史。把逮捕记录作为数据的一部分,产生的结果一定是有偏向性的。”

《大数据警务的兴起》

“预测性警务的问题在于警务部分。”他补充道。帮助有犯罪风险的人避免犯罪,这个目标是高尚的,但是它也将警务工作的重心微妙地转移到了犯罪预防上。2017年7月,阿兰·图灵研究所向西米德兰兹郡警方提交了一份道德报告。报告作者表示,他们担心试点项目正在“让执法机构从传统的直接与犯罪相关联的角色,转向更广更深的社会和公共政策层面”——这一转变需要“详细说明,并证明其合理性和合法性”。对于复杂的社会议题,加强警方与个体的联系不一定是正确的补救方式。

芝加哥热点名单还存在一个十分令人不安的因素,那就是亲戚朋友乃至熟人的数据都会影响一个人的风险得分。四月份,一个独立的道德委员会对西米德兰兹郡警务系统的数据表示了担忧,“有些人仅仅与其他有过违法行为的人联系过,数据就会将他们错误地牵连进来。”警方随后反驳称,对此类数据的使用“取决于关系的性质,而不会只因为存在这种关系……有一个兄弟犯了罪不代表兄弟俩都是罪犯,不过在短期内二者的数据可能具有相关性”。

在美国,这种关联性甚至已经可以作为犯罪共谋的证据,对于被牵扯进来的人来说,随之而来的影响可能会改变他们的一生。正如弗格森所说:“你的朋友,你的表弟,你的发小……他们所犯下的罪行需要你一起来背负,这是因为你和他们一起拍过视频,还是因为你和他们一起出去玩过?”

当自动风险评分以中立科学的形式呈现时,有些人的清白就会被无缘无故蒙上污点,可能是因为他的朋友,也可能是因为他成长的地区。预测性警务扭曲了无罪推定这一普适性原则,并且衍生出了这样一种观点:有些人是“潜在罪犯”,他们应该受到更多的监控。

隐私国际组织的弗雷德里克·卡尔特豪瑟警告说:“这不仅仅是犯罪连坐,更是对无罪推定的颠覆。在被证明有罪之前,你不一定是无罪的;只有在被判定可疑之前,你才是无罪的。”

本文作者Hettie O'Brien系《新政治家》的网络编辑。

(翻译:都述文)

来源:新政治家

原标题:The police know what you’ll do next summer

最新更新时间:08/29 14:24

本文为转载内容,授权事宜请联系原著作权人。