美国有一条通过奥沙克山脉的高速公路，如果在这条路上，只是依赖数据行驶是非常危险的。

从密苏里州的斯普林菲尔德到阿肯色州的克拉克斯维尔，导航软件推荐了阿肯色州43号公路(Arkansas 43)。虽然这是用时最短的路线，但是GPS的算法并没有考虑那些对于车上拉满货物的卡车司机来说很重要的因素，比如43号公路在短短4英里（约6.5千米）的路程内海拔相差1300英尺（约400米），还有两处急转弯。在这之前，这条路上很少有18轮的大卡车，但是最近两年半时间中，卡车的数量急剧增长，事故数量也随之增加。之前目睹过事故增多的当地人认为，迟早会有人会收到严重的伤害，甚至是死亡。

熟悉这个区域的卡车司机都知道，7号公路是一条比较安全的路线。然而，导航算法并不推荐这条线路。由于缺乏更为广阔的洞察力，GPS只考虑了程序认为重要的因素。最终，算法绘制出了一个不完整的或是不真实的路线图，很有可能造成司机对车辆失去控制。

今天，算法已经遍布生活的每个层面，从音乐推荐到信用分数，甚至是法庭保释和判刑的决定。但是，算法的工作方式却缺乏监管和透明度。尤其是在刑事司法系统，缺乏监管的这个乱象要比其他领域更为明显。没有合适的防范措施，这些工具就有可能侵犯法律法规，削弱个人的权益。

目前，美国各地的法庭和惩戒部门都使用算法来确定被告的“风险程度”：从这个人会犯另一种罪行的可能性，到被告会如期出庭的可能性等各个因素。这些算法为法庭在做出保释、判刑和假释等方面的决定时提供数据依据。利用这些算法是为了提高人们做决策时的准确性，从而更加合理地分配有限资源。

通常来说，政府部门自己并不编写算法，他们向私人企业购买。这常常意味着这些算法是专有算法，或是被“黑箱化”了的。也就是说，政府部门对于这些算法的具体情况了解非常有限，只有拥有者才能清楚地知道这些软件是怎么做出决定的。目前，根本没有哪部联邦法律制定了相关标准，或者要求对这些工具进行审查，就像美国食品及药物管理局（FDA）对新药采取审查那样。

缺乏透明度的确会造成很多问题。在威斯康星州诉卢米斯一案（Wisconsin v. Loomis）中，被告埃里克·卢米斯（Eric Loomis）因参与驾车枪击事件被判有罪。在关押期间，卢米斯回答了一系列的问题，并被输入到Compas系统中，这是由一家私人持股公司开发的一款风险评估工具，威斯康星州惩戒部门此前一直在使用。由于该工具对这名被告所打的危险等级是“高风险”，因此，主审法官最终判罚卢米斯长期徒刑。卢米斯对这次判刑提出了上诉，因为在判审期间他并没有接触这个算法的权限。去年夏天，威斯康星州最终驳回了卢米斯的上诉，原因是算法输出的信息有着足够的透明度。

由于要保持算法的隐匿性，卢米斯一案最终没有对工具算法进行核查，这是一个引人担忧的先例，因为风险评估已经可以从评估的算法演变为不透明的神经网络。神经网络是一种像人脑一样运作的深度学习算法，它就本质而言就不可能透明化。神经网络会自己建立数据连接，而不是被明确地进行编辑。这个系统过程非常隐秘，也会经常变化，这就有可能限制法官做出合理的决定，也会限制辩护律师为当事人竭力辩护的能力。

试想一种场景，辩护律师要求那些基于神经网络而开发的风险评估工具的研发人员坐上证人席，对可能影响当事人判刑的“高风险”分数提出疑问。在证人席上，工程师可以告诉法庭神经网络是如何设计的，什么内容被输入了，以及在某些特定的案件中会生成什么样的结果。然而，工程师无法解释软件中隐藏的决策过程。

有着这些事实或者说缺乏这些事实，如果法官无法理解这些决策过程，那么该如何判断风险评估工具的有效性呢？上诉法庭如何知道这些工具在评估被告对社会的风险时，是否考虑了社会经济因素（这不符合宪法规定）？以卢米斯案为例，除了由于秘密的决策过程而正式放弃部分责任外，法庭别无选择。

目前，基本的机器学习技术已经运用于司法系统之中。人工智能这个不太靠谱的角色，为刑事司法和法律界带来了两条潜在的道路：要么盲目地任由技术向前推进，要么暂时禁止不透明的人工智能用于司法风险评估，直到落实相应的方法和程序，能够对这类型的工具进行有意义地审查。

法律界从来没有充分讨论过算法风险评估带来的影响。现在，律师和法官们正在为这些工具繁荣后缺乏监管而产生的负面影响苦恼中。

暂停这些工具的使用，发布预防性的禁令，这两种做法都会让法庭有时间制定相应的规定，来规范该如何在审判期间检测人工智能做出的风险评估。这将让决策者们有时间来制定标准，并设立监管机制。最后，这将让教育和宣传组织有时间来教导律师如何在法庭上应对这些新颖的工具。这些步骤将有助于加强法制建设，并保护个人权益。

这类算法与克兰兹伯格（Kranzberg）的科技第一定律相呼应，既不算好，也不算坏，但它们肯定不是中立的。在缺乏正式计划的情况下，我们的法庭接受人工智能无异于服从机器，这应该会让任何主张司法或检察系统，拥有自由裁量权的人感到惴惴不安。

不像阿肯色州的那些卡车司机，我们知道隐藏的危险。我们绝不能任由未受控制的算法盲目地将刑事司法系统推向悬崖。

（翻译：竺怡冰）

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

想要获取更多有意思的内容，请移步界面网站首页（http://www.jiemian.com/），并在微博上和我们互动，调戏萌萌哒歪楼菌→【歪楼-Viral】（请猛戳这里）。