自主性武器——不需要人工操作的杀人机器人——是危险的工具。没有人会怀疑这一点。正如埃隆·马斯克和穆斯塔法·苏莱曼等科技企业家今年联名签署的致联合国公开信中所言，自主性武器“可能成为制造恐怖的武器，成为专制者和恐怖分子用来对付无辜人群的武器，而且可能被黑客侵入，做出无人愿意见到的行为。”

但这并不意味着联合国应该实行预防性的禁令，禁止进一步研发这一类武器，而这似乎正是公开信签署人所敦促的措施。

从一方面来说，为了实现有价值的目的，有时候人类需要采用危险的工具。想一想卢旺达大屠杀，当时世界各国袖手旁观。如果1994年就有自主性武器的话，也许我们不会视而不管。很有可能，如果人道主义干预仅仅只是一个花费多少钱的问题，那么这类干预就更容易得到大规模的支持。

从另一方面来讲，如果我们认为自己可以享受近来人工智能进步的益处，而又不用面对至少某些负面因素的话，那也未免太幼稚了。假设联合国实行预防性禁令，禁止进一步研发任何自主性武器技术。再进一步假设——非常乐观的假设——全世界的军队都将遵守禁令，终止他们的自主性武器研究项目。即便这两个假设都成真，我们仍然要为自主性武器担忧。一辆自动驾驶汽车可以轻易地被重新编码成一套自主性杀人系统：当汽车“看到”一名行人时，程序可以命令汽车碾过行人而不是急转弯。

推而论之，人工智能技术用处极大，而且已经渗入到我们的生活中，尽管我们并非时时都能察觉或完全明白它渗入的方式。鉴于人工智能技术的广泛存在， 如果认为只需终止对自主性武器的进一步研究就可以防止对人工智能的滥用，那是非常短视的。实际上，如果要有效对付那些粗糙得多的自主性武器，也就是通过重新编码（诸如自动驾驶车辆这样看似无害的人工智能技术）而轻易制造出来的武器，我们很有可能需要使用现在世界各国军方正在研制的自主性武器系统，这些系统更加精密，而且能分辨目标。

此外，在国家之间，在国际层面实行一项简单的禁令的观念，不经意间透露出一种对自主性武器系统过于简单化的看法。这种观念没有看到相关技术背后的长期发展历史，其中的制度安排和个人参与，通过成千上万次的微小行为，带来并将持续促进这些技术的崛起。只要关于自主性武器的辩论仍然主要在联合国政策框架下进行，那么如果普通公民，士兵或程序员觉得他/她可以免于承担自主性武器或可引发的错误伤害所带来的一切道德责任，也就是可以谅解的了。但这种想法是错误的，而且有可能带来灾难性的后果。

所有，以这样或那样的方式与自主性武器技术打交道的个体，都必须足够地小心。我们每一个人也都需要仔细检视他们的行为或者不作为是否增加了这种技术的潜在危害。这绝不是说国家和政府间机构就不能扮演重要的角色了。我们想要强调的是，如果自主性武器的潜在危害要得到缓和，就必须推广一种个人责任的伦理，这种伦理要一直贯彻到个体决策者的层面。初步来说，关于自主性武器的崛起，我们需要讲述一个更加丰富和复杂的故事——这个故事包含了所有层面的决策者所产生的影响。

最后，有时候人们婉转地表达这种观点，即自主性武器的危险性并不在于它们是危险的工具，而在于它们可能成为有自己目的和利益的自主行动者。这种担忧或者是受到了误导，或者即使不是误导，针对进一步研发自主性武器的预防性禁令也无法缓解这种担忧。如果超级智能是对人类的威胁，那么我们急需找到有效应对这种威胁的方法，而当我们在寻找应对措施时，这其实和自主性杀人武器是否得到进一步研发已经不大相关了。

Susanne Burri是伦敦政经学院的哲学，逻辑与科学方法系的助理教授；Michael Robillard是牛津大学乌希罗实践伦理学中心（Oxford Uehiro Centre for Practical Ethics）的研究员

（翻译：李孟林）

……………………………………

欢迎你来微博找我们，请点这里。

也可以关注我们的微信公众号“界面文化”【ID:BooksAndFun】