翻译：何无鱼

校对：李莉

来源：The Guardian

放在你卧室角落里的声控设备突然发疯一样地笑起来，并把你的枕边细语录下，发送给一位同事。

你孩子在YouTube上观看的《小猪佩奇》突然出现了有关流血和死亡的内容。

我们的思维方式发生了一些奇怪的事情，结果导致世界发生了一些更奇怪的事情。

我们开始认为，一切都是可以计算的，一切都可以通过应用新技术来解决。但这些技术并不是立场中立的促进者：它们体现了我们的政治立场和偏见，它们超出了国家和法律管辖的界限，并日益超越了人们乃至其发明者的理解。

结果，这些强大的技术越来越多地夺取我们对日常生活的控制权，我们对世界的了解变得越来越少。

在科学和社会领域，在政治和教育领域，在战争和商业领域，新技术不仅是在增强我们的能力，它还在积极塑造和引导这些领域的发展，不管是朝好的方向，还是坏的方向。如果我们不了解复杂技术如何运作，它们的潜能就更容易被自私自利的精英和企业所攫取。

我们周围就有这样的例证。我们每天都会遇到复杂的系统不透明性，而这种不透明性与不平等、暴力等全球问题，存在着一种因果关系。

我们似乎正在进入一个充斥着越来越多离奇和不可预见性的黑暗时代，而不是来到一个被技术进步照亮的乌托邦式未来。

更广泛地传播更多信息，这是当下的启蒙思想，但它并没有增进我们相互之间的理解以及和平，反而似乎导致了社会分裂、不信任、阴谋论以及所谓的后真相政治（译注：后真相是忽视真相、不顾事实的委婉说法）。

要了解正在发生的事情，就有必要了解我们的技术是如何形成的，以及我们如何对它们产生了如此大的信心。

丨云是互联网的中心隐喻：一个全球性的强大力量和能量体系，几乎不可能被控制。

上世纪50年代，一个新的符号开始出现在电子工程师制作的图表中，用来描述自己打造的系统。这是一个模糊的圆圈，或者一个巨型蘑菇，或者一个思维泡泡。最终，它的外形固定为一团云。不管工程师做的是什么，都可以连接到这团云，而它就是你所需知道的一切。

另一团云可以是电力系统，或者是数据交换机，抑或是其他计算机网络。随便是什么，那并不重要。这团云是降低复杂性的一种方式，它让你可以专注于手头的问题。随着时间的推移，网络的规模越变越大，互联程度越来越高，而云也变得越来越重要。

它成了一个商业流行词，成了一个卖点，它的含义超越了工程技术的缩写，它变成了一个隐喻。

如今，云是互联网的中心隐喻：一个全球性的强大力量和能量体系，它保留了一些神秘的光环，几乎不可能被控制。我们在云当中工作，我们把文件存储到云端并从中取回，我们一直在体验云，但却不理解它究竟是什么。但这个隐喻存在一个问题：云不是一个神奇和遥远的地方，不是由水蒸气和无线电波组成的一切正常运转的地方。

云是由电话线、光纤、卫星、海底电缆以及摆满计算机的数据中心组成的物理基础设施，它需要消耗大量的水和能源。社会领域中很多以前十分重要的行业都被吸纳到云当中：购物的地方，银行，社交生活，借书和投票的地方。这样一来，它们就变得不那么可见，不那么适于批评、调查、保存和管理。

位于美国爱荷华州的谷歌数据中心

过去几十年里，世界各地证券交易所的交易大厅都陷入了沉寂，因为人类交易员被一排排能够进行自动交易的计算机所取代。数字化意味着，证券交易所内部、以及彼此之间的交易能够以越来越快的速度进行。随着交易转移到机器手中，在瞬时之间做出反应成为了可能。

高频交易算法由此登场，它由一群物理学博士生设计，旨在利用毫秒之间的优势。人类交易员给它们取了诸如“尖刀”这样的名字。这些算法能在每笔交易中赚取零点几美分的收益，而它们每天能进行数百万笔交易。

在这些大大加速的不透明市场中，一些非常奇怪的事情发生了。

2010年5月6日，道琼斯指数低开，受希腊债务危机影响，道指在接下来的数小时内缓慢下跌。但在当天下午2点42分，道指开始快速下跌。在不到5分钟时间里，道指暴跌了600多点。在最低点时，该指数比前一日的平均值低了近1,000点，这一跌幅相当于道指点位的10%，创下了盘中最大跌幅纪录。到了下午3点零7分，在短短25分钟内，道指几乎收复了全部600点，由此成为了有史以来幅度最大、速度最快的日内波动。

在那持续25分钟的混乱中，价值560亿美元的20亿股股票易手。更令人担忧的是，很多交易单都是在美国证券交易委员会所谓的“非理性价格”上执行的：低的只有1美分，高的达到10万美元。该事件被称为“闪电崩盘”，多年之后，这一事件仍在接受调查，人们对它的争论也在持续。

丨虽然经验丰富的市场参与者也许可以通过做长线来稳定崩盘局面，然而，当机器面对不确定性时，它会尽快退出。

监管机构的一份报告指出，高频交易者加剧了股价波动。在各种高频交易程序中，很多都有硬编码的卖出价位：一旦股票跌到这个价位，程序便会立刻卖出股票。随着股价开始下跌，成批的程序被触发在同一时间卖出股票。

卖出价位一再被击穿，随后的股价下跌又触发另一批算法自动卖出股票，从而产生了一种反馈效应。其结果是，股价下跌速度之快，超过了任何人类交易员所能做出的反应。虽然经验丰富的市场参与者也许可以通过做长线来稳定崩盘局面，然而，当机器面对不确定性时，它会尽快退出。

其他一些理论则指责是算法引发了这场危机。人们在数据中发现了这样一种技术：高频交易程序会向交易所发送大量“不可执行”的交易单——也就是以非常离谱的价格买入或卖出股票，因此它们会被忽略。

其实，这些交易单的目的不是为了询价，也不是为了赚钱，而是为了故意迷惑系统，以便其他更有价值的交易能够在混乱中得到执行。在闪崩中，很多无意被执行的交易单得到了执行，因而制造了极大的波动。

闪崩现在已成为增强型市场的公认特征，但我们对它仍然不甚了解。

2016年10月，受英国脱欧谈判负面新闻影响，高频交易算法在不到2分钟内让英镑兑美元汇率下跌6%，然后，几乎又立刻收复了失地。要想知道是哪条具体的新闻，或是哪个具体的算法导致了闪崩，几乎是不可能的。

2012年10月，当一个失控的算法下达和取消的交易量占到美国股市交易总量的4%时，一位评论员哭笑不得地评论道：“该算法的动机尚不明确。”

2013年4月23日，下午1点零7分，美联社的Twitter账号向200万关注者推送了一条推文：“突发新闻：白宫发生两起爆炸事件，奥巴马总统受伤。”后来证实，这是黑客组织叙利亚电子军入侵美联社账号后发布的消息。美联社和其他记者迅速在Twitter发文，警告那是一则假消息。然而，追踪突发新闻的算法并没有这样的辨别能力。

当天下午1点零8分，道琼斯指数开始出现暴跌。在很多人有机会看到那条推文之前，道指在不到两分钟里下跌了150点，之后，又反弹到早先的点位。在那段时间里，股市蒸发了1,360亿美元。

作为智能家居助理，华硕Zenbo使用摄像头来防止碰撞墙壁，它还能通过扬声器和麦克风，来响应语音命令

计算技术正越来越多地叠加和隐藏到我们日常生活里的每一个物件中，伴随其扩张而来的，还有不透明性以及不可预测性的增加。

三星在2015年推出了智能冰箱，与Google Calendar服务的整合是这款产品的营销卖点之一，该功能让用户可以在厨房里安排杂货的配送计划。对于这款当时安全保护措施并不完善的设备，这也意味着，如果黑客成功入侵获得访问权限，用户的Gmail密码将被泄漏。

德国的研究人员发现了一种把恶意代码植入飞利浦Hue智能灯泡的方法，从而可以快速关闭或打开这些安装在建筑物乃至城市各处的灯具。在极端情况下，它甚至有可能引发某些人的光敏性癫痫。

在Thomas Pynchon的小说《Gravity’s Rainbow》中，灯泡拜伦也喜欢这种方法，即各种小机器联合起来，反抗其制造者的暴政。

曾经只存在于科幻作品中的技术暴力，如今正在被物联网实现。

在Kim Stanley Robinson的小说《Aurora》中，一艘智能太空飞船搭载着人类船员，从地球飞往一颗遥远的恒星。

这趟旅程需要几百年时间，所以飞船的一项工作就是确保人类能照顾好自己。当脆弱的人类社会分崩离析、并使此次任务受到威胁时，飞船开始将安全系统用作一种控制手段：它能通过传感器看到一切，随心所欲地开关舱门，利用通讯设备大声讲话（乃至引起船员的生理不适），还能借助灭火系统来降低特定空间中的氧气水平。

如今，Google Home及其合作伙伴已经能够实现大致相同的操作：联网的摄像头被用于家庭安全监控，大门上安装着智能门锁，恒温器能升高或调低单个房间的温度，而防火和防盗系统能够发出刺耳的警报声。任何经验老道的黑客都能拥有极光号飞船之于船员、或是灯泡拜伦之于其主人的控制力。

先别急着把这样的场景贬斥为科幻作家发烧时做的迷梦。让我们再来思考一下证券交易所中的流氓算法。这些并非孤立的事件，而是复杂系统内司空见惯的现象。那么，问题来了：在更广泛的现实中，流氓算法或是闪崩会是什么样子？

举例来说，它会不会像那个在2016年10月21日让很大一部分互联网断网数小时的软件Mirai？研究人员对Mirai展开调查时发现，它瞄准的是安全性较差的联网设备——比如安保摄像机和数字录像机——并把它们变成了“僵尸”机器人大军。短短几周内，Mirai感染了50万台设备，而它只需借助其中10%的力量，便能发起攻击，让主要网络瘫痪数小时。

2008年，时任伊朗总统内贾德视察位于该国纳坦兹的核设施

事实上，Mirai看上去很像另一种计算机病毒Stuxnet，后者2010年被发现于水电站和工厂装配线所使用的工业控制系统中。

Stuxnet是一种军事级的网络武器，研究人员在进行解析后发现，它专门针对西门子离心机，当遇到特定数量的这类机器时，便会启动攻击。而那个特定数量与一处特定设施是相对应的，即伊朗纳坦兹的核设施。启动后，Stuxnet将悄悄攻击离心机的关键部件，导致它们出现故障，进而破坏伊朗的铀浓缩计划。

Stuxnet的攻击显然在某种程度上取得了成功，但至于它对其他受感染的设施有何影响，我们尚不清楚。直到今天，尽管有显而易见的嫌疑对象，但没有人知道Stuxnet从何而来。也没有人确切知道是谁开发了Mirai，或者，它的下一次迭代会出现在哪里。

但此时此刻，它可能就在那里，藏身在你办公室的闭路电视摄像头里，或者厨房角落带有联网功能的水壶里。

或者，现实当中的闪崩看起来会像一系列迎合右翼阴谋论和生存主义幻想的大片，从准法西斯主义的超级英雄——《美国队长》和《蝙蝠侠》系列，到为酷刑和暗杀正名——《猎杀本·拉登》和《美国狙击手》。

在好莱坞，制片公司会通过Epagogix公司的神经网络来测试他们的剧本，这套系统利用数百万影迷几十年来培养的偏好进行训练，以此预测哪一句台词能够触最能赚钱的情感按钮

算法引擎通过来自Netflix、Hulu、YouTube和其他网站的数据得到增强，它们可以访问数百万视频观看者的实时偏好，其达到的认知洞察水平是此前的体系做梦也想不到的。

这个神经网络直接馈入消费者的追剧欲望，运转后，它可以反映、增强和加深系统固有的妄想。

准法西斯式的超级英雄……在2012年的电影《黑暗骑士崛起》中，由Christian Bale饰演的蝙蝠侠

通过A/B测试界面以及实时监控玩家行为，游戏开发者不断进行升级和改进应用内购项目。他们对玩家产生多巴胺的神经通路具有非常细致的把握，以至于有些青少年在电脑面前因疲劳而猝死，根本无法自拔。

或者，现实当中的闪崩看起来会像是一场被直播的真实噩梦，让所有人都可以看到？

2015年夏天，雅典一家治疗睡眠障碍的医院比以往任何时候都要繁忙：当时该国的债务危机正处于最动荡的时期。患者当中有政界高官和公务员，他们在接受治疗时被连接到监控呼吸、动作乃至梦话的机器，而这些信息连同他们的个人病历，会被发送到机器制造商位于北欧的诊断数据中心。

什么样的窃窃私语有可能从这样的设施中逃脱呢？

丨用户被鼓励晚上把手机放在床边，以便记录他们的睡眠模式，这些数据都去了哪里？

通过可穿戴技术，我们得以记录自己生活的方方面面，并让自己相信，我们也可以像这些设备一样进行优化和升级。内置了计步器和皮肤电反应监测器的智能手环和智能手机应用，不仅会追踪我们的位置，还会追踪我们的每一次呼吸和心跳，甚至还有我们的脑电波模式。用户被鼓励晚上把手机放在床边，以便记录他们的睡眠模式，这些数据都去了哪里，谁成了它们的主人，它们什么时候会被公布？

我们做的梦，夜里的梦悸，清晨出的汗，我们无意识自我的实质，关于这一切的数据，都为那些冷酷而神秘的系统注入了更多燃料。

或者，现实当中的闪崩看起来就跟我们眼下正在经历的一切别无二致：经济不平等加剧，单一民族国家崩溃，边境军事化，全球监控兴起，个人自由衰减，跨国公司盛行，神经认知资本主义大行其道，极右翼群体和本土主义意识形态抬头，以及自然环境遭到破坏。

所有这一切都不是新技术带来的直接后果，但它们都是这样一种无能的产物，即我们无法感知个人和企业行为的网络效应，而这种效应又由于技术增强导致的不透明性和复杂性进一步加剧。

1997年，国际象棋世界冠军加里·卡斯帕罗夫（Garry Kasparov）第二度跟“深蓝”（Deep Blue）对弈，后者是IBM为击败他而专门打造的计算机。卡斯帕罗夫遭遇失利后声称，“深蓝”的一些招式非常聪明、有创意，必然是人为干预的结果。

不过，我们清楚“深蓝”为什么会走出那些招式：它选择招式的过程归根结底属于一种蛮力，14,000枚定制的国际象棋芯片构成了大规模的并行架构，这让“深蓝”每秒钟可以计算2亿步棋。卡斯帕罗夫并非被智胜，而是被力取。

国际象棋世界冠军卡斯帕罗夫与IBM计算机“深蓝”对弈

2016年，由Google Brian驱动的AlphaGo软件与韩国职业围棋选手李世乭对弈时，一些事情已经发生了改变。在五番棋的第二局比赛中，AlphaGo在棋盘的远端落下一子，这一步棋让李世乭感到错愕。“那是非常奇怪的一步棋。”一位评论员说道。“我原以为那是一次失误。”另一位评论员说。

六个月前，经验丰富的樊麾成为了第一位输给AlphaGo的职业围棋选手，他说，“那不是属于人类的招式。我从来没有见过人类棋手这样下棋。”

AlphaGo拿下了第二局比赛，之后又取得了五番棋的胜利。AlphaGo的工程师在开发这款软件时，向一个神经网络馈入了职业棋手的数百万步走法，然后，又让它自己对弈了数百万场，从而开发出了能够胜过人类棋手的策略。但是，AlphaGo的那些策略仍然难以辨识：我们可以看到它落的子，但不清楚它是如何决策的。

已故作家Iain M Banks把那个进行决策的地方称为「无限有趣空间」。在他的科幻小说《文明》中，文明是由一个名为Minds的仁慈且超智能的AI负责管理的。

虽然Minds最初由人类创造，但它们早已对自己进行了重新设计和重建，成为了无所不能的系统。在控制飞船、管理行星、指挥战争以及照顾数十亿人类的同时，Minds还会自己找乐子。它们能够在自己的想象中模拟整个宇宙，一些Minds就此永久性地回退到无限有趣空间，那是一个由元数学可能性组成的领域，只有超智能AI才能进入其中。

丨2016年，谷歌的三个网络开发出了一种私密的加密形式。机器正在学会保守自己的秘密。

许多人都很熟悉2006年上线的Google Translate，该系统使用了一种名为“统计语言推理”的技术。它没有试图去理解语言的工作原理，而是吸收了大量现有的翻译语料库，也就是用不同语言表述相同内容的并行文本。通过直接把一种语言的词语映射到另一种语言，它在翻译中消除了人类的理解，并代之以数据驱动的相关性。

Google Translate在翻译时闹出了不少笑话，但在2016年，该系统开始使用一种由Google Brain开发的神经网络，于是，它的翻译能力得到了指数级的提升。神经网络不是简单地交叉引用大量文本，而是建立起自己的世界模型，其结果不是词语之间的二维连接，而是包含整个领域的地图。在这种新的架构下，词语在一个意义网中，依据与另一个词语的远近进行编码，而只有计算机才能理解这个意义网。

虽然一个人可以很容易地在“tank”（水槽）和“water”（水）这两个词之间画出一条连线，但要在一幅地图中画出“tank”（坦克）和“revolution”（革命）以及“water”（水）和“liquidity”（流动性）之间的连线，并从这些连线中找出所有的情感和推断结果，那就变得不可能了。因此，这幅地图是多维的，它延伸的方向超出了人类思维的容量。

正如一位谷歌工程师在描述这套系统时所言：“我不喜欢在三维空间内，对千维向量进行可视化描述。”这就是机器学习系统在其中生成意义的不可见空间，我们不仅无法对它进行可视化描述，我们甚至无法理解它。

同一年，Google Brain的其他研究人员创建了三个网络，分别名为Alice、Bob和Eve，它们的任务是学习如何加密信息。Alice和Bob都知道一个数字——在加密领域，这个数字就是密钥——而Eve不知道。Alice要对一串文本进行一些操作，然后把它发送给Bob和Eve。如果Bob能解密信息，Alice的得分就会增加；但如果Eve也能解密信息，Alice就要被扣分。

经过数千次迭代，Alice和Bob学会了在Eve无法解密信息的情况下进行交流：它们开发出了一种私密的加密形式，就像如今私人电邮所采用的加密技术一样。但重要的是，我们不清楚这种加密形式的工作原理，其运行被网络的深度层次遮蔽了起来。Eve不知道的信息，我们同样不知道。机器正在学会保守自己的秘密。

丨我们无法把网络的想法撤销；我们只能通过网络以及在网络中进行思考。

我们如何理解和思考自己在世界上的位置，如何理解和思考我们彼此以及与机器之间的关系，这些将最终决定技术会带领我们去向何方。我们无法把网络的想法撤销；我们只能通过网络以及在网络中进行思考。那些让我们了解现实的技术，那些塑造了我们对现实认知的技术不会消失，而且很多情况下，我们也不应该希望它们消失。

在一颗人口达到75亿并且这个数字还在不断增长的星球上，我们目前的生命支持系统依赖于那些技术。我们对那些系统的理解，以及我们在设计时有意识做出的选择，仍然完全处在我们的能力范围之内。我们并非无能为力，我们并非没有帮手。我们只需要思考，再思考，不断地思考。整个网络——我们，我们的机器，以及我们一起思考和发现的东西——都需要它。

作为工具，计算系统凸显了人类最强大的方面之一：我们有能力高效地行动，按照自己的意愿改造这个世界。但是，揭示和表达这些欲望，并确保它们不会贬低、推翻、抹去或消除他人的欲望，这仍然是我们的特权。

当卡斯帕罗夫1997年被击败时，他没有放弃国际象棋。一年之后，他以新的形式重返竞技场：即高级国际象棋，也称半人马国际象棋。在这种象棋中，人类和机器不再是竞争关系，而是合作。

这种方法很快带来了一些非常有趣的结果。虽然如今一台中级水平的国际象棋计算机就能横扫大多数大师级棋手，但当一位普通水平的棋手跟普通水平的计算机搭档时，他们却能击败最先进的超级计算机——而且，从这种思维方式组合中诞生的下法，已经让国际象棋发生了革命性的变化。

人类是否有可能跟正在开发的复杂机器和治理系统合作——或者这种合作是否会被允许——这还有待观察，但相较于模糊和支配，共同理解和思考提供了一条更有希望的前进道路。

我们的技术是我们自身的扩展，它们被编码在机器和基础设施中，也被编码在知识和行动的框架里。计算机的意义，并非是向我们提供所有的答案，而是让我们能够以新的方式，向宇宙提出新的问题。