有哪些监管细则？

界面新闻翻阅原始文件发现，这份提案最突出的特点是，按风险高低将人工智能的应用分为了四大场景：低、有限、高、不可接受。等级越高的应用场景受到的限制越严格。

1、风险等级低的应用场景主要包括使用人工智能的电子游戏和垃圾邮件识别软件等。由于风险较低，提案对这种情况几乎没有提出监管要求。

2、风险有限的场景中，人工智能的使用必须遵守透明度义务。用户需要意识到他们正在与一台机器进行互动。例如在使用聊天机器人时，用户需要被告知自己在与机器互动，并有权决定继续对话还是退出。

3、提案花了最多的笔墨来描述高风险的场景。它是指，可能对人们生命、生活造成严重影响的场景。包括关键基础设施（如道路交通和供水）、教育培训（如使用人工智能系统进行测试和考试评分）、产品的安全组件（如机器人辅助手术）、员工选择（如简历排序软件）、医疗辅助等领域。

提案建议，这类系统在启用前应履行严格义务，包括充分的风险评估、确保可追踪的活动记录、向用户提供关于人工智能系统的充分信息、以及必要的人工监督等。

广受关注的面部识别技术也属于高风险——所有远距离生物识别系统都被认为是高风险的应用场景。因此，执法部门被禁止在公共场合使用面部识别技术，只有少数情况例外，如寻找失踪儿童或防止个别恐怖袭击、甄别犯罪分子和可疑人员等。这类应用需得到司法部门或独立机构授权。

4、不可接受的场景是指，某些明显威胁人们安全和基本权利的人工智能系统。包括操纵人类行为的人工智能和违反用户自由意志的应用，例如使用语音助手诱导未成年人做出危险行为的玩具；还包括允许社会信用评分的人工智能系统。如果该人工智能系统的风险被认为“不可接受”，在欧盟的框架下，这个产品就完全不能做。

胡科指出，按照风险来设定框架的机制、以风险等级来设定操作者和经营者的义务，也就是“风险越高、监管越严格”，这也符合“合比例性原则”。它是基于欧盟本身的法治传统和文化而做出的。例如，对于面部识别技术的监管细则体现了欧盟一直以来对于抓取生物特质保有的高度敏感性。

胡科表示，此次提案的另一个特点是引入了合规性审查程序。这是一个事先审查的机制。人工智能的讨论中，有人会说只要事后的监管架构就可以了，也就是等有问题了再去管。但欧盟的机制就明确，不只有事后的机制，也要有事先的审查机制。不过，合规性审查程序主要应用于高风险的场景，对于低风险场景则是采用了“行为守则”，是一种自律性的规范。提案对公众参与和政府监督也做出了相关规定：尽管核心的义务仍然在企业这边，但公众和政府在不同阶段也有介入和监督的权力。

提案出现的背景是什么？

解决人工智能发展和使用所带来的问题，需要广泛的、系统的综合措施。这个提案正是这种一揽子综合措施的一部分。

提案符合《欧盟基本权利宪章》对维护公民的安全和基本权利的要求，也与现有的关于数据保护、消费者保护、非歧视和性别平等的欧盟二级立法保持一致。其中最重要的几项相关立法包括：《通用数据保护条例》（GDPR），电子商务指令、《数字服务法》（DSA）。

胡科表示，目前尚没有专门关于人工智能的体系化法律。尽管GDPR的框架下也有关于自动化决策的一些规定，但主要是涉及隐私。这一次的人工智能监管提案不只涉及个人数据，还有更广泛的应用领域，所以GDPR没法完全覆盖。在胡科看来，本次的提案更多关注的是人工智能的使用和决策机制和决策结果的输出。它影响的主要不是搜集数据的前端，而是数据产出这样比较后端的事情。而GDPR更关注前端。

胡科指出，如果在人工智能领域没有欧盟立法，隐私、机械等领域有一些零散的法律，在国家层面还有一些零散的法律，就会导致欧盟人工智能监管法律碎片化，而欧盟希望单一市场形成统一的法律架构。

欧盟向来关注数字治理，并一直希望能成为数字监管方面的全球领头羊。GDPR曾被广泛认为是史上最严数字保护法。胡科认为，从政策影响力的角度来说，欧盟的目的达到了，包括中国在内的其他国家在制定本国数据规范时就是参考了GDPR。此次的提案文件也明确表示，欧盟希望在发展安全的、可信的、道德的人工智能方面成为全球领导者。

对于加强数字监管，一种常见的声音是，监管会破坏创新。欧委会对此表示，“以基于风险的监管方法为中心，将有利于避免对贸易造成不必要的限制、或是阻碍技术和创新”。因此，提案还提及了用于支持创新的措施，特别是针对中小企业和初创企业。

文件称，欧盟希望通过这个提案达到的目标是：确保投放到欧盟市场和使用的人工智能系统是安全的，并尊重关于基本权利和欧盟价值观的现有法律；确保法律的确定性（legal certainty），以促进人工智能的投资和创新；加强执行适用于人工智能系统的基本权利和安全要求的现有法律；促进合法、安全和可信的人工智能应用的单一市场的发展，防止市场分裂。

一旦通过，将由欧盟成员国一级的治理系统来执行；同时在欧盟层面建立一个合作机制，例如一个“欧洲人工智能委员会”。若企业不遵守规定，首先将会收到警告，然后产品可能会被下架，如屡犯不改，则可最高罚没其年收入的6%。

对中企将有怎样的影响？

对中国企业的影响分为两个层面。

首先，对于那些在欧盟有业务的中国企业来说，该提案将产生怎样的短期和长期影响？

该提案的影响将延伸至在欧盟内运营的外国科技公司。胡科表示，对中企来说，尽管决策可能是在中国做出的，但决策的结果和产生的行为是在欧盟发生的，一样要受到提案的监管。

文件显示，该条例将适用于：将人工智能系统投放市场或投入使用的供应商，无论这些供应商是在欧盟还是在第三国建立的；欧盟的人工智能系统的用户；位于第三国的人工智能系统的供应商和用户，该系统产生的输出在欧盟使用。

不过胡科也指出，短期来说不一定会对中企产生影响，因为欧洲议会通过立法还需要很长时间。长期来看，很多在欧洲有业务的中企由于早前GDPR的原因，已经早就采取了一套跟欧盟法规相适应的管理架构，有合规的经验。如果之后需要做人工智能监管方面的合规，也已经有了基础。

其次，欧盟加强数字监管，是否会在客观上达到打压欧盟企业、利好中国和美国企业的效果？

科技智库“数据创新中心”（Center for Data Innovation）的高级政策分析师穆勒（Benjamin Mueller）指出，监管法规将使在欧洲研发人工智能的成本过高，甚至在技术上不可行。“当欧盟打压自己的初创企业时，美国和中国将在一旁乐不可支地看着。”

胡科则认为，欧盟启动了、但别国还没有，短期内可能会给中美企业一些数据搜集和使用上的比较优势。但他也认为，并不是欧盟的强监管导致了欧盟科技企业的弱势地位，更多是与民众抵触数据搜集的文化传统有关。对欧盟来说，立法不是以是否能够让本土诞生科技巨头为目标的，而是以民众隐私不受自动化决策的影响为目标的，希望为民众提供一种生活方式上的保护。

但长期来说，胡科认为，欧盟开了先河之后，中美可能也会跟进。欧盟的立法将提高公众对于这个议题的认知，之后会对产品形成进一步的压力。长期来看，中国也会需要人工智能方面的立法，只不过要看是从什么层面去做、怎么去做。目前已经有不少国际组织在关注这一块，例如总部在巴黎的“国际商会”最近就在为《人工智能治理原则》征求公开意见。

立法时间线

2017年，欧洲理事会呼吁，要有“应对新兴趋势的紧迫感”，包括“人工智能等问题”，同时确保高水平的数据保护、数字权利和道德标准。

2019年，欧盟委员会退出人工智能道德准则。指出，可信赖的人工智能有两个组成要素：一、应尊重基本权利，适用法规、核心原则和价值观，以确保“道德目的”，二、兼具技术鲁棒性和可靠性，AI技术必须足够稳健及强大以对抗攻击，以及如果AI出现问题，应该有“应急计划”。

2019年，欧委会主席冯·德莱恩在她为2019-2024年欧盟委员会制定的政治指导方针“一个更繁荣的欧洲联盟”中提出，将就人工智能的伦理影响采取协调的欧洲方法。

2019年，在“关于开发和使用人工智能的协调计划”中，欧洲理事会进一步强调了确保欧洲公民的权利得到充分尊重的重要性，并呼吁审查现有的相关立法。

2020年2月，欧委会发布了《人工智能白皮书》。白皮书就如何实现促进人工智能的普及和解决与此相关的风险这一双重目标提出了政策选项。

2020年10月，在“关于人工智能民事责任制度的决议”中，欧洲理事会进一步呼吁解决人工智能系统的不透明性、复杂性、不可预测性，以确保其与基本权利的兼容性。欧委会认为，目前的法律制度缺乏关于人工智能系统责任的具体纪律，遭受人工智能系统损害的人通常在没有证明操作者责任的情况下无法得到赔偿。