在我们关于人工智能(“AI”)监管未来系列的第2部分中，我们将研究欧盟立法草案。本系列的第一部分(关于美国银行监管机构的RFI)可以在这里找到在这里．本系列的后续部分将介绍美国联邦贸易委员会最近关于AI的声明，以及公司现在可以采取的步骤，为即将到来的监管环境准备他们的AI程序。
2021年4月21日，欧盟委员会发布了其备受期待的人工智能使用法规草案该法案被称为“人工智能领域的GDPR”，因为一旦颁布，大量使用人工智能系统的公司可能会承担繁重的合规义务。欧盟委员会建议根据人工智能预期用途带来的潜在风险对其进行监管:构成“不可接受风险”的人工智能系统将被彻底禁止;被归类为“高风险”的人工智能将受到严格的监管和披露要求;某些互动、deepfake和情感识别系统将受到更高的透明度义务的约束。
值得注意的是，对人工智能使用透明度的日益关注，加上人工智能提供商和用户的具体报告义务，几乎肯定会导致消费者、监管机构和利益相关者对人工智能进行更多的审查。事实上，就像GDPR导致公司大幅扩大其隐私合规性一样，AI立法草案旨在鼓励公司将AI视为企业范围的风险，需要领导层在开发、部署和监督其AI系统时予以关注。这一鼓励将在立法草案中得到加强，那些未能围绕其人工智能系统实施强有力的合规政策(对欧盟居民构成风险)的公司，可能会面临严重的法律和声誉后果。此外，欧盟委员会还提出了一个标签制度(CE符合性标志)，根据该制度，某些人工智能系统在进入市场之前需要由合格的“公告机构”评估和认证符合性。
尽管立法草案可能在几年内不会生效，但其广泛的范围和义务的特殊性使欧盟成为人工智能监管的中心，正如GDPR是后续隐私法的中心一样，它将成为衡量未来所有人工智能法规的标准。下面我们简要介绍了这一具有里程碑意义的人工智能立法草案的主要特征。
委员会人工智能立法框架草案的主要特点
该规定将如何适用于美国公司
委员会希望立法具有广泛的域外覆盖范围，涵盖人工智能提供商或用户。”不论它们是否建立在欧盟内部，只要任何人工智能系统影响到欧盟内部的用户。特别是:
- 供应商-个人或实体以自己的名义或商标开发或投放人工智能系统，即使免费提供如果(i)他们将人工智能系统投放市场或在欧盟内投入服务，或(ii)人工智能系统生产的产品在欧盟使用，将被覆盖。
- 用户-个人或实体在他们的授权下使用人工智能系统，而不是以个人身份，如果(i)它们位于欧盟内部，或(ii)人工智能系统产生的输出在欧盟使用，将被覆盖。
在许多情况下，人工智能系统的开发、培训、营销和品牌推广涉及多个实体，这可能导致特定人工智能系统有多个“提供者”。
将被禁止的AI系统类型
该法律草案禁止使用某些人工智能，包括:
- 操纵或剥削的系统。该立法将禁止旨在通过“潜意识技术”操纵人类行为或决策的人工智能系统，或利用人群由于年龄、身体或精神残疾而造成的脆弱性，从而严重扭曲他们的行为，并对他们或其他人造成身体或心理伤害。这些有时被统称为"黑暗的模式“这一禁令可能需要进一步澄清，因为许多常见的人工智能系统被指控操纵人类行为并利用漏洞(如。AI用于游戏、广告、社交媒体、约会应用等)。
- “实时”远程生物特征识别系统，如面部或步态识别系统．将禁止在公共场所为执法目的使用这些系统，但有若干列举的例外情况。
- 通用社交评分．该立法还将禁止由公共当局或代表公共当局根据个人的社会行为或预测的人格特征进行社会评分，这将在某些情况下导致对个人或群体的不利待遇。
人工智能系统将被监管为“高风险”
人工智能立法草案明确列于附件3被视为“高风险”的申请包括:
- 评估消费者信用价值或建立其信用评分的人工智能系统，但小型实体提供的自用系统除外;
- 用于招聘和工作场所管理的人工智能系统，包括通过面试评估候选人，做出有关晋升或解雇的决定，或监控和评估员工的绩效或行为;
- 教育和职业培训人工智能系统;
- 自然人生物特征识别系统，包括“实时”和事后远程识别工具(上述禁止的执法用途除外);
- 关键基础设施管理和运营的人工智能系统;
- 关于获得公共援助福利或派遣紧急第一反应服务的人工智能系统;
- 执法部门使用的人工智能系统，包括风险评估、测谎仪、深度造假检测和犯罪分析。
如果人工智能系统对健康和安全构成危害风险，或对基本权利产生不利影响，委员会将被授权将其添加到该清单中。委员会在决定是否将其他人工智能应用归类为“高风险”时将考虑的因素包括:人工智能系统的预期目的，未来伤害的潜在影响，以及由于权力、知识、年龄或经济或社会环境的不平衡而导致的预期用户的脆弱性。此外，人工智能系统做出的决策不容易逆转，或者“出于实际或法律原因，不可能合理地选择退出(结果)”，也更有可能被认为是高风险的。值得注意的是，该委员会还表示，在将系统归类为“高风险”时，它将考虑先前伤害事件的“报告或记录指控”，这向公司发出信号，它将仔细考虑关于人工智能偏见或其他可能造成伤害的人工智能事件的指控。
使用人工智能的公司的新义务
根据人工智能立法草案，对人工智能系统的监管义务将主要落在那些被认为是“高风险”的系统上。
高风险人工智能系统的要求
任何被认为是提供者在将“高风险”人工智能系统投放市场之前和之后，都将受到重要的监管要求，包括:
- 强制向监管机构报告AI事件(第62条)．也许欧盟委员会草案最显著的特点是事件报告要求，类似于GDPR、CCPA和其他数据保护法中的数据泄露报告要求。这一要求是我们在其他人工智能法规草案中没有看到的，它要求提供商向市场监管机构报告其高风险人工智能系统的任何“严重事件或故障”。提供商将被要求在意识到人工智能系统与事件之间的“因果关系”时立即提交该报告，并且在任何情况下，不迟于意识到事件后15天。
- 质量和风险管理程序(第9和17条)．高风险人工智能系统的提供者必须建立、实施、记录和维护质量管理程序，包括适当的风险管理措施。特别是，应通过以下方式消除或减轻任何已识别的风险:(i)实施适当的控制措施，或(ii)向用户提供适当的警告或培训。应该特别考虑可能被儿童访问(或影响)的人工智能系统。
- 高质量数据和数据治理实践(第10条)．根据委员会的规定，所有高风险人工智能系统都必须使用高质量数据进行开发和培训，这意味着适当的(i)设计选择，(ii)数据收集和准备，(iii)检查数据的潜在偏差，以及(iv)识别数据差距或缺陷。训练和测试数据集还必须是“相关的、有代表性的、无错误的和完整的”，并具有“适当的统计属性”。
- 健全的文档、记录保存和应要求提供信息(第11、12、18、20、23和50条)．该立法草案将规定重要而详细的记录保存义务，包括确保高风险人工智能系统的输出可以在系统的整个生命周期内得到验证和跟踪。除其他要求外，立法草案将要求创建和维护有关(i)人工智能系统的特征、功能和限制的自动日志和其他技术文件;(ii)算法和数据;(iii)开发、测试和验证过程;(四)预期风险及相应的风险管理措施。提供商还将有义务维护高风险人工智能系统生成的日志(在这些日志受其法律控制的情况下)，并根据要求向相关部门提供访问这些日志的权限。
- 透明度义务(第13条)．高风险人工智能系统将需要文件和使用说明，包括(i)人工智能系统提供者的身份和详细联系信息，(ii)人工智能系统的功能和限制，(iii)人工智能系统输入数据的规格(在适当时)，(iv)对高风险人工智能系统及其性能的预定更改，(v)人工监督措施，以及(vi)人工智能系统的预期寿命和任何必要的维护措施。
- 人力监督和手动超越能力(第14条)．必须开发高风险人工智能系统，使其能够受到自然人的有效监督，包括监测异常情况并在必要时进行干预以中断系统。
- 网络安全和防范恶意第三方(第15条)．必须保护高风险的人工智能系统免受恶意行为者的黑客攻击、滥用和利用。鉴于这些新出现的风险，立法草案要求公司实施旨在防止数据中毒、对抗性示例和模型缺陷的措施。
- 在AI系统的生命周期内保持一致和准确的性能(第15条)．人工智能立法草案要求高风险系统必须达到适合其预期目的的高准确度，并对错误、故障或不一致具有弹性，无论这些错误、故障或不一致是模型固有的还是由人类用户引入的。人工智能系统的技术弹性也可以通过实施适当的故障保护和备份计划来实现。
- 上市前合格评定(第19和43条)．该立法草案将要求提供商在将其高风险人工智能系统投放市场之前，或在系统“大幅修改”时，要么进行自我评估，要么从“公告机构”(取决于系统的类型)获得合格性评估。
- 在可公开访问的欧盟数据库上注册(第51条和第60条)．高风险人工智能系统的提供商(或其授权代表)将被要求在欧盟委员会管理的欧盟数据库中注册任何高风险人工智能系统。
- 上市后监测和纠正措施(第21和61条)．人工智能立法草案将要求人工智能系统提供商建立上市后计划，主动分析他们投放市场的人工智能系统的数据，并不断审查其合规性。这还需要针对高风险系统产生的问题采取任何必要的纠正措施，包括从市场上撤回或召回系统。
人工智能立法草案还对作为“进口商”、“分销商”、“产品制造商”和“用户”的公司提出了要求。特别是,用户将要求任何高风险人工智能系统(i)根据指示操作任何高风险系统，监控其操作，并保留这些系统产生的任何日志的副本;(ii)确保其控制的任何输入数据与高风险人工智能系统的“预期目的”相关;(iii)如果发生故障或严重事件，或者如果无法联系到提供商，则直接通知监管机构。
对其他人工智能系统的要求
不属于“高风险”类别的人工智能系统提供商仍有义务遵守某些透明度要求。该委员会特别指出，与个人互动或创建内容的人工智能系统，如聊天机器人、自动顾问或深度伪造生成器，可能“构成特定的冒充或欺骗风险，而不管它们是否符合高风险标准。”因此，人工智能立法草案对此类系统提出了更高的透明度要求:
- 旨在与自然人互动的人工智能系统提供商将被要求告知个人，他们正在与人工智能系统进行交互，如果从情况来看还不明显的话。
- 情感识别或生物特征系统的用户识别或推断个人的情绪或意图将被要求通知个人该系统的操作。
- 生成或操作图像、音频或视频内容的系统的用户，这些图像、音频或视频内容类似于现有的人、物体、地点、实体或事件，而这些人可能误以为是真实的，除非是为了讽刺或表达自由，否则必须披露有关内容是人为制作或操纵的。
非“高风险”人工智能系统的自愿行为准则
委员会还鼓励公司和行业组织制定自愿的“行为准则”，其中包括将适用于“高风险”人工智能系统的要求纳入其其他人工智能系统，以及与环境可持续性、残疾正义和多样性相关的额外要求。鼓励公司在制定此类行为准则时咨询用户和各利益相关方。
此外，由于欧盟委员会正在为某些高风险系统的上市前一致性提出认证制度，我们预计将出现人工智能的第三方标准/评级行业(类似于我们在网络安全方面看到的情况)，以及内部控制的基准标准和最佳实践。企业将希望随时了解这些发展。
执法及可能的罚款
根据目前的立法草案，市场监管部门将被赋予执法任何“高风险”人工智能系统的主要责任。然而，对于金融机构投入服务或使用的任何人工智能系统，都有一个具体的例外，即执法权被授予适当的金融监管机构，这就造成了规则和执法实践应用变化的可能性。
值得注意的是，市场监管机构将被授予“完全访问”提供商使用的任何培训、验证和测试数据集的权限，以及应要求获得人工智能系统的源代码。此外，监督或执行与基本权利有关的欧盟法律的其他当局和机构将被授予权力，要求根据立法保留任何文件，并可以与市场监督机构协调，对人工智能系统进行进一步测试。
虽然欧盟成员国将最终确定对不合规行为的处罚，但目前的草案包括对开发或销售被禁止的人工智能系统或向监管机构提供虚假或误导性信息的公司处以巨额罚款。最严重的违规行为将被处以公司全球年收入的6%或3000万欧元(以较大者为准)的罚款。
合规计划:公司现在能做什么?
尽管欧盟人工智能法律草案在几年内不会最终确定并生效，但目前正在开发人工智能模型的公司应该密切关注其义务，以避免在新的人工智能法规生效时不得不对其模型进行重大调整(或完全退役)。
在这个关于AI监管未来的系列文章中，我们将提供公司现在可以采取的一系列步骤，以限制开发AI工具的风险，这些工具将被视为不符合未来几年可能形成的AI监管格局。这些步骤将包括全面治理，以及:
| ·问责 ·上诉权 ·偏差测试 ·董事会报告 ·业务连续性 ·网络安全 |
·文档 ·护栏 ·人为监督 ·AI库存 ·持续监测 ·隐私保护 |
·监管披露 ·风险评估 ·培训 ·透明度 ·explainability ·供应商管理 |
请加入阿维·盖瑟和安娜·格雷塞尔为我们的特别版DSS网络直播在2021年5月3日，周一，美国东部时间上午10:00在人工智能监管的未来，以及企业现在可以采取的措施，为快速发展的人工智能监管环境做好准备。你可以注册网络直播在这里以及按需录音在这里．
* * *
订阅数据博客，请点击这里．
本文作者要感谢Prudential Financial数据与隐私法首席法律顾问Stephen McDougall对本文的贡献，以及Debevoise法律助理Michael Pizzi和Andres Gutierrez的贡献。
如有任何问题，请随时与我们联系。
