现在才2月，但到目前为止，2020年似乎将是法院和监管机构认真对待人工智能(“AI”)的一年。
欧洲和美国最近的发展为人工智能可能面临严格审查的地方以及如何降低使用人工智能的风险提供了一些见解。
2020年2月5日，荷兰法院停止尽管法院承认福利欺诈对荷兰政府来说是一个非常严重的问题，但该国使用一个自动检测福利欺诈的系统(称为“SyRI”)，发现它侵犯了荷兰公民的人权。SyRI分析了17类政府数据，如税务记录、土地登记和车辆登记，以确定哪些人的福利待遇应该得到额外的审查。荷兰地方法院指出，SyRI主要部署在较贫穷的社区，批评该项目缺乏透明度，并裁定SyRI违反了《欧洲人权公约》第8条规定的荷兰公民的“私生活权利”。法院担心，SyRI的实施将导致对穷人的歧视，其中许多人是移民。法院还提到了对SyRI可能违反欧盟通用数据保护条例要求的担忧。
这一担忧最近得到了欧盟委员会的回应白皮书欧盟于2020年2月19日概述了其拟议的欧盟人工智能监管方法。白皮书指出，人工智能决策系统可能会导致对公民权利的潜在侵犯，指出“经济行为者仍然对人工智能遵守保护消费者的现有规则负全部责任，(并且)不允许任何违反现有规则的算法利用消费者行为，违规行为将受到相应的惩罚。”
在美国，州政府对人工智能的使用也受到了积极的挑战，尽管基于不同的法律理论。2019年12月5日，密歇根州上诉法院允许集体诉讼进行对密歇根失业保险机构提起民事诉讼。原告声称，该机构利用自动欺诈检测系统(称为“MIDAS”)来确定个人是否参与了失业救济金欺诈，而没有向他们提供通知或提供证据的机会，这侵犯了他们的宪法权利。许多原告被处以巨额罚款——有的超过5万美元——如果他们不付款，他们的工资就会被扣掉，纳税申报单也会被没收。值得注意的是，密歇根州审计长检查了MIDAS，发现该模型是错误的93%的时间．
虽然州政府后来删除了算法，并发放了一些退款，但原告辩称，他们并没有得到完整的退税——特别是，因为退税的没收影响了他们申请新工作时的背景调查和信用评分。法院认为，该机构算法的“绝对令人震惊的性质”侵犯了许多人的正当程序权利，这些人因该系统的自动决策而受到制裁。[1]
美国监管机构和立法者也开始审查人工智能的使用。例如，纽约金融服务部(DFS)发布了一份通函去年，该法案对在承销过程中使用人工智能的人寿保险公司规定了两项义务。首先，使用替代数据(如邮政编码、教育程度和信用信息)来支持其人工智能工具的保险公司必须独立确认任何给定的数据来源“不使用也不以任何方式基于种族、肤色、信仰、国籍、家庭暴力受害者身份、过去的合法旅行、或任何形式的性取向，或任何其他受保护的阶层”。其次，为任何特定消费者的不利承保决策而使用替代数据的保险公司必须向消费者披露保险公司做出决策所依赖的所有信息的详细信息，包括该替代数据的具体来源。
此外，美国众议院金融服务委员会人工智能工作组举行了一次会议听力2020年2月12日，调查证人对确保人工智能公平使用的担忧。
可以肯定的是，这些发展主要涉及政府利用人工智能做出对其公民提供的福利和服务有重大影响的决策，这可以理解地面临严格的审查，部分原因是对此类行为的法律限制。
此外，许多商业人工智能应用对消费者构成的法律风险非常小，要么是因为输入不涉及任何个人信息，要么是因为决策对任何人都没有重大影响。例如，Roomba吸尘器使用自动化系统来“学习”清洁房屋的最佳路线，智能烤箱能够随着时间的推移识别常见食物并调整温度以达到最佳效果，这些都是几乎不存在法律或声誉风险的人工智能应用。
尽管如此，了解人工智能如何以及为什么面临越来越多的审查，对于那些希望以可能有助于避免法律挑战和声誉损害的方式管理自动决策程序的公司来说是有帮助的。
因此，这里有15个考虑因素来降低使用人工智能的风险。这些都是从最近的法律发展，以及我们帮助客户开发人工智能程序的经验中收集到的——认识到一些人工智能应用程序的风险可能很低，以至于只值得实施其中的一到两个考虑因素(如果有的话):
降低人工智能项目法律和声誉风险的15个考虑因素
- 治理——制定政策和程序，涉及何时可以使用人工智能，如何确定对人工智能模型的适当输入，以及谁必须参与任何应用程序的最终批准。
- 影响——在人工智能决策的具体应用投入生产之前，确定何时进行人工智能影响评估，包括在适当情况下考虑如何最大限度地减少潜在的负面影响。
- 授权——确保有使用建议输入数据的授权，并有一个流程确保数据的使用与收到的授权一致，包括勤奋和抽样，以确保实际输入数据与人们认为进入模型的数据是(和不是)一致。
- 偏差——评估模型输入以确保它们与特定决策相关，并且它们不会引入意外的偏差或歧视。
- 责任-为人工智能系统建立问责制，包括谁负责确保模型输入、培训、更新和操作根据政策进行。
- 持续评估——定期测试AI系统的功能，以监测意外漂移，并确保模型按预期运行。这种测试目前还不是人工智能开发过程的常规部分，对于什么是有效的测试也没有共识。
- 透明度——告知利益相关者人工智能正在用于特定决策或流程，并可能提供有关关键变量或参数的信息。
- 上诉——为那些受到人工智能系统决定负面影响的人提供上诉或纠正决定的权利。
- 可解释性——为利益相关者(包括消费者、监管机构或人工智能系统的其他用户)提供有意义和清晰的信息，说明模型如何做出决策，以及为什么这个结果很重要。根据模型的类型和复杂性，这可能很困难，但这越来越成为监管机构和立法者关注的一个领域。
- 培训——确保人工智能系统的操作员和执行其决策的人员接受有关如何发现模型的不当设计、功能或使用的适当培训。
- 监督——让人工智能系统只提供建议或初步决定，然后由人类进行审查，以确保建议或决定是有意义的，并且与一般期望或特定领域的专业知识(如医疗指南)一致。
- 安全性-对人工智能系统使用的数据提供适当的安全控制，以降低未经授权访问的风险，包括匿名化、删除未使用的数据，以及实施其他合理的网络安全措施。
- 重新评估-重新评估所有上述的输入，模型或其应用的任何重大变化。
- 文档——确保上面所采取的步骤有一个很好的记录，包括任何关键的决定，这些决定以后可能需要向监管者或其他利益相关者进行辩护。
- 监督——酌情向高级管理层和董事会通报人工智能的预期用途，包括风险和收益，以及为减轻潜在风险和问题而采取的步骤。
最近的发展表明，监管机构和原告并没有等待新的法律来挑战人工智能程序。相反，他们正在利用现有的反歧视和消费者保护法，为据称由有缺陷的人工智能决策造成的伤害寻求补救。
即使在没有重大法律风险的情况下，那些人工智能工具受到批评的公司也面临着负面的媒体关注，就像微软的聊天机器人Tay一样学会了种族主义语言在推特上上线不到24小时。
因此，实施人工智能项目的公司可能希望审查上述考虑因素。
我们将继续监测和评估有关人工智能使用的法律发展，并提供任何重要信息的更新。
* * *
如有任何问题，请随时与我们联系。
订阅数据博客，请点击这里．
[1]见Bauserman诉失业保险。机构编号:333181,2019 WL 6622945, at *12(密歇根州;Ct。2019年12月5日发布)(内部引号及引用省略)。
