新的自动化决策法则:合规的四个技巧- Debevoise数据博客

随着人工智能(“AI”)和其他复杂算法在各行各业的广泛采用，许多过去由人类做出的商业决策现在(完全或主要)由算法或模型做出。自动化决策(“ADM”)的例子包括:

谁能得到面试机会、工作机会、晋升机会或纪律处分;
哪些广告会在网站或社交媒体上为用户显示;
应否批准某人的信贷申请，以及按多少利率办理;
应该进行哪些投资;
当汽车需要刹车或转向以保持在车道上时;
哪些邮件是垃圾邮件，不应该阅读;而且
哪些交易应该被标记或阻止为可能的欺诈、洗钱或违反制裁规定。

根据决策的潜在后果，ADM可能涉及不同程度的人力参与和监督。例如，一个人工智能模型可以通过分析某人的症状和x光片来预测某人是否患有某种疾病，在与患者共享任何信息之前，很可能会有人类医生确认预测的诊断。这被称为有人工参与的部分ADM。根据用户过去的听歌习惯来决定接下来播放哪首歌的音乐应用程序通常是完全自动化的，但是，由于用户很容易拒绝这个选择，而选择自己的歌曲，因此它被认为是“人工循环”。一个完全自动化的决定，不能轻易地改变或诉诸于人类(如。(这是一种简历筛选工具，只推荐10%的候选人参加面试)被称为“圈外人”。

这些和其他ADM技术为企业带来了更高的效率和更低的成本，但它们也为员工、客户和投资者带来了重大风险，包括:

操作风险—AI无法正常工作或无法正常工作，造成伤害。
透明的风险-受ADM影响的人有权知道决策是由机器做出的，以及机器依赖的数据是什么，但他们没有得到这些信息。
Explainability风险-受ADM影响的人有权知道模型在做出决策时依赖哪些信息，哪些输入对决策影响最大，但这些信息无法获得。
〇法律程序风险受ADM影响的人士有权选择退出ADM，或向有关人士提出上诉，但本署并无提供上述选择。
〇歧视风险该模型是在某种程度上有偏见的数据上训练或使用的，从而导致具有歧视性的决策。

在全球范围内，监管机构和立法者已经通过了旨在降低这些风险的法律。在这篇Debevoise数据博客文章中，我们讨论了几项专注于ADM的新法律，这些法律要么在今天生效，要么将在2023年生效，以及诉讼当事人利用这些法律挑战公司使用ADM工具的情况。鉴于这些趋势，我们还为寻求建立与其ADM系统相关的实际合规和治理计划的公司提供了四个提示。

什么规律适用于自动化决策?

由于ADM技术往往依赖于大量的个人数据，隐私法正成为立法者解决其风险的常用手段，包括:

欧盟一般保障资料规例(GDPR) (实际上）: GDPR第22条赋予数据主体不受“完全自动”决策影响的权利，如果这些决策对个人产生了“法律效力”或“重大影响”他们。虽然仍受欧盟法院的最终解释，欧洲数据保护委员会的观点第22条禁止ADM处理，除非适用以下三个例外之一:(1)ADM是由适用法律授权的;(2) ADM是订立或履行合同所必需的;或(3)ADM是基于数据主体的“明确同意”。“22(1)-(2)。如果ADM根据第22条基于合同关系或明确同意而被允许，公司还必须采取措施保护数据主体的权利，包括获得人为干预、表达观点和对决定提出异议的权利。艺术。22(3)。GDPR对ADM使用特殊类别的个人数据(如种族或民族出身)设置了某些限制(第22(4)条);它还要求将ADM的存在通知数据主体，包括“有关所涉及逻辑的有意义的信息，以及这种处理对数据主体的意义和设想的后果。”第13(2)(f)、15(1)(h)条。
巴西Lei Geral de Proteção de Dados(“LGPD”)(实际上）:根据LGPD，数据主体有权要求审查仅基于“影响[其]利益的个人数据的自动处理”而做出的决定，包括旨在定义其个人、专业、消费者和信用状况或其个性方面的任何决定。
加州隐私权法案(“CPRA”)(2023年1月1日生效）: CPRA建立了一个新的加州隐私保护局(CPPA)，负责制定法规“管理企业使用自动化决策技术的访问和选择退出权”，包括提供有关决策逻辑和对消费者可能产生的结果的有意义的信息。值得注意的是，CPPA发布ADM法规的任务目前并不局限于“完全”自动决策或具有法律效力的决策。
科罗拉多州，维吉尼亚州,康涅狄格州隐私法（2023年生效）:科罗拉多州和弗吉尼亚州的隐私法将允许个人选择不“为促进对消费者产生法律或类似重大影响的决定而进行画像”，这通常被定义为拒绝和/或提供金融和贷款服务、住房、保险、教育入学或机会、刑事司法、就业机会、医疗保健服务或获得基本必需品。康涅狄格州提供了一种退出权，类似于科罗拉多州和弗吉尼亚州，但仅限于“完全自动决策”，与GDPR更接近。
魁北克64年法案（2023年9月生效）: Québec，加拿大64号法案规定了广泛的ADM系统，适用于任何“完全基于自动化处理的决定”的个人数据。规定公司须向行政总监的个人发出通知;个人向公司代表提交“意见”的渠道，公司代表可以审查决定;以及应要求提供有关用于作出决定的个人信息、导致作出决定的主要因素和参数的信息，以及他们更正用于ADM的个人信息的权利。

此外，ADM技术可能经常通过法律进行监管，以保护个人免受潜在的歧视性做法。例如，美国平等信贷机会法禁止在信贷交易中存在歧视，并要求公司向申请人解释拒绝信贷申请或采取其他不利行动的具体原因，包括在决策基于人工智能或复杂算法的情况下。在市政层面，纽约市最近也通过了一项“自动化就业决策工具该法案将于2023年1月1日生效，要求雇主对其自动化招聘工具进行独立的偏见审计，向员工或候选人提供有关这些工具使用情况的详细通知，并应要求提供替代选择流程或便利条件。

自动决策的竞争:最初的法律挑战

最近根据GDPR针对“零工经济”公司提起的案件表明，ADM应用程序存在重大的法律和声誉风险。例如:

超级: 2020年，优步被现任或前任司机起诉了两起诉讼，涉及其自动司机调度系统和所谓的“机器人解雇”算法，据称该算法被用于根据所谓的欺诈活动自动终止工人的合同，而没有向司机提供有关该决定的足够信息。2021年3月11日，阿姆斯特丹地方法院在两起诉讼中都裁定优步胜诉(看到在这里而且在这里)，认为第22条不适用，因为这些制度作出的决定不具有“法律或类似的重大影响”。值得注意的是，关于“机器人射击”算法，法院发现这些决定涉及一个人类“操作风险团队”，该团队审查数据以确认欺诈模式，并相应地停用司机的账户;因此，自动决策“没有法律后果”，因为它只是在人工审查发生时的临时停用。
Ola:很像超级这起诉讼的焦点是印度拼车公司Ola的自动工作分配程序，包括对无效拼车司机的自动处罚。相比之下超级判决，阿姆斯特丹地方法院(看到在这里)认为奥拉的自动罚点球是根据第22条的规定，有三个原因:(1)处罚对司机具有法律效力，因为它们是用来实施罚款和制裁的;(2)处罚“完全”是自动执行的，因为在做出决定之前没有人为干预;(3)第22条不适用例外，因为这些处罚对司机在合同下的表现不是必要的，Ola也没有获得司机的明确同意。因此，法院要求Ola向其前司机提供罚款评估中使用的标准，以及核实和更正其决定中使用的数据的能力。
Foodinho: 2021年7月5日，意大利DPA“Garante”对外卖公司Foodinho罚款600万欧元，原因是该公司违反了GDPR规定，该规定涉及其对司机进行排名和分配的算法。具体而言，加兰特认为，这一制度对骑手有重大影响，因为它为他们提供了就业机会，因此第22条适用于(看到在这里)．加朗特进一步裁定，Foodinho未能根据第22(3)条实施适当的保障措施来保护其乘客的权利，包括(i)披露评级系统如何运行以及将收集哪些数据，(ii)确保评级的准确性和公平性，以及(iii)允许乘客对应用程序的决定提出争议。

综上所述，案例表明，对于某些类型的ADM，公司将需要将通知、同意、人力监督和上诉程序结合起来，以避免重大的法律风险。

降低风险的四个建议

鉴于这些新兴趋势，部署ADM的公司应考虑实施以下措施，以降低其法律和声誉风险:

识别可能受制于ADM法则的模型和算法。企业可以先列出机器辅助决策过程的清单。虽然一些法律(如GDPR)只适用于“完全”或“完全”自动化的ADM流程，但其他法律(如纽约市人工智能就业法)适用于“实质上协助”人类决策的技术流程。
风险评估ADM系统。为了确定缓解措施是否适当，可以根据(a)部署范围，(b)预期的用例和背景，(c)使用地点，(d)人类参与的程度和形式(如果有的话)，(e)个人数据的使用(包括生物特征或其他敏感数据)，以及(f)决定的影响，包括是否可能涉及"法律影响"，对可能受ADM法律约束的应用程序进行风险评估。
对可能受ADM法律约束的申请实施缓解措施。对于根据风险评估可能受ADM法律约束的应用程序，确定以下一项或多项缓解措施是否合适:

人类的监督，包括让人工在决策实施之前对部分或全部决策进行审查，或对已经做出的决策样本进行定期审查，特别是对那些完全由机器做出的重要决策。
请注意，包括通知受特定决策影响的个人，该决策(部分或全部)是由机器做出的，以及机器在做出该决策时所依赖的数据类型。
解释，包括为个人提供额外的信息，包括导致特定决定的最重要因素，决定的后果，以及个人在未来可以做些什么来获得更好的结果。
投诉及上诉，包括为个人提供一个向人工提交有关AMD的问题、评论或投诉的渠道，以及纠正与决策相关的任何不准确数据的机会，并让人工审查该决策。
退出,包括为部分或所有个人提供退出ADM程序的选择。当行政长官可能会根据某个人的特殊情况作出不公平的决定时，这可能是适当的。例如，有视觉障碍的人可能会因为某些依赖视觉游戏来测试性格类型或能力的人工智能招聘工具而处于不利地位。
偏见的测试，这可能适用于受联邦民权法、州人权法和特定行业法律禁止某些形式的不公平歧视的ADM。这样的测试可能包括对模型输入的定性评估，以及对相关政策、程序、培训和治理的检查。在某些情况下，它还可能涉及对模型输出的定量分析，以确定是否对任何受保护的类别有不同的影响。