纽约市消费者和工人保护部(以下简称“DCWP”)已通过最终规则(以下简称“最终规则”)，规范人工智能在招聘实践中的使用。DCWP的自动化就业决策工具法(“AEDT法”或“法律”)要求受保护的雇主每年进行独立的偏见审计，并公布这些结果的公开摘要。总而言之，DCWP发布了一份拟议规则的初始集并于2022年11月4日举行了公开听证会。由于大量评论对该法缺乏明确性表示关注，DCWP发布了一份修订的一套拟议规则并于2023年1月23日举行了第二次公开听证会。在发布最终规则后，DCWP第二次将法律的执行从2023年4月15日推迟到2023年7月5日。
最终规则在很大程度上采用了去年12月的提案，并对第二次公开听证会上提出的问题进行了一些显著的修改。最重要的是，最终规则明确了使用AEDT来筛选简历需要进行偏见审计，即使雇主没有使用AEDT来做出最终的雇佣决定。它还提供了一些例子，说明雇主何时可以使用测试数据而不是历史数据来进行偏见审计。在这篇Debevoise数据博客文章中，我们讨论了AEDT法的现状，并强调了最终的变化如何影响雇主的合规义务。
A.定义自动化决策工具
根据AEDT法，“自动化就业决策工具”(“AEDT”)包括(i)源自机器学习、统计建模、数据分析或人工智能的任何计算过程;(ii)提供简化的输出，包括评分、分类或推荐;(三)在做出影响自然人的就业决策时，用于实质性协助或取代自由裁量决策的。这个定义之外的工具包括垃圾邮件过滤器、防病毒软件、计算器、电子表格、数据库和其他数据汇编。《最终规则》从两个方面修改了该定义的应用。
- 关于雇用决定范围的澄清
在使用AEDT进行“雇佣决策”之前，雇主必须确保AEDT在使用该工具前不超过一年进行了偏见审计。“雇佣决定”一词的意思是“在城市内筛选就业候选人或员工晋升。”“筛选”一词的意思是“决定招聘候选人或被考虑晋升的员工是否应该被选中或在招聘或晋升过程中获得晋升。”
《最终规则》重申，AEDT法适用于(i)完全基于AEDT的产出的雇佣决定，(ii)基于多个因素，但AEDT的产出比任何其他标准都重要，或(iii)基于AEDT的产出推翻了其他因素(包括人为决策)得出的结论。因此，根据最终规则，如果AEDT的输出是导致决定的众多因素之一，则只有当输出超过所有其他因素或推翻人为决定时，该工具才在法律范围内。
最终规则澄清了“雇佣决定”并不一定是最终雇佣决定，并提供了一个雇主希望使用AEDT筛选简历和安排招聘面试的例子。该示例指出，雇主必须在计划使用之前进行偏见审计，即使该工具仅用于在申请过程的早期阶段进行筛选。有了这一澄清，一些可能认为他们是豁免的雇主现在可能会得出结论，他们可能属于法律的范围。
- 复杂模型的更广泛应用
《最终规则》还将该法的适用范围扩大到复杂模型。最终规则将“机器学习，统计建模，数据分析或人工智能”重新定义为一组数学，基于计算机的技术(i)，生成预测或分类(ii)，计算机至少部分识别输入，这些输入的相对重要性，以及(如果适用)模型的其他参数，以提高预测或分类的准确性。最终规则消除了以前需要通过交叉验证或训练和测试数据来改进输入和参数的限制。许多更简单的人工智能工具现在可能属于修订后的定义。
B.偏见审计要求
- 保护类别
AEDT法要求雇主对AEDT工具进行“偏见审计”，其中包括但不限于评估该工具对“雇主根据美国法典第42篇第2000e-8节(c)小节报告的任何组成类别的人员”的差异影响，如联邦法规第29篇第1602.7部分所述。最终规则规定，这包括平等就业机会委员会雇主信息报告EEO-1中指定的类别(“EEO-1类别”)，涵盖二元性别(男性或女性)、种族(西班牙裔或拉丁裔或非西班牙裔或拉丁裔)和种族(黑人或非裔美国人、夏威夷原住民或其他太平洋岛民、亚洲人、夏威夷原住民或其他太平洋岛民、白人或两个或两个以上种族)。雇主必须考虑交叉性，并对每个EEO-1类别联合进行偏见审计。《最终规则》规定，对于性别和民族/种族类别，必须分别进行偏见审计计算(如。(男性、女性、西班牙裔、黑人、亚洲人、白人等)。
- 澄清偏见审计数据要求
为了进行偏见审计，雇主必须使用“历史数据”，这被定义为“雇主或职业介绍所使用AEDT评估就业候选人或晋升员工期间收集的数据”。如果没有足够的历史数据可用于统计上显着的偏差审计，则可以使用“测试数据”，但对偏差审计结果的公开摘要必须解释为什么不使用历史数据并描述如何生成测试数据。“测试数据”定义为历史数据以外的任何数据。最终规则回答了我们在上一篇博客中提出的一个问题，即当雇主缺乏足够的历史数据时，他们如何进行偏见审计。具体来说，最终规则明确了雇主何时可以依赖其他雇主的历史数据或测试数据:
- 雇主可以一直依赖其他雇主的“历史数据”，只要雇主向独立核数师提供任何个人收集的“历史数据”供其使用和考虑。
- 当雇主(i)第一次使用AEDT或(ii)缺乏足够的“历史数据”进行统计显著偏差审计时，雇主可以依赖“测试数据”。如果依赖于测试数据，那么公共摘要必须解释为什么没有使用“历史数据”，并描述如何生成“测试数据”。
3.计算选择率和影响比
除了要求对EEO-1类别进行差异影响评估外，AEDT法没有提供进行所需偏见审计的方法。然而，与前一提案一样，《最终规则》描述了两个必须作为审计的一部分确定的指标，即“选择率”和“影响比率”:
- 选择率是EEO-1类别中的个人在招聘过程中被选中继续前进或被aedt分配分类的比率，例如，简历筛选工具推荐多少亚洲女性参加面试。选择率指标的计算方法是将EEO-1类别中前进或被分配分类的个人数量除以该EEO-1类别中申请职位或被考虑晋升的个人总数。所以，如果100个人申请一个护理职位，其中10个申请人是亚洲女性，其中3个被选中参加面试，AEDT对该职位的亚洲女性的选择率将是0.3%或30%。
- 影响比例(i)某一EEO-1类别的选择率除以该类别的选择率大多数选择EEO-1类别或(ii)特定EEO-1类别中所有个人的得分率除以该类别中个人的得分率最高分EEO-1类别。所以，继续上面的例子，如果100个申请者中有10个是白人男性，其中5个被选中参加面试，那么白人男性的选择率将是0.5%或50%。假设白人男性在所有EEO-1类别中具有最高的选择率，那么白人男性的影响比将是0.5/0.5或1.0。亚洲女性的影响比为0.3/0.5或0.6。
4.选择vs计分
《最终规则》保留了在两种不同情况下进行偏见审计的要求:(i) AEDT在招聘过程中选择个人或将个人分类(如。即那些将获得面试或考虑升职的人);以及(ii) AEDT为申请人或候选人提供有效排名的分数。
- AEDT的选择或分类。雇主的偏见审计必须(i)计算每个EEO-1类别的选择率，然后(ii)计算每个EEO-1类别的影响率。此外，当AEDT将个人划分为特定群体时(g。(如领导风格)，则必须针对每个此类分类采取步骤(i)和(ii)。
- 得分出来。雇主的偏见审计必须(i)计算所有申请人样本的中位数分数;(ii)计算每个EEO-1类别中的个人获得高于中位数得分的比率(“得分率”);(iii)以每一组别的评分率除以得分最高组别的评分率，计算每个EEO-1类别的影响比率。
C.谁可以担任独立审计师?
偏见审计必须由独立审计员进行，这意味着“有能力对AEDT偏见审计范围内的所有问题进行客观公正判断的个人或团体”。与之前的建议一样，《最终规则》概述了审计师不被视为独立的三种情况:
- 如果审计师正在或曾经参与使用、开发或分发AEDT;
- 如果审核员在偏见审核期间的任何时候，与寻求使用或继续使用AEDT的雇主或职业中介或开发或分销AEDT的供应商存在雇佣关系;或
- 如果审核员在偏见审核过程中的任何时候，与寻求使用或继续使用AEDT的雇主或职业中介或开发或分销AEDT的供应商有直接经济利益或重大间接经济利益。
既然审计人员的工作是有报酬的，那么“不合格的经济利益”肯定不止于此。《最终规则》没有举例说明什么样的财务利益会使审计师丧失资格。目前尚不清楚审计师是否会被禁止与寻求依赖其审计的雇主建立任何其他持续的业务关系。
D。酒吧审计结果和通知条款的应用
与之前的提案一样，最终规则规定了雇主遵守AEDT法的规定，即雇主公开其偏见审计结果的摘要以及审计适用的AEDT的分发日期。此外，雇主必须向候选人提供通知:(a)将使用AEDT进行评估或评估，并允许候选人要求替代选择程序或住宿;(二)行政助理署长在评估时会使用哪些工作资格或特征;以及(c)为AEDT收集的数据类型、数据来源，以及雇主的保留政策。
- 公布结果
偏见审计摘要的发布必须(a)张贴在雇主网站的职业或工作部分，或链接到外部网站(前提是该链接清楚地表明指向偏见审计的结果);(b)包括所有EEO-1类别的申请人或候选人人数、选择率、评分率(如适用)和影响率;(c)注意AEDT的分发日期，根据《最终规则》将其定义为雇主开始使用特定AEDT的日期;及(d)在雇主最后一次使用AEDT作出雇用决定后，仍在该职位上工作至少六个月。
《最终规则》规定，在两种情况下，公开摘要必须包括额外的细节:
- 如果AEDT评估的个人因性别或族裔/种族类别未知而被排除在影响比计算之外，则必须将评估的个人人数列入公共摘要;和
- 独立审计员现在可以从影响比率计算中排除类别，如果类别包含的偏差审计所用数据少于2%。如果做出这样的排除，审核员必须在公开摘要中包括其排除的原因，申请人数量，以及被排除类别的评分或选择率。
2.加强向候选人和雇员提供通知的义务
候选人及员工须知。最终规则坚持要求雇主必须根据AEDT法向候选人或雇员提供通知。具体而言，雇主必须通知居住在该市的候选人或雇员，在他们的评估或评估中使用AEDT，以及AEDT使用的工作资格和特征。通知必须在AEDT使用前至少十个工作日发出。候选人和员工都可以通过招聘启事或美国邮件或电子邮件得到通知。雇主也可以在网站的招聘部分为候选人提供通知，并可以通过书面政策或程序向员工提供通知。
AEDT数据采集注意事项。雇主亦必须提供有关(i)自动雇佣决策工具所收集的资料类型的通知;该等数据的来源;及(iii)雇主或职业介绍所的资料保留政策。以前，雇主可以通过以下三种方式之一提供所需的通知。现在，最终规则要求雇主使用这三种选择。雇主必须:
- 在其网站的招聘部分，以清晰和明显的方式提供有关其自动培训计划的资料保留政策、为自动培训计划收集的资料类型和资料来源的资料;
- 在其网站的招聘部分，以清晰和显眼的方式张贴说明，说明如何以书面方式索取该等资料，并在收到书面要求后30天内提供该等资料;和
- 向就业候选人或正在考虑升职的雇员解释，为什么披露这些信息会违反当地、州或联邦法律，或妨碍执法调查。
住宿或替代选择过程的说明。《最终规则》要求，发给候选人的通知必须包括候选人如何要求替代选择程序或住宿的说明。然而，值得注意的是，AEDT法并未要求雇主实际提供另一种选择程序。这就造成了一种奇怪的情况，雇主必须提供要求选择退出的能力，但不需要批准任何要求或实际上有其他选择，除非是根据《美国残疾人法》或其他适用法律要求的便利。
E.违反AEDT的处罚
被发现违反AEDT法的雇主将面临首次违规以及在第一次违规当天再次违规的最高500美元的民事罚款。此后每次违规将被处以500至1500美元的罚款。违规使用AEDT的每一天都构成一次违规，未提供通知也是一次违规。
F.哪些雇主受AEDT法的保护?
《最终规则》没有回答哪些雇主受AEDT法保护的问题。AEDT法明确规定，它适用于位于纽约市的公司，这些公司雇用或提升城市居民，以获得在纽约市使用有覆盖的AEDT的工作。但是，《AEDT法》并没有明确规定，当位于纽约市以外的公司雇用纽约市居民时是否适用，或者当总部设在纽约市的公司雇用来自纽约市以外的申请人时是否适用。值得注意的是，雇主只有义务通知员工或候选人居住在城市。这将表明雇主根据潜在申请人的居住地承担不同的义务，但最终规则并不能帮助解决这些含糊不清的问题。
下一个步骤。如上所述，该法律的执行将在三个月内开始(2023年7月5日)。最终规则解决了评议期间提出的许多问题，但也增加了雇主的合规负担。如果雇主在招聘过程中使用AEDT，则很可能会违反法律，雇主必须确保遵守所有通知要求。
订阅数据博客，请点击这里。
的Debevoise人工智能监管跟踪器(“DART”)现在可以帮助客户快速评估并遵守其当前和预期的人工智能相关法律义务，包括市、州、联邦和国际要求。
这篇博文的封面是由DALL-E制作的。
