法律实际要求
纽约市地方法第144号于2023年7月生效。它适用于任何使用自动化就业决策工具在纽约市筛选候选人的雇主，包括与纽约市办公室相关的远程职位。该法律要求由独立审计师进行年度偏见审计（供应商不能审计自己的工具）、在雇主的网站上公开审计结果、通知候选人使用了AI，以及为请求者提供替代流程。消费者和工人保护局负责执行，违反每项规定每天将处以500到1500美元的民事罚款。
欧盟人工智能法案于2024年最终确定，将就业AI划分为附录III下的“高风险”。高风险系统必须符合技术文档标准，能够实现有意义的人类监督，达到准确性和稳健性基准，并在部署前通知工人代表。附录III系统的全部义务将于2026年8月2日起生效。
这两项法律有一个核心要求：AI的决策必须可解释且可审计。您需要能够说明，针对任何特定候选人，为什么AI以那种方式评分。这是大多数传统ATS平台无法满足的标准。
为什么传统ATS不断未能通过可解释性测试
大多数传统ATS平台——Greenhouse、Lever、Workable、Ashby、Manatal——在底层使用某种形式的基于关键词的匹配。布尔令牌提取、TF-IDF评分、基于嵌入的语义相似性。这些方法计算上简单，但用简单英语审计起来很困难。
如果您的ATS告诉您候选人A得分82，候选人B得分47，任何系统都无法用人类语言告诉您原因。推理存在于浮动点向量和加权关键词匹配中。当候选人问“我为什么被筛选掉”时，没有可以辩护的答案。当审计员问“给我展示这个受保护类别的决策逻辑”时，您只能进行统计抽样。
三个结构性缺陷使传统ATS审计脆弱：
- 黑箱得分。一个没有叙述的数字不是解释。候选人无法质疑它；审计员无法验证它。
- 词汇漂移偏见。关键词匹配系统地惩罚那些简历使用与职位描述不同词汇的候选人——这与非传统背景和代表性不足的群体有关。
- 每项决策没有审计记录。大多数系统记录生成了一个得分，而不是推动它的证据。这种差距是合规问题的核心。
我们在亚马逊关于可解释排名的发现
在2024年创立CurriculoATS之前，我们的创始人Dev在亚马逊构建搜索和推荐的排名系统——简历筛选的同一问题类别。塑造我们构建CurriculoATS的教训来自于亚马逊推荐团队数年前追求的研究方向，当时“可解释AI”还没有成为流行语：一个无法告诉您为什么以某种方式排名的排名器最终会做出错误的排名，您也不会注意到。
解决方案是结构性的，而不是表面的。每个得分都必须配有一段人类可以在几秒钟内阅读并验证其依据的推理段落。对于招聘而言，该段落命名了模型看到的量化成就、其权衡的经验相关信号、识别的职业轨迹模式和发现的技能匹配证据。它还说明了缺失的东西。招聘经理在我们影响评分视图中阅读该段落后，可以在10秒内推翻错误决策。审计员在审查人群时可以验证每个决策是基于合法的、与工作相关的信号做出的——而不是基于受保护属性的代理。这就是纽约市地方法第144号和欧盟人工智能法案附录III所实际要求的架构。大多数传统ATS平台将AI附加到关键词管道上。我们将可解释性构建在评分本身之内。
实际纽约市地方法第144号审计的费用和内容
创始人在意识到需要进行偏见审计时会问两个问题：费用是多少，以及审计员实际上查看什么。纽约市的AEDTs独立偏见审计通常为5000到25000美元，具体取决于工具的复杂性、候选人数据集的大小，以及审计员是否需要从传统ATS中获取自定义日志。
审计检查受保护类别（种族、民族、性别）在每个受AEDT影响的决策阶段的选择率：初步筛选、评分、晋升面试。审计员计算影响比率，并标记任何选择率低于最高得分组80%的群体——这是自1978年以来EEOC对就业决策适用的标准“四分之五规则”。
审计报告成为雇主必须在其网站上发布的公共文件，候选人在使用任何AEDT之前会收到通知。未通过的审计不会自动触发处罚，但会迫使雇主要么修复差别影响，要么停止使用该工具。我们审查的绝大多数2024-2025年发布的审计报告发现影响比率在法律可接受范围内，但有一个有意义的子集显示出技术角色筛选中的性别差异，供应商未能在内部质量保证中发现。
结构性解决方案与可解释性要求的相同：每个决策的日志记录使审计员能够抽样人群并追踪对特定评分输入的影响。只生成汇总得分而没有每个决策推理的工具通常无法完成分析，而这本身就是一种失败模式。
创始人本季度应该做的事情
如果您在纽约市招聘候选人或计划在2026年8月之后招聘欧盟候选人，请将合规性视为90天项目，而不是年度审查项目。五个具体步骤：
- 盘点您的AI表面。列出每个生成候选人得分、排名或推荐的工具：ATS、招聘工具、评估平台、AI面试官。所有这些都在范围内。
- 验证可解释性。对每个工具，询问供应商：您能否按需生成关于特定候选人为何以特定方式得分的可读人类解释？“这是算法中的内容”不是答案。
- 安排偏见审计。如果您在纽约市使用AEDTs，该法律要求由独立审计员进行年度审计。审计费用通常为5000到25000美元，具体取决于工具复杂性和数据集大小。将其列入预算。
- 添加候选人通知和替代流程。通知可以是您申请页面上的一句话：“该职位使用自动化工具协助初步审核。”替代流程是候选人可以用来请求人工审核的联系电子邮件。
- 记录人机协作。这两项法律期望有意义的人类监督，而不是走过场。记录每位招聘经理接受或推翻每个AI推荐的时刻。CurriculoATS默认记录这一点；对于传统ATS，您可能需要添加这一功能。