What the laws actually require
NYC Local Law 144는 2023년 7월 발효되었습니다. 이는 NYC의 일자리 후보자를 선별하기 위해 자동화된 고용 결정 도구를 사용하는 모든 고용주에게 적용되며, NYC 사무소와 연관된 원격 작업도 포함됩니다. 이 법은 독립 감사인에 의한 연간 편향 감사를 요구하며(공급자는 자체 도구를 감사할 수 없음), 감사 결과를 고용주의 웹사이트에 공개하고, AI 사용에 대한 후보자에게 통지하며, 요청한 후보자를 위한 대체 절차를 요구합니다. 소비자 및 노동자 보호부가 이를 시행하며, 위반당 하루에 $500에서 $1,500의 민사 벌금이 부과됩니다.
The EU AI Act는 2024년에 최종화되었으며, 고용 AI를 부록 III에 따라 "고위험"으로 분류합니다. 고위험 시스템은 기술 문서 기준을 충족해야 하고 의미 있는 인간 감독을 가능하게 하며, 정확성 및 강건성 기준을 달성해야 하고 배포 전에 근로자 대표에게 알림을 해 주어야 합니다. 부록 III 시스템의 모든 의무는 2026년 8월 2일부터 시행됩니다.
두 법 모두 한 가지 핵심 요건을 공유합니다: AI의 결정은 설명 가능하고 감사 가능해야 합니다. 특정 후보자에 대해 AI가 그들을 어떤 방식으로 평가했는지 이유를 설명할 수 있어야 합니다. 이는 대부분의 기존 ATS 플랫폼이 충족할 수 없는 기준입니다.
Why legacy ATS keeps failing the explainability test
대부분의 기존 ATS 플랫폼들은 — Greenhouse, Lever, Workable, Ashby, Manatal — 내부에서 일종의 키워드 기반 일치 방법을 사용합니다. 부울 토큰 추출, TF-IDF 점수, 임베딩 기반 의미 유사성. 이러한 방법은 계산적으로 간단합니다. 그러나 일반 영어로 감사하기 어렵습니다.
귀하의 ATS가 후보자 A의 점수가 82이고 후보자 B의 점수가 47이라고 말하더라도, 어느 시스템도 사람의 언어로 이유를 설명할 수 없습니다. 그 이유는 부동 소수점 벡터와 가중치 키워드 일치에 존재합니다. 후보자가 "왜 제가 탈락했나요"라고 질문할 때, 방어 가능한 답변이 없습니다. 감사인이 "보호된 계층에 대한 결정 논리를 보여줘"라고 요청하면, 통계적으로 샘플링할 수밖에 없습니다.
세 가지 구조적 실패가 기존 ATS를 감사 취약하게 만듭니다:
- 블랙박스 점수. 서사가 없는 숫자는 설명이 아닙니다. 후보자는 이의를 제기할 수 없고, 감사인은 이를 검증할 수 없습니다.
- 어휘 변화 편향. 키워드 일치는 JD와 다른 어휘를 사용하는 후보자에게 체계적으로 페널티를 부과합니다 — 이는 비전통적인 배경과 대표성이 부족한 그룹과 연관됩니다.
- 결정별 감사 추적 없음. 대부분의 시스템은 점수가 생성되었다고 기록하지만, 이를 유도한 증거는 나열하지 않습니다. 그 간극이 준수 문제의 심장입니다.
What we learned at Amazon about explainable ranking
CurriculoATS를 2024년에 설립하기 전에, 우리의 창립자 Dev는 아마존에서 검색 및 추천의 순위 시스템을 구축했습니다 — 이와 같은 문제 클래스가 이력서 선별이었습니다. CurriculoATS를 구축하는 방식에 영향을 미친 교훈은 아마존의 추천 팀이 "설명 가능한 AI"가 유행 단어가 되기 전에 추구한 연구 방향에서 나왔습니다: 이유를 설명할 수 없는 순위 결정기는 결국 잘못된 순위를 매길 것이며, 이를 잡아내지 못할 것입니다.
해결책은 구조적이며 외관 상의 것이 아닙니다. 각 점수는 사람이 몇 초 안에 읽고 기본 증거와 비교할 수 있는 이유 단락과 쌍을 이루어야 합니다. 채용의 경우, 해당 단락은 모델이 확인한 정량화된 성과, 평가한 경험 관련 신호, 식별한 경력 궤적 패턴 및 발견한 기술 정렬 증거를 언급합니다. 또한 무엇이 누락되었는지에 대해서도 설명합니다. 우리의 임팩트 스코어링 보기에서 단락을 읽는 채용 관리자는 10초 만에 잘못된 결정을 덮어쓸 수 있습니다. 모집 인력을 검토하는 감사인은 각 결정이 보호된 속성의 대리인이 아닌 정당하고 직무 관련 신호에 기초하여 이루어졌음을 확인할 수 있습니다. 이는 NYC Local Law 144와 EU AI Act Annex III가 실제로 요구하는 아키텍처입니다. 대부분의 기존 ATS 플랫폼은 키워드 파이프라인 위에 AI를 덧붙였습니다. 우리는 점수 자체에 설명 가능성을 내재화했습니다.
What an actual NYC Local Law 144 audit costs and contains
창립자들은 편향 감사가 필요하다는 것을 깨달을 때 두 가지 질문을 합니다: 비용은 얼마인지, 감사인이 실제로 무엇을 살펴보는지. NYC의 AEDT에 대한 독립 편향 감사는 일반적으로 도구의 복잡성, 후보자 데이터 세트의 크기, 감사인이 기존 ATS의 맞춤형 로그를 수집해야 하는지에 따라 $5,000-$25,000입니다.
감사는 AEDT가 결정을 영향을 주었던 모든 단계에서 보호된 범주(인종, 민족, 성별) 간의 선택 비율을 검사합니다: 초기 선별, 점수 산정, 면접 진행. 감사인은 영향 비율을 계산하고 선택 비율이 가장 높은 점수군의 80% 미만인 그룹을 플래그합니다 — 이는 1978년부터 EEOC가 고용 결정에 적용해온 표준 "사분의 삼 법칙"입니다.
감사 보고서는 고용주가 웹사이트에 게시해야 하는 공개 문서가 되며, 후보자에게는 AEDT가 사용되기 전에 통지가 제공됩니다. 감사에 실패해도 자동으로 처벌이 부과되지는 않지만, 고용주는 불균형 영향을 시정하거나 도구 사용을 중단해야 할 의무가 있습니다. 우리가 검토한 2024-2025년의 대부분의 공개 감사에서는 법적으로 허용되는 범위 내에서 영향 비율을 발견했지만, 유의미한 일부에서는 공급자가 내부 품질 보증에서 발견하지 못한 기술 역할 선별에서 성별 기반 불균형이 나타났습니다.
구조적 수리는 설명 가능성 요구 사항과 동일합니다: 특정 점수 입력을 추적하여 감사인이 인구를 샘플링하고 영향을 추적할 수 있는 결정별 로그 기록입니다. 결정별 이유 없이 집계된 점수만 생성하는 도구는 분석을 완료할 수 없는 경우가 많으며, 이는 자체적으로 실패 모드입니다.
What founders should do this quarter
귀하가 NYC 후보자를 채용하거나 2026년 8월 이후 EU 후보자를 채용할 것으로 예상되는 경우, 준수를 90일 프로젝트로 간주하고 연간 검토 항목이 아닙니다. 다섯 가지 구체적인 단계:
- AI 표면 점검. 후보자 점수, 순위 또는 추천을 생성하는 모든 도구를 나열합니다: ATS, 소싱 도구, 평가 플랫폼, AI 면접관. 이 모든 것이 범위에 포함됩니다.
- 설명 가능성 검증. 각 도구에 대해 공급자에게 문의합니다: 특정 후보자가 특정 방식으로 점수를 받은 이유에 대한 사람이 읽을 수 있는 설명을 즉시 제공할 수 있나요? "알고리즘에 있습니다"는 답변이 아닙니다.
- 편향 감사 일정 잡기. NYC에서 AEDT를 사용하는 경우, 법은 독립 감사인에 의한 연간 감사를 요구합니다. 감사 비용은 도구의 복잡성과 데이터 세트 크기에 따라 일반적으로 $5,000-$25,000입니다. 예산을 세우십시오.
- 후보자 통지 및 대체 프로세스 추가. 통지는 지원 페이지에 단 한 문장으로 둘 수 있습니다: "이 역할은 초기 검토를 지원하기 위해 자동화된 도구를 사용합니다." 대체 프로세스는 후보자가 인간만의 검토를 요청할 수 있는 연락 이메일입니다.
- 인간 참여 문서화. 두 법 모두 의미 있는 인간 감독을 기대하며, 이를 무조건 승인하는 것이 아닙니다. 각 AI 추천을 채용 관리자가 수락하거나 무효화하는 순간을 기록하십시오. CurriculoATS는 기본적으로 이를 기록합니다; 기존 ATS의 경우, 이를 추가해야 할 수 있습니다.