Ce que les lois exigent réellement
La NYC Local Law 144 est entrée en vigueur en juillet 2023. Elle s'applique à tout employeur utilisant des outils automatisés de décision en matière d'emploi pour sélectionner des candidats à des postes à New York, y compris les postes à distance rattachés à un bureau new-yorkais. La loi exige un audit de biais annuel réalisé par un auditeur indépendant (les fournisseurs ne peuvent pas auditer leurs propres outils), la divulgation publique des résultats d'audit sur le site web de l'employeur, la notification aux candidats de l'utilisation de l'IA, et un processus alternatif pour les candidats qui en font la demande. Le Department of Consumer and Worker Protection est chargé de son application, avec des sanctions civiles de $500–$1,500 par infraction et par jour.
Le EU AI Act, finalisé en 2024, classe l'IA utilisée dans le domaine de l'emploi comme « à haut risque » en vertu de l'Annexe III. Les systèmes à haut risque doivent respecter des normes de documentation technique, permettre une supervision humaine significative, atteindre des seuils de précision et de robustesse, et informer les représentants des travailleurs avant leur déploiement. L'ensemble des obligations applicables aux systèmes de l'Annexe III devront être respectées à partir du 2 août 2026.
Ces deux lois partagent une exigence fondamentale : la décision de l'IA doit être explicable et auditable. Vous devez pouvoir expliquer, pour chaque candidat spécifique, pourquoi l'IA lui a attribué un score donné. C'est le standard que la plupart des ATS traditionnels ne parviennent pas à respecter.
Pourquoi les ATS traditionnels échouent au test de l'explicabilité
La plupart des ATS traditionnels — Greenhouse, Lever, Workable, Ashby, Manatal — utilisent sous le capot une forme de correspondance par mots-clés. Extraction de tokens booléens, scoring TF-IDF, similarité sémantique basée sur des embeddings. Ces méthodes sont simples sur le plan informatique. Elles sont également difficiles à auditer dans un langage clair.
Si votre ATS vous indique que le candidat A a obtenu un score de 82 et le candidat B un score de 47, aucun des systèmes ne peut vous dire dans un langage compréhensible pourquoi. Le raisonnement réside dans des vecteurs à virgule flottante et des correspondances de mots-clés pondérés. Quand un candidat demande « pourquoi ai-je été éliminé ? », il n'y a pas de réponse défendable. Quand un auditeur demande « montrez-moi la logique de décision pour cette catégorie protégée », vous ne pouvez fournir qu'un échantillonnage statistique.
Trois défaillances structurelles rendent les ATS traditionnels vulnérables lors des audits :
- Scores en boîte noire. Un chiffre sans explication n'est pas une justification. Le candidat ne peut pas le contester ; l'auditeur ne peut pas le valider.
- Biais de dérive du vocabulaire. La correspondance par mots-clés pénalise systématiquement les candidats dont les CV utilisent un vocabulaire différent de celui de l'offre d'emploi — ce qui corrèle avec les parcours non traditionnels et les groupes sous-représentés.
- Aucune traçabilité par décision. La plupart des systèmes enregistrent qu'un score a été produit, mais pas les éléments de preuve qui l'ont motivé. Cette lacune est au cœur du problème de conformité.
Ce que nous avons appris chez Amazon sur le classement explicable
Avant de fonder CurriculoATS en 2024, notre fondateur Dev a conçu des systèmes de classement chez Amazon pour la recherche et les recommandations — la même catégorie de problèmes que la sélection de CV. La leçon qui a guidé la construction de CurriculoATS vient d'une voie de recherche que les équipes de recommandation d'Amazon ont explorée des années avant que l'« IA explicable » ne devienne un mot à la mode : un classeur qui ne peut pas vous dire pourquoi il a classé une chose d'une certain manière finira par mal classer, et vous ne vous en rendrez pas compte.
La solution est structurelle, pas cosmétique. Chaque score doit être associé à un paragraphe explicatif qu'un humain peut lire en quelques secondes et vérifier par rapport aux preuves sous-jacentes. Pour le recrutement, ce paragraphe identifie les réalisations quantifiées que le modèle a repérées, les signaux de pertinence de l'expérience qu'il a pondérés, le schéma de trajectoire de carrière qu'il a identifié, et les preuves de correspondance des compétences qu'il a trouvées. Il indique aussi ce qui manquait. Un responsable du recrutement lisant le paragraphe dans notre vue Impact Scoring peut corriger une mauvaise décision en 10 secondes. Un auditeur examinant une population peut vérifier que chaque décision a été prise sur la base de signaux légitimes et liés au poste — et non sur des proxies d'attributs protégés. C'est l'architecture que la NYC Local Law 144 et l'Annexe III du EU AI Act exigent en réalité. La plupart des ATS traditionnels ont greffé l'IA sur des pipelines de mots-clés. Nous avons intégré l'explicabilité dans le scoring lui-même.
Coût et contenu d'un véritable audit NYC Local Law 144
Les fondateurs posent deux questions quand ils réalisent qu'ils ont besoin d'un audit de biais : combien ça coûte, et qu'est-ce que l'auditeur examine concrètement. Les audits de biais indépendants pour les AEDT à New York coûtent généralement entre $5,000 et $25,000 selon la complexité de l'outil, la taille du jeu de données des candidats, et si l'auditeur doit ingérer des journaux personnalisés d'un ATS traditionnel.
L'audit examine les taux de sélection across les catégories protégées (race, origine ethnique, genre) à chaque étape où l'AEDT a influencé une décision : présélection, scoring, avancement à l'entretien. L'auditeur calcule les ratios d'impact et signale tout groupe dont le taux de sélection est inférieur à 80 % de celui du groupe ayant le score le plus élevé — la fameuse règle des « quatre cinquièmes » que l'EEOC applique aux décisions en matière d'emploi depuis 1978.
Le rapport d'audit devient un document public que l'employeur doit publier sur son site web, avec une notification aux candidats avant toute utilisation d'un AEDT. Les audits non concluants ne déclenchent pas automatiquement de sanctions, mais obligent l'employeur soit à corriger l'impact disparate, soit à cesser d'utiliser l'outil. La plupart des audits publiés en 2024-2025 que nous avons examinés ont révélé des ratios d'impact dans des limites légalement acceptables, mais un sous-ensemble significatif a montré des disparités liées au genre dans la sélection pour des postes techniques que les fournisseurs n'avaient pas détectées lors de leur contrôle qualité interne.
La solution structurelle est la même que celle qu'exige l'explicabilité : un journalisation par décision qui permet à l'auditeur d'échantillonner des populations et de remonter l'impact jusqu'à des entrées de scoring spécifiques. Les outils qui ne produisent que des scores agrégés sans raisonnement par décision ne parviennent souvent pas à compléter l'analyse du tout, ce qui constitue en soi un mode de défaillance.
Ce que les fondateurs devraient faire ce trimestre
Si vous recrutez des candidats à New York ou prévoyez de recruter des candidats dans l'UE après août 2026, traitez la conformité comme un projet de 90 jours, et non comme un point à revisiter annuellement. Cinq étapes concrètes :
- Inventoriez votre exposition à l'IA. Listez chaque outil qui produit un score, un classement ou une recommandation de candidats : ATS, outils de sourcing, plateformes d'évaluation, intervieweurs IA. Tous sont concernés.
- Vérifiez l'explicabilité. Pour chaque outil, demandez au fournisseur : pouvez-vous produire, à la demande, une explication lisible par un humain de la raison pour laquelle un candidat spécifique a reçu un score spécifique ? « C'est dans l'algorithme » n'est pas une réponse.
- Planifiez l'audit de biais. Si vous utilisez des AEDT à New York, la loi exige un audit annuel par un auditeur indépendant. Le coût de l'audit se situe généralement entre $5,000 et $25,000 selon la complexité de l'outil et la taille du jeu de données. Prévoyez-le dans votre budget.
- Ajoutez la notification aux candidats et un processus alternatif. La notification peut tenir en une seule phrase sur votre page de candidature : « Ce poste utilise des outils automatisés pour faciliter l'examen initial. » Le processus alternatif est une adresse e-mail de contact que les candidats peuvent utiliser pour demander un examen purement humain.
- Documentez la présence de l'humain dans la boucle. Les deux lois exigent une supervision humaine significative, pas une simple validation automatique. Consignez le moment où un responsable du recrutement accepte ou remplace chaque recommandation de l'IA. CurriculoATS enregistre cela par défaut ; pour les ATS traditionnels, vous devrez peut-être l'ajouter de force.