ほぼすべての応募者追跡システムがAI機能を搭載していると主張していますが、実際にはエンジニアにとって重要な意味でのAIを持っているものはほとんどありません。それらはルールベースの自動化、キーワード抽出、そして時折の文埋め込みモデルを2014年のコードベースの上に重ねているだけです。マーケティングページではAIと謳っていますが、カーテンの向こうにあるモデルは、10年間変わらない正規表現です。
これは、リクルートメントにおけるAIの誇大広告と現実のギャップを示しています。これは、実際に購入するシステムによって採用結果が完全に異なるため、重要です。
リクルートメントにおける本物のAIの姿
リクルートメントにおける本物のAIとは、履歴書を読み取り、測定可能な成果（生成された収益、管理したチーム、出荷したシステム、解決した問題）を抽出し、役職に対する関連性に応じて候補者をランク付けするモデルを意味します。このモデルはスコアを生成し、人間が読んで反論できる理由説明段落を作成します。単にトークンを数えるのではなく、ベクトルの距離を計算するのでもなく、シニアエンジニアやオペレーターのように、候補者が実際に何をしたのかを解釈します。2023年と2024年にまとめられたマッキンゼーのタレントプラクティスに関する研究によれば、スキルベースの採用の採用率は2020年の40％から2024年には約60％に上昇しました。これは、成果を読み取るモデルがサポートするために構築されているものです。誇大広告AIはスキルに関する概念を持たないため、キーワードの存在のみでスキルベースの採用をうまく行うことはできません。本物のAIはそれができるのです。
最も簡単なテストは、ベンダーにスコアの背後にある理由説明段落を求めることです。これを提示できない場合、そのスコアはブラックボックスであり、AIはマーケティングです。
誇大広告AI: 繰り返し現れるパターン
この市場のほとんどのATSデモを見た結果、同じ少数のパターンがAIとして販売されていますが、実際には別のものであることがわかります。
- 意味マッチを装ったキーワード頻度。 モデルは、PythonとAWSがどれだけ頻繁に出現するかをカウントし、その結果をマッチスコアと呼びます。ストップワードフィルタリングと同義語辞典を追加すると、それは「自然言語処理」と呼ばれます。候補者の体験は変わりません: 履歴書にキーワードを詰め込みさえすれば、勝てます。
- 薄いラッパーとしての文埋め込み。 より洗練されたバージョンは、事前学習された文埋め込みを使用して、履歴書とジョブディスクリプション間のコサイン類似度を計算します。これは同義語をキャッチしますが、テキスト対テキストのマッチングに過ぎません。ジョブディスクリプションを履歴書の要約にコピーペーストした候補者は、実際の経験がゼロでも高得点を得ます。
- チャットボット面接官。 スクリプト化されたフォームで、LLMフロントエンドを使用しています。スケジュール設定やトリアージに有用ですが、知能のスクリーニングとは言えません。
- AI生成の要約。 モデルは履歴書を箇条書きに要約しますが、これは生産性機能であり、ランク付けの決定ではありません。基礎にあるランカーは依然としてキーワードベースです。
これらのどれも詐欺ではありません。単に寛大なラベル付けです。また、候補者がATSを安定的にうまく操作するように学ぶ理由でもあります。Jobscanは、実際の履歴書におけるキーワードの過剰使用の普及を文書化しており、このパターンが機能するのは、スクリーニングシステムがそれを報いるからです。
なぜ誇大広告はこれほど耐久性があるのか
リクルートメントソフトウェアにおけるAIマーケティングとAI現実のギャップを広く保つ三つの力が存在し、それを無視するために名付ける価値があります。
第一に、バイヤーは通常、技術的な評価者ではないことです。調達部門は人事であり、デモはタレントヘッドの前に行われ、「実際のモデルアーキテクチャは何か？」という質問はめったにされません。ベンダーは、デモがクリーンに見える限り、2018年に出荷したのと同じ正規表現をAIとして出荷できることを学びます。マーケティングには罰則がありません。
第二に、従来のATSはプラットフォーム事業です。Greenhouse、Lever、Workableは、ワークフローから利益を得ており、スクリーニングの正確性ではありません。実際のランク付けAIを追加することは、調達比較シートに見やすく現れない機能のために高額なエンジニアリング費用がかかります。そのため、彼らは安価なバージョンを出荷します。
第三に、採用はジョブディスクリプションの質、ソーシングチャネル、市場状況、チームブランドなど多くの他の要素の下流にあるため、悪いスクリーニングはノイズの中に隠れます。年間12人の良質なエンジニアを採用するチームは、そのプロセスを称賛します。同じチームは、Googleシートを使っても同じ12人を採用していたでしょう。なぜなら、スクリーニングはチームが思っているように機能していなかったからです。本物のAIスクリーニングは、創業者が実際の効果とノイズを区別するのに役立つ方法でテスト可能です: モデルの上位10人を自社の上位10人と比較し、重なるかどうかを確認できます。誇大広告AIは、ほぼ毎回このテストに失敗します。
Amazoの推薦システムから採用に関する教訓
CurriculoATSの前、私たちの創業者であるDevは、Amazonで検索と推薦システムに取り組んで数年間を過ごしました。その仕事から得た教訓は、採用AIにも直接適用されます: 出荷する価値のあるモデルは、上位Kの結果が良好なものであることです。他のすべては演劇に過ぎません。
Amazonのレコメンダーは、平均精度でわずかに良好な結果を出すモデルを出荷しませんが、位置1に間違った項目をランク付けします。位置1は、ユーザーがクリックするかどうかを決定します。履歴書のランク付けでも同じことが言えます。リクルーターは上位10または15を見ます。モデルの上位10が間違っている場合、そのシステムの残りは助けになりません。
これが、CurriculoATSが、多信号評価、量的成果、経験の関連性、キャリアの軌跡、スキルと整合性を基にして構築されている理由です。これにより、0-100のコンポジットスコアと、完全な理由説明段落が生成されます。この段落は、ブラックボックスランカーを創業者が本当に信頼できるものに変える部分です。あなたはそれを読み、異議を唱え、上書きすることができます。これは、意思決定支援としてのAIと意思決定代替としてのAIの違いであり、モデルアーキテクチャの詳細以上に重要です。完全な内訳については、インパクトスコアリングページを参照してください。
バイヤーの質問がベンダーのマーケティングよりも重要な理由
創業者がデモでAIについてどのように質問するかは、彼らが実際のランクインテリジェンスを持つか、マーケティングを装ったものを持つかを決定します。調達コンペで勝つベンダーは、必ずしも最高のモデルを持つベンダーではありません。彼らは、デモが同じくバイヤーが実際に尋ねる質問に答えるベンダーです。ほとんどのバイヤーは間違った質問をします。「AIは搭載されていますか？」は間違った質問です。なぜなら、すべてのベンダーがはいと答えるからです。「AIのスコアは何ですか？」はより良い質問です。これはベンダーにモデルの入力について説明させます。「トップランク候補者の背後にある理由を示してください」は正しい質問です。なぜなら、ベンダーに出力を提示させるからです。実際のランクインテリジェンスを持つベンダーは、これを90秒で見せることができます。誇大広告AIを持つベンダーはできません。これが、すべてのATSデモにおけるシグナルの中で最も重要な瞬間であり、ほとんどの創業者はこれをスキップします。なぜなら、デモの流れが彼らをワークフローフィーチャーに引き留めるようになっているからです。私たちは、創業者がパイプラインボードやオファーレターのテンプレートの40分間のウォークスルーを座っているのを見た後、特定の候補者のためにモデルに段落を生成するように求めることなく年間契約にサインするのを見てきました。調達のギャップは、AIの知識ではなく、デモを中断する意欲です。最初の10分間で理由説明段落を要求する創業者は、1つのベンチマークを読むことなく従来のATS市場の70%をフィルタリングします。
創業者がAI採用ベンダーを1つのデモで評価する方法
調達フレームワークは必要ありません。3つの質問が必要です。
- トップランク候補者の背後にある理由を示してください。 答えが説明なしの数字であれば、そのモデルはキーワードベースです。次に進んでください。
- 私が加入する前に、私の最後の採用の履歴書をシステムに通してください。 モデルが彼らを上位10にランク付けした場合、そのシステムにはシグナルがあります。拒否される場合、そのモデルは壊れています。
- 私が3つではなく10の役割を持っている場合、これはどれくらいの費用がかかりますか？ 一人当たりの価格設定は成長中のチームを罰します。定額料金は雇用量に応じてスケーリングされ、これがスタートアップの実際の関心事です。
それがデモ全体です。30分で十分です。
次に何をすべきか
あなたの机の上にATSのショートリストがあり、AIが本物かどうかわからない場合は、各ATSで3つの質問デモを実行してください。その後、創業者向けのAI ATSページと比較ページを読んで、主要なベンダーが成果ベースのモデルとどのように比較されるかを確認してください。CurriculoATSのスターターティアは、1つのアクティブジョブに対して無料で、契約に不安なく現在運営している役割のランカーをテストできます。
Amazonでの元機械学習エンジニア（検索および推薦）およびSynopsysのエンジニアが、キーワードマッチングを採用における成果ベースのAI評価に置き換えるためにCurriculoATSを構築しました。ペン州立大学の卒業生。採用AI、ATS経済、および実際の業務パフォーマンスを予測するものについて書いています。