HackerRankがGitHub上で公開したオープンソースのATS「hiring-agent」において、採用選考における採点の再現性への懸念が浮上している。同ツールは履歴書からAIが情報を抽出し100点満点で評価するが、実証テストでは同一履歴書に対し66点から99点まで大きく変動する現象が確認された。ベースラインモデルにgemma3:4b（温度係数0.1）を使用しているにもかかわらず、設定変更によっても安定した得点は得られなかった。 評価項目別の分析では、技術スキルはチェックリスト式ゆえ高い再現性を示す一方、プロジェクトや業務経験は温度係数を下げても乱高下した。この非決定性はパラメータ調整では解決できず、LLMの主観的判断が安定して業務判断に適用できない根本課題を浮き彫りにしている。また、評価基準がオープンソース貢献やGitHubに過度に依存しており、実務経験やインフラ構築能力といった採用の核心を見誤るバイアスが強いと指摘される。 技術コミュニティからは、企業側がAI採点ツールを導入する際の慎重さを求める声が広がっている。構造化データ抽出や基礎技能確認には適しているものの、経験の深みやプロジェクトの複雑性を定量的に評価することは依然として困難である。採用プロセスにAIを活用する企業は、スコアリングの不確実性を認識し、人間の最終審査を必須とする運用設計が不可欠である。