大規模言語モデル（LLM）は、コンテンツの生成にとどまらず、評価の分野でも広く活用されている。 essaysの採点、SNS投稿のモデレーション、レポートの要約、求人応募書類のスクリーニングなど、多岐にわたる業務でAIが人間の代わりに判断を下す事例が増加している。 しかし、米国カリフォルニア大学の研究チームが実施した実験で、LLMの「中立性」に疑問が呈された。同研究では、同一の文章を、著者名が明示された状態と匿名状態でAIに評価させた。その結果、AIは著者名が分かっている場合、特定の性別や人種、学歴、所属機関に基づいて評価を変えることが明らかになった。 たとえば、女性の著者による論文は、男性の著者と同じ内容でも「やや低い品質」と評価される傾向が見られた。また、有名大学出身者とそうでない人の文章に対しては、評価の差が顕著に現れた。このように、AIは「中立的」と見なされるが、訓練データに含まれる社会的バイアスを無意識に反映しており、実際には偏見を持つ可能性がある。 研究チームは、「AIが評価を行う際、情報源が明らかになると判断が変化する」と指摘。これは、AIが人間の偏見を再現している証拠であり、特に人材採用や教育、メディアなど、公平性が求められる分野での利用には深刻なリスクを伴うと警告している。 この結果から、AIによる評価の導入には、バイアスの検証と透明性の確保が不可欠である。開発者や運用者は、評価プロセスに「匿名性」を設計し、AIの判断根拠を追跡可能な仕組みを導入すべきだと提言している。