ハギングフェース政策長がAI評価者の組み込みは容易でないと指摘

ハギングフェイスのイレーン・ソライマン政策責任者は、先月のテッククランチ・ディスラプトで、人工知能評価の信頼性を維持するには再現実性と比較可能性の底上げが不可欠だと述べた。企業は製品比較の土台にベンチマークを置くが、手法は複雑で成熟途上にある。 同氏は、結果を信用できるかの核心は再現可能性にあり、モデルへのアクセスが鍵になると指摘。オープンウェイトの進展は重要だと語った。 評価の標準化も課題だ。異なるテストを意味のある形で比べる枠組みは整わず、評価の陳腐化も早い。有効な評価者を選ぶ基準や、担当範囲の設計も不足している。 安全性の懸念から、開発企業に第三者評価者を内部に置く構想も注目される。政府規制に代わる自主的な検証という位置付けだが、有効性や中立性への疑問は残る。アクセンチュアが最初の評価者になった例では、適格性を問う声が出た。 評価対象もモデル単体から全体へ拡大している。実行環境やツール、自律エージェントが成果を大きく左右するため、同じ性能でも実用上の差が生まれる。同氏は、エージェント型評価は難しく費用も高いとし、モデル以外を含む包括的な検証を急ぐ必要があると述べた。 結果として、現在の評価体系は分断されており、業界全体で統一された基準と方法論を築けなければ、評価そのものの信頼は保たれないと示唆した。