HyperAIHyperAI

Command Palette

Search for a command to run...

CURE:ロバストな埋め込みのための制御された忘却――事前学習された言語モデルにおける概念的ショートカットの軽減

Aysenur Kocak Shuo Yang Bardh Prenkaj Gjergji Kasneci

概要

事前学習された言語モデルは、多様な応用分野で顕著な成果を上げているが、依然として不適切な概念駆動型相関に脆弱であり、モデルの堅牢性と公平性に悪影響を及ぼしている。本研究では、概念的な便宜的手がかり(conceptual shortcuts)を体系的に分離・抑制しつつ、重要なコンテンツ情報を保持する新しい軽量フレームワーク「CURE」を提案する。本手法は、タスクに必要な情報の損失を最小限に抑えるために、逆転ネットワーク(reversal network)によって強化された専用のコンテンツ抽出器を用いて、概念に依存しない表現を抽出する。その後、制御可能なバイアス除去モジュールが対照学習(contrastive learning)を用いて、残存する概念的ヒントの影響を微調整し、タスクの目的に応じて有害なバイアスを軽減するか、有益な相関を活用するかを柔軟に制御できる。IMDBおよびYelpのデータセットにおいて、3種類の事前学習アーキテクチャを用いて評価した結果、CUREはIMDBでF1スコアにおいて+10ポイント、Yelpでは+2ポイントの絶対的な向上を達成した一方で、計算負荷の増加は最小限に抑えた。本手法は、概念的バイアスに対抗する柔軟かつ非教師ありの基盤を確立し、より信頼性が高く公正な言語理解システムの実現に向けた道筋を示している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
CURE:ロバストな埋め込みのための制御された忘却――事前学習された言語モデルにおける概念的ショートカットの軽減 | 記事 | HyperAI超神経