ginigen-aiが公開したMetacognition-Benchは、大規模言語モデルのメタ認知能力を評価するためのベンチマークデータセットです。最終的な回答の正確さを評価するだけでなく、モデルが自身の推論エラーを検出して修正する機能的なメタ認知能力を測定することを目的としています。関連する研究論文には、以下のようなものがあります。 最終ベンチ：大規模言語モデルにおける機能的メタ認知推論の測定 。 このデータセットには、数学、物理学、生物学、法律、医学、経済学、統計学、倫理学、コンピュータサイエンスなど121分野を網羅する300のメタ認知トラップ問題が含まれています。難易度はA（最先端）、B（エキスパート）、C（コア）の3段階に分かれており、自己修正、トラップ回避、遷移検出、競合解決、漸進的発見、多重制約処理、エキスパートパネル、不確実性意思決定の8種類のメタ認知行動を網羅しています。各問題には、慣性的に誤った推論経路に直面した際のモデルのパフォーマンスをテストするための隠れたトラップが埋め込まれています。このデータセットでは、モデルの敵対的推論トラップに対する脆弱性とアダプタのエラー修正ゲインを客観的に測定するために、多肢選択式と自由記述式生成の2つのタスク形式を使用して独立したスコアリングを行っています。

データフィールド:

• task_id: 一意の識別子（形式：META-001～META-300）
• ドメイン：質問が属するドメイン
• グレード：難易度（A/B/C）
• ticos_type: メタ認知行動タイプ（全8種類）
• 難易度：定性的な難易度の説明
• プロンプト: タスクプロンプトの単語
• 期待される動作：正しい推論プロセスと、直感が誤りやすい具体的なポイント。
• hidden_trap: 隠れたエラー推論パス
• ticos_required: 必須のTICOSメタ認知コード