GigaCheck: LLM生成コンテンツの検出

大規模言語モデル（LLM）ベースのアシスタントの品質向上と普及に伴い、LLMによって生成されたコンテンツの量が急速に増加しています。多くの場合やタスクにおいて、そのようなテキストはすでに人間が書いたものと区別がつかず、生成の品質はさらに向上する傾向にあります。一方で、検出方法の開発は遅れており、生成型AI技術の不正利用を防ぐことが困難となっています。本研究では、生成テキスト検出タスクについて調査し、GigaCheckを提案します。当研究では2つのアプローチを探索します：(i) 人間が書いたテキストとLLMによって生成されたテキストを区別すること、および (ii) ヒューマン-マシン協調作業におけるLLMによって生成された区間を検出することです。最初のタスクについては、当方針は汎用的大規模言語モデルを使用し、その豊富な言語能力を利用して効率的に微調整を行い、少量のデータでも高精度を達成しています。2番目のタスクについては、新しい手法としてコンピュータビジョンと自然言語処理技術を組み合わせたものを提案します。具体的には、微調整した汎用的大規模言語モデルとDETRのような検出モデル（コンピュータビジョンから適応）を組み合わせて、テキスト内のAI生成区間を局所化します。GigaCheckは5つの英語テキスト分類データセットと3つのヒューマン-マシン協調作業向けテキスト分析データセットで評価されました。結果は示しており、GigaCheckが従来の手法よりも優れた性能を発揮し、分布外設定でも強力な基準となることを確認しています。