AI生成文の検出について：人間とAIの協調的なハイブリッドテキストにおける課題、戦略、および洞察

本研究は、人間とAIが協力して生成したハイブリッドテキスト内の文レベルのAI生成テキスト検出の課題を探ります。既存のハイブリッドテキストにおけるAI生成テキスト検出に関する研究では、しばしば合成データセットに依存しています。これらのデータセットは通常、境界数が限られたハイブリッドテキストを対象としています。私たちは、実世界のアプリケーションに更好地を提供するために、現実的な設定で生成されたさまざまなタイプのハイブリッドテキストをカバーするべきであると考えています。そのため、本研究ではコーオーサーデータセット（CoAuthor dataset）を使用します。このデータセットには、人間のライターと知能型執筆システムが複数回のやり取りを通じて共同で生成した多様な現実的なハイブリッドテキストが含まれています。我々は、セグメンテーションベースの二段階パイプラインを採用しました：(i) 与えられたハイブリッドテキスト内で一貫した著者性を持つ文からなるセグメントを検出し、(ii) 各識別されたセグメントの著者性を分類します。我々の経験的結果は以下の点を強調しています：(1) ハイブリッドテキスト内のAI生成文を検出することは全体的に困難なタスクであり、これは (1.1) 人間のライターが個人的好みに基づいてAI生成文を選択し、さらには編集することでセグメントの著者性を特定することが難しくなることや、(1.2) ハイブリッドテキスト内での隣接する文間での著者性変更が頻繁に行われることによりセグメント検出器が一貫した著者性を持つセグメントを特定するのが困難になることや、(1.3) ハイブリッドテキスト内の短い文章セグメントが信頼性のある著者性判定に十分なスタイル的ヒントを提供できないことが原因です；(2) 検出プロセスに着手する前に、ハイブリッドテキスト内のセグメントの平均長さを評価することが有益です。この評価は (2.1) セグメントが長いハイブリッドテキストに対しては文章分割ベースの戦略を採用すべきかどうか、または (2.2) セグメントが短いハイブリッドテキストに対しては直接的な文単位分類戦略を採用すべきかどうかを決定するのに役立ちます。