AI-人間アノテーションを用いたTelegramデータにおける多レベル脅威の探索：初期研究

本研究は、米国における選挙、公務員、および公共機関を標的とするソーシャルメディアのコメントに内在する脅威を効果的に測定するという重要な課題に取り組む。これらのオンライン上の脅威と現実世界のリスクとの関連性についての理解は依然として限定的であり、その深刻さを正確に評価することが困難である。こうした制約を克服するため、0から5までの包括的な脅威レベル尺度を提案し、脅威レベルの開発および厳密な検証に用いるために、130万件のTelegram返信から構成されるデータセットを収集した。さらに、膨大なデータセットを効率的にラベル付けするため、OpenAIと人間の共同アノテーション（annotation）を活用した手法を検討した。本研究では、独自の二段階転移学習アプローチを提案する。まず、既存の事前学習済みモデルを用いて初期ラベル付けを行い、その後専門家による検証を実施する。次に、AIによるアノテーション結果を活用して独立したモデルを構築し、専門アノテーターがその予測結果を検証する。特に注目すべきは、GPT-2モデルが訓練データのアノテーション数が少ないにもかかわらず、OpenAIによるアノテーションと同等の性能を示したことである。これは、より多くのアノテーションデータを活用することで、コスト効率の高い脅威検出が可能であることを示唆している。長期的な目標として継続的な脅威レベルモニタリング体制の構築を目指し、本研究の現行アプローチの強みと限界を明らかにした上で、脅威検出のさらなる向上に向けたロードマップを提案する。