Command Palette

Search for a command to run...

4ヶ月前

AI-人間アノテーションを用いたTelegramデータにおける多レベル脅威の探索:初期研究

{Steven Windisch Elizabeth Jenaway Adan Ernesto Vela Kamalakkannan Ravi}

要約

本研究は、米国における選挙、公務員、および公共機関を標的とするソーシャルメディアのコメントに内在する脅威を効果的に測定するという重要な課題に取り組む。これらのオンライン上の脅威と現実世界のリスクとの関連性についての理解は依然として限定的であり、その深刻さを正確に評価することが困難である。こうした制約を克服するため、0から5までの包括的な脅威レベル尺度を提案し、脅威レベルの開発および厳密な検証に用いるために、130万件のTelegram返信から構成されるデータセットを収集した。さらに、膨大なデータセットを効率的にラベル付けするため、OpenAIと人間の共同アノテーション(annotation)を活用した手法を検討した。本研究では、独自の二段階転移学習アプローチを提案する。まず、既存の事前学習済みモデルを用いて初期ラベル付けを行い、その後専門家による検証を実施する。次に、AIによるアノテーション結果を活用して独立したモデルを構築し、専門アノテーターがその予測結果を検証する。特に注目すべきは、GPT-2モデルが訓練データのアノテーション数が少ないにもかかわらず、OpenAIによるアノテーションと同等の性能を示したことである。これは、より多くのアノテーションデータを活用することで、コスト効率の高い脅威検出が可能であることを示唆している。長期的な目標として継続的な脅威レベルモニタリング体制の構築を目指し、本研究の現行アプローチの強みと限界を明らかにした上で、脅威検出のさらなる向上に向けたロードマップを提案する。

ベンチマーク

ベンチマーク方法論指標
text-classification-on-threatgram-101-extremefastText
weighted-F1 score: 60.2
text-classification-on-threatgram-101-extremeULMFit
weighted-F1 score: 55.7
text-classification-on-threatgram-101-extremeGPT-2
weighted-F1 score: 66.2
text-classification-on-threatgram-101-extremeSVM
weighted-F1 score: 64.3

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
AI-人間アノテーションを用いたTelegramデータにおける多レベル脅威の探索:初期研究 | 論文 | HyperAI超神経