OpenGrok：知識蒸留とマスク様メカニズムを活用したSNSデータ処理の高度化

本報告では、Lumen Labsが提唱するソーシャルネットワーキングサービス（SNS）データ処理における新規アプローチについて詳述する。本研究では、DeepSeek-R1のCoT（Chain-of-Thought）獲得に着想を得たシンプルな知識蒸留（Knowledge Distillation）手法と、プロンプトハッキング（Prompt Hacking）を組み合わせ、Grokモデルから価値ある学習データを抽出する。得られたデータを用いて、SNSデータの特徴を適切に扱うために特化したマスク型メカニズムを導入したPhi-3-miniモデルをファインチューニングする。本手法は、複数のSNSデータ処理タスクにおいて最先端（SOTA）の性能を達成し、GrokやPhi-3、GPT-4といった既存モデルを上回る結果を示した。さらに、本アプローチについて、数学的定式化、実装上の詳細、アブレーションスタディ、および他手法との比較評価を含む包括的な分析を提供する。