要約
本稿では、動的プルーニングを用いた知識グラフ補完のための自己蒸留フレームワーク（MetaSD）を提案する。本手法は、圧縮されたグラフ埋め込みの学習と、長尾サンプル（longtail samples）の処理を目的としている。具体的には、まず、大規模なソースモデルから小さなプルーニングモデルを獲得するための動的プルーニング技術を提案する。このプルーニングモデルのプルーニングマスクは、モデル重みの更新後にエポックごとに適応的に更新可能である。プルーニングモデルは、ソースモデルよりも難易度の高いサンプル（例えば、長尾サンプル）に対してより敏感になることが期待される。次に、ソースモデルからプルーニングモデルへ包括的な知識を蒸留するための1ステップメタ自己蒸留法を提案する。この際、二つのモデルは学習過程において動的に共進化する。特に、1反復内でソースモデルと並行して学習されるプルーニングモデルの性能を用いて、メタ学習により次の反復におけるソースモデルの知識伝達能力を向上させる。広範な実験結果から、MetaSDは強力なベースラインと比較して競争力のある性能を達成しつつ、モデルサイズをベースラインの10分の1にまで削減できることを示した。