3ヶ月前

ソフトマックス交差エントロピーとネガティブサンプリングの統一的解釈:知識グラフ埋め込みにおける事例研究

Hidetaka Kamigaito, Katsuhiko Hayashi
ソフトマックス交差エントロピーとネガティブサンプリングの統一的解釈:知識グラフ埋め込みにおける事例研究
要約

知識グラフ埋め込みにおいて、ソフトマックス交差エントロピー損失関数とネガティブサンプリング損失関数の間の理論的関係はこれまで検討されておらず、これにより両者の損失関数の結果を公平に比較することが困難であった。本研究では、ブレグマン発散を用いることで、ソフトマックス交差エントロピー損失関数とネガティブサンプリング損失関数を統一的に解釈することにより、この問題を解決を試みた。この解釈の下で、両者の公平な比較に向けた理論的知見を導出できる。FB15k-237およびWN18RRデータセットにおける実験結果から、得られた理論的知見が実用的な設定においても有効であることが示された。