Einheitliche Interpretation von Softmax-Cross-Entropy und Negative Sampling: Mit Fallstudie zur Wissensgraphen-Embedding

Bei der Einbettung von Wissensgraphen wurde bisher die theoretische Beziehung zwischen der Softmax-Cross-Entropy- und der Negative-Sampling-Verlustfunktion nicht untersucht. Dies erschwert einen fairen Vergleich der Ergebnisse beider unterschiedlicher Verlustfunktionen. Um dieses Problem zu lösen, haben wir versucht, die Bregman-Divergenz einzusetzen, um eine einheitliche Interpretation beider Verlustfunktionen zu bieten. Unter dieser Interpretation lassen sich theoretische Aussagen für einen fairen Vergleich ableiten. Experimentelle Ergebnisse auf den Datensätzen FB15k-237 und WN18RR zeigen, dass die theoretischen Aussagen auch in praktischen Anwendungen gültig sind.