Ein AutoML-basierter Ansatz zur multimodalen Bild-Stimmungsanalyse

Sentiment-Analyse ist ein Forschungsfeld, das sich darauf konzentriert, Daten zu analysieren, um Informationen über die durch sie hervorgerufene Stimmung zu extrahieren. Anwendungen der Sentiment-Analyse sind vielfältig und reichen von Empfehlungssystemen und Marketing bis hin zur Kundenzufriedenheit. Moderne Ansätze bewerten Textinhalte mithilfe von Machine-Learning-Techniken, die an großen Korpora trainiert werden. Doch mit dem Wachstum sozialer Medien sind auch andere Datenformen in großer Menge hinzugekommen, darunter insbesondere Bilder. Die Sentiment-Analyse von Bildern hat sich als wertvolle Ergänzung zu textbasierten Daten erwiesen, da sie die Ableitung der zugrundeliegenden Nachrichtenpolarität ermöglicht, indem Kontext und Verbindungen geschaffen werden. Multimodale Ansätze zur Sentiment-Analyse zielen darauf ab, Informationen aus Text- und Bildinhalten zu kombinieren, um eine umfassende Bewertung vorzunehmen. Trotz neuerer Fortschritte scheitern aktuelle Lösungen weiterhin daran, Text- und Bilddaten effektiv zu integrieren, um soziale Medieninhalte zu klassifizieren – vor allem aufgrund von Subjektivität, hoher Ähnlichkeit zwischen Klassen und unterschiedlichen Datenfusionseigenschaften. In diesem Artikel stellen wir eine Methode vor, die die individuelle Sentiment-Analyse von Text und Bild in einer abschließenden, durch AutoML gesteuerten Fusionsschätzung vereint, wobei ein zufälliger Suchalgorithmus verwendet wird, um das optimale Modell zu finden. Unser Ansatz erreicht eine state-of-the-art-Leistung auf dem B-T4SA-Datensatz mit einer Genauigkeit von 95,19 %.