Leistung von Gaussian-Mixture-Modell-Klassifizierern auf eingebetteten Merkmalsräumen

Daten-Embeddings mit CLIP und ImageBind liefern leistungsstarke Merkmale für die Analyse von Multimediadaten und/oder multimodalen Daten. In dieser Arbeit bewerten wir ihre Leistungsfähigkeit für die Klassifikation mittels eines auf Gaußschen Mischmodellen (GMMs) basierenden Layers als Alternative zum herkömmlichen Softmax-Layer. GMM-basierte Klassifikatoren haben in jüngster Zeit gezeigt, dass sie interessante Ergebnisse erzielen können, insbesondere wenn sie in end-to-end trainierte Deep-Learning-Pipelines integriert sind. Unser erster Beitrag besteht darin, die Leistungsfähigkeit von GMM-basierten Klassifikatoren zu untersuchen, wobei wir die eingebetteten Räume von CLIP und ImageBind ausnutzen. Unser zweiter Beitrag liegt in der Vorschlag eines eigenen GMM-basierten Klassifikators mit einer geringeren Anzahl an Parametern im Vergleich zu zuvor vorgeschlagenen Ansätzen. Unsere Ergebnisse zeigen, dass in den meisten Fällen auf den getesteten eingebetteten Räumen lediglich ein einzelner Gauß-Komponente pro Klasse ausreicht, um die Klassen effektiv zu erfassen. Wir vermuten, dass dies auf den kontrastiven Verlust zurückzuführen ist, der bei der Trainingsphase der eingebetteten Räume verwendet wurde und die Merkmale pro Klasse naturgemäß konzentriert. Zudem beobachten wir, dass ImageBind selbst bei komprimierten eingebetteten Räumen mittels PCA häufig bessere Klassifikationsleistungen als CLIP erzielt.