HyperAIHyperAI

Command Palette

Search for a command to run...

Leistung von Gaussian-Mixture-Modell-Klassifizierern auf eingebetteten Merkmalsräumen

Jeremy Chopin Rozenn Dahyot

Zusammenfassung

Daten-Embeddings mit CLIP und ImageBind liefern leistungsstarke Merkmale für die Analyse von Multimediadaten und/oder multimodalen Daten. In dieser Arbeit bewerten wir ihre Leistungsfähigkeit für die Klassifikation mittels eines auf Gaußschen Mischmodellen (GMMs) basierenden Layers als Alternative zum herkömmlichen Softmax-Layer. GMM-basierte Klassifikatoren haben in jüngster Zeit gezeigt, dass sie interessante Ergebnisse erzielen können, insbesondere wenn sie in end-to-end trainierte Deep-Learning-Pipelines integriert sind. Unser erster Beitrag besteht darin, die Leistungsfähigkeit von GMM-basierten Klassifikatoren zu untersuchen, wobei wir die eingebetteten Räume von CLIP und ImageBind ausnutzen. Unser zweiter Beitrag liegt in der Vorschlag eines eigenen GMM-basierten Klassifikators mit einer geringeren Anzahl an Parametern im Vergleich zu zuvor vorgeschlagenen Ansätzen. Unsere Ergebnisse zeigen, dass in den meisten Fällen auf den getesteten eingebetteten Räumen lediglich ein einzelner Gauß-Komponente pro Klasse ausreicht, um die Klassen effektiv zu erfassen. Wir vermuten, dass dies auf den kontrastiven Verlust zurückzuführen ist, der bei der Trainingsphase der eingebetteten Räume verwendet wurde und die Merkmale pro Klasse naturgemäß konzentriert. Zudem beobachten wir, dass ImageBind selbst bei komprimierten eingebetteten Räumen mittels PCA häufig bessere Klassifikationsleistungen als CLIP erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp