Zero-Shot Cross-Modale Retrieval

Zero-Shot Cross-Modal Retrieval ist eine Aufgabe, die darauf abzielt, relevante Elemente über verschiedene Modalitäten hinweg (wie Text und Bilder) ohne Trainingsbeispiele zu finden. Die Hauptausforderung dieser Aufgabe ist der Heterogenitätsabstand, der sich auf die inhärenten Unterschiede in den Datentypen zwischen den Modalitäten bezieht und es schwierig macht, Ähnlichkeiten direkt zu messen. Um dieses Problem zu lösen, lernen bestehende Methoden typischerweise einen gemeinsamen latenten Repräsentationsraum, der es ermöglicht, Daten aus verschiedenen Modalitäten in denselben Repräsentationsraum zu projizieren. Dadurch kann eine direkte Ähnlichkeitsmessung zwischen Elementen verschiedener Modalitäten durchgeführt werden. Diese Technologie hat erheblichen Anwendungswert in Bereichen wie dem E-Commerce.