Kreuzmodaler Abruf

Cross-modal Retrieval (CMR) ist eine Aufgabe, die das Finden relevanter Elemente aus verschiedenen Modalitäten wie Bildern, Texten, Videos und Audio beinhaltet. Das Kernproblem besteht in der Heterogenitätslücke zwischen den Modalitäten, was bedeutet, dass Daten aus verschiedenen Modalitäten unterschiedliche Darstellungsformen haben, was eine direkte Vergleichbarkeit erschwert. Um dieses Problem zu lösen, konzentrieren sich die meisten CMR-Methoden darauf, einen gemeinsamen latenten Einbettungsraum zu lernen, in dem Konzepte aus verschiedenen Modalitäten in die gleiche Dimension projiziert werden, sodass ihre Ähnlichkeit durch Distanzmetriken gemessen werden kann. Diese Aufgabe hat erheblichen Anwendungswert in Bereichen wie der multimedialen Informationsretrieval, Empfehlungssystemen und der Mensch-Computer-Interaktion.