Das Lernen von Cross-Modalen Einbettungen mit Adversarial Netzen für Kochrezepte und Lebensmittelbilder
Die computergestützte Ernährung spielt eine zunehmend wichtige Rolle im täglichen Leben der Menschen und findet zahlreiche Anwendungen bei der Förderung eines intelligenten Konsums von Lebensmitteln und einem gesunden Lebensstil. Ein wichtiges Gebiet innerhalb der computergestützten Ernährung ist die Informationssuche, die insbesondere für gesundheitsbezogene Anwendungen hilfreich ist, wo es darum geht, wichtige Informationen über Lebensmittel abzurufen (z.B. Zutaten, Nährwerte usw.). In dieser Arbeit untersuchen wir eine offene Forschungsaufgabe des krossmodalen Retrievals zwischen Kochrezepten und Bildern von Speisen und schlagen ein neues Framework namens Adversariales Krossmodales Einbettungsverfahren (ACME) vor, um die krossmodale Retrieftaufgabe im Bereich der Ernährung zu lösen. Insbesondere besteht das Ziel darin, einen gemeinsamen Einbettungsmerkmalsraum zwischen den beiden Modalitäten zu erlernen, wobei unser Ansatz mehrere neuartige Ideen umfasst: (i) das Lernen durch Verwendung eines neuen Tripletten-Verlustschemas zusammen mit einer effektiven Stichprobenstrategie, (ii) die Modalausrichtung durch Einsatz einer adversariellen Lernstrategie und (iii) die Sicherstellung der Konsistenz des krossmodalen Übersetzens, sodass die Einbettung einer Modalität in der Lage ist, wichtige Informationen entsprechender Instanzen in der anderen Modalität wiederherzustellen. ACME erreicht den Stand der Technik auf dem Referenzdatensatz Recipe1M, was die Effizienz des vorgeschlagenen Verfahrens bestätigt.请注意，这里有一些术语的翻译需要特别说明：- "Food computing" 被翻译为 "computergestützte Ernährung"，这是在德语中较为常用的表达。- "Cross-modal retrieval" 被翻译为 "krossmodales Retrieval"，其中 "krossmodal" 是为了保持与英文的一致性而使用的音译词。- "Embedding feature space" 被翻译为 "Einbettungsmerkmalsraum"。- "Triplet loss scheme" 被翻译为 "Tripletten-Verlustschema"。- "Modality alignment" 被翻译为 "Modalausrichtung"。- "Cross-modal translation consistency" 被翻译为 "Konsistenz des krossmodalen Übersetzens"。如果这些术语有特定的德语专业词汇，请告知我以便进一步优化。