Zu Cross-Modaler Text-Molekül-Retrieval mit Besserer Modalitätsausrichtung

Das Modell zur kreuzmodalen Text-Molekülrückgewinnung strebt an, einen gemeinsamen Merkmalsraum für die Text- und Molekülmodalitäten zu erlernen, um eine genaue Ähnlichkeitsberechnung zu ermöglichen. Dies erleichtert die schnelle Screening von Molekülen mit spezifischen Eigenschaften und Aktivitäten im Rahmen der Arzneimittelentwicklung. Vorherige Arbeiten weisen jedoch zwei Hauptmängel auf. Erstens sind sie unzureichend in der Erfassung von modalitysgemeinsamen Merkmalen, wenn man die erhebliche Kluft zwischen Textsequenzen und Molekügraphen berücksichtigt. Zweitens basieren sie hauptsächlich auf kontrastivem Lernen und adversarialem Training zur Kreuzmodalitätsausrichtung, wobei beide Methoden sich vor allem auf die erste Ordnungsähnlichkeit konzentrieren und dabei die zweite Ordnungsähnlichkeit, die mehr strukturelle Informationen im Einbettungsraum erfassen kann, vernachlässigen.Um diese Probleme zu lösen, schlagen wir ein neues Modell zur kreuzmodalen Text-Molekülrückgewinnung vor, das durch zwei Verbesserungen gekennzeichnet ist. Speziell ergänzen wir über zwei modalitysspezifische Encoder hinweg einen merkmalbasierten Projektionsblock mit lernfähigen Speichervektoren, um modalitysgemeinsame Merkmale besser zu extrahieren. Noch wichtiger ist, dass wir während des Modelltrainings für jedes Beispiel vier Arten von Ähnlichkeitsverteilungen (Text-zu-Text-, Text-zu-Molekül-, Molekül-zu-Molekül- und Molekül-zu-Text-Ähnlichkeitsverteilungen) berechnen und dann den Abstand zwischen diesen Ähnlichkeitsverteilungen (sogenannten Verlustfunktionen der zweiten Ordnungsähnlichkeit) minimieren, um die Kreuzmodalitätsausrichtung zu verbessern.Experimentelle Ergebnisse und Analysen belegen eindrucksvoll die Effektivität unseres Modells. Insbesondere erreicht unser Modell eine Spitzenleistung (SOTA), indem es das bisher beste veröffentlichte Ergebnis um 6,4 % übertrifft.