HyperAI
StartseiteNeuigkeitenNeueste ForschungsarbeitenTutorialsDatensätzeVeranstaltungenWikiSOTALLM-Modelle
Suche
Über
HyperAI

Kausale Aufmerksamkeit

Causal Attention (CATT) ist ein innovativer Aufmerksamkeitsmechanismus, der die Interpretierbarkeit und Leistung von Modellen durch die Einbeziehung kausaler Inferenz verbessert, insbesondere bei Vision-Language-Aufgaben. Dieser Mechanismus wurde 2021 von Forschern der Nanyang Technological University und der Monash University in Australien vorgeschlagen.Kausale Aufmerksamkeit für Vision-Language-Aufgaben".

Die Kernidee der kausalen Aufmerksamkeit besteht darin, das „Front-Door-Kriterium“ bei der kausalen Inferenz zu verwenden, um das Problem der falschen Korrelation in Trainingsdaten zu lösen. Bei herkömmlichen Selbstaufmerksamkeitsmechanismen können die Aufmerksamkeitsgewichte aufgrund mangelnder Überwachung durch Datenverzerrungen beeinflusst werden, was dazu führt, dass das Modell beim Schlussfolgern irreführend ist. Wenn beispielsweise bei einer Bildbeschreibungsaufgabe die Trainingsdaten mehr Szenen mit „Menschen, die auf Pferden reiten“ als mit „Menschen, die Kutschen fahren“ enthalten, kann es sein, dass das Modell die Aktion „Reiten“ fälschlicherweise mit „Menschen“ und „Pferden“ assoziiert und die Existenz von „Kutschen“ ignoriert.

Um dieses Problem zu lösen, schlugen Forscher den Mechanismus der kausalen Aufmerksamkeit vor, der kausale Effekte identifiziert und verstärkt, indem er:

  1. In-Sample-Aufmerksamkeit (IS-ATT): Führen Sie die Aufmerksamkeitsberechnung innerhalb einer einzelnen Probe durch, um Störungen durch andere Proben zu vermeiden.
  2. Stichprobenübergreifende Aufmerksamkeit (CS-ATT): Führen Sie die Informationen anderer Stichproben in die Aufmerksamkeitsberechnung der aktuellen Stichprobe ein und imitieren Sie so den Effekt einer kausalen Intervention.

Dieser Mechanismus kann als steckbares Modul verwendet werden, um vorhandene Selbstaufmerksamkeitsmechanismen wie das Aufmerksamkeitsmodul in Transformer zu ersetzen. Experimentelle Ergebnisse zeigen, dass kausale Aufmerksamkeit die Leistung des Modells bei Aufgaben wie Bildbeschreibung und visueller Fragebeantwortung erheblich verbessern kann.