Effiziente Aufmerksamkeit: Aufmerksamkeit mit linearen Komplexitäten

Das Skalarprodukt-Attention findet vielfältige Anwendungen in der Computer Vision und der Natürlichen Sprachverarbeitung. Allerdings wachsen seine Speicher- und Rechenkosten quadratisch mit der Eingabegröße. Dieses Wachstum verhindert die Anwendung auf hochaufgelöste Eingaben. Um diesen Nachteil zu beheben, schlägt dieser Artikel ein neues effizientes Attention-Mechanismus vor, der dem Skalarprodukt-Attention entspricht, aber erheblich geringere Speicher- und Rechenkosten hat. Die Ressourcen-Effizienz ermöglicht eine breitere und flexiblere Integration von Attention-Modulen in ein Netzwerk, was zu besseren Genauigkeiten führt. Empirische Auswertungen haben die Wirksamkeit seiner Vorteile nachgewiesen. Effiziente Attention-Module brachten signifikante Leistungsverbesserungen für Objekterkennung und Instanzsegmentierung auf dem MS-COCO 2017-Datensatz. Darüber hinaus fördert die Ressourcen-Effizienz die Verbreitung des Attention-Konzepts in komplexen Modellen, wo hohe Kosten die Verwendung des Skalarprodukt-Attentions verbieten. Als Beispiel erreichte ein Modell mit effizientem Attention den aktuellen Stand der Technik in Bezug auf die Genauigkeit der Stereo-Tiefenschätzung im Scene Flow-Datensatz. Der Quellcode ist unter https://github.com/cmsflash/efficient-attention verfügbar.