PiCANet: Lernen von pixelbasiertem kontextuellem Aufmerksamkeit für die Salienzdetektion

Kontexte spielen bei der Aufgabenstellung der Salienzdetektion eine wichtige Rolle. Allerdings ist nicht alle kontextuelle Information innerhalb eines Kontextbereichs für die endgültige Aufgabe hilfreich. In dieser Arbeit schlagen wir ein neues pixelbasiertes kontextuelles Aufmerksamkeitsnetzwerk vor, nämlich das PiCANet (Pixel-wise Contextual Attention Network), um selektiv auf informative Kontextpositionen für jedes Pixel zu achten. Speziell kann es für jedes Pixel eine Aufmerksamkeitskarte erzeugen, in der jedes Aufmerksamkeitsgewicht der kontextuellen Relevanz an jeder Kontextposition entspricht. Eine aufmerksamkeitsgesteuerte kontextuelle Merkmalsdarstellung kann dann durch selektive Aggregation der kontextuellen Informationen konstruiert werden. Wir formulieren das vorgeschlagene PiCANet sowohl in globaler als auch in lokaler Form, um globalen und lokalen Kontexten jeweils zu achten. Beide Modelle sind vollständig differenzierbar und können in CNNs (Convolutional Neural Networks) eingebettet werden, um gemeinsam trainiert zu werden. Wir integrieren zudem die vorgeschlagenen Modelle in die U-Net-Architektur zur Detektion salienter Objekte. Umfangreiche Experimente zeigen, dass die vorgeschlagenen PiCANets die Leistungsfähigkeit der Salienzdetektion konsistent verbessern können. Das globale und lokale PiCANet fördert das Lernen von globaler Kontrastierung und Homogenität respektive. Dadurch kann unser Salienzmodell saliente Objekte genauer und gleichmäßiger erkennen, wodurch es sich günstig gegenüber den Stand-of-the-Art-Methoden verhält.