Attentive Pooling Networks

In dieser Arbeit schlagen wir Attentive Pooling (AP) vor, ein bidirektionales Aufmerksamkeitsmechanismus für die Trainierung diskriminativer Modelle. Im Kontext von paarweiser Rangfolge- oder Klassifizierungsaufgaben mit neuronalen Netzen ermöglicht AP dem Pooling-Layer, sich der aktuellen Eingabe-Paarung bewusst zu sein, sodass Informationen aus den beiden Eingabeelementen direkt die Berechnung der jeweiligen Darstellungen beeinflussen können. Neben diesen Darstellungen der gepaarten Eingaben lernt AP gemeinsam eine Ähnlichkeitsmaßnahme über projizierte Segmente (z.B. Trigramme) des Paares und leitet anschließend den entsprechenden Aufmerksamkeitsvektor für jede Eingabe ab, um das Pooling zu steuern. Unser bidirektionaler Aufmerksamkeitsmechanismus ist ein allgemeines Framework, das unabhängig vom zugrunde liegenden Repräsentationslernen ist, und wurde in unseren Studien sowohl auf konvolutorische neuronale Netze (CNNs) als auch auf rekurrente neuronale Netze (RNNs) angewendet. Die empirischen Ergebnisse aus drei sehr unterschiedlichen Benchmark-Aufgaben im Bereich Fragebeantwortung/Antwortauswahl zeigen, dass unsere vorgeschlagenen Modelle eine Vielzahl starker Baseline-Modelle übertreffen und in allen Benchmarks den Stand der Technik erreichen.