Sehr tiefe Faltungsschichtnetze für die Textklassifizierung

Der vorherrschende Ansatz für viele NLP-Aufgaben sind rekurrente Neuronale Netze, insbesondere LSTMs, und Faltungsschicht-Neuronale Netze (Convolutional Neural Networks). Allerdings sind diese Architekturen im Vergleich zu den tiefen Faltungsnetzen, die den Stand der Technik in der Computer Vision vorangebracht haben, eher flach. Wir stellen eine neue Architektur (VDCNN) für Textverarbeitung vor, die direkt auf Zeichenbasis arbeitet und ausschließlich kleine Faltungen und Pooling-Operationen verwendet. Wir können zeigen, dass die Leistung dieses Modells mit der Tiefe zunimmt: durch die Verwendung von bis zu 29 Faltungsschichten berichten wir Verbesserungen gegenüber dem aktuellen Stand der Technik bei mehreren öffentlichen Textklassifikationsaufgaben. Nach bestem Wissen ist dies das erste Mal, dass sehr tiefe Faltungsnetze auf Textverarbeitung angewendet wurden.