Nous explorons l'utilisation des réseaux résiduels et de l'attention neuronale pour les tâches d'extraction de multiples arguments. Nous proposons une architecture résiduelle qui exploite l'attention, l'apprentissage multi-tâche et utilise un ensemble, sans faire aucune hypothèse sur la structure des documents ou des arguments. Nous présentons une évaluation expérimentale approfondie sur cinq corpus différents comprenant des commentaires générés par les utilisateurs, des publications scientifiques et des essais persuasifs. Nos résultats montrent que notre approche est un concurrent de taille face aux architectures de pointe ayant une empreinte computationnelle plus importante ou un design spécifique à un corpus, représentant ainsi un compromis intéressant entre généralité, précision des performances et taille réduite du modèle.