Battre l'IA : Investigation de l'annotation humaine adversaire pour la compréhension de lecture

Les innovations méthodologiques en matière d’annotation se sont révélées être un moteur essentiel pour les jeux de données et les modèles de compréhension de lecture (RC). Une tendance récente visant à remettre en question les modèles actuels de RC consiste à intégrer le modèle lui-même dans le processus d’annotation : les humains formulent des questions de manière adversaire, de façon à ce que le modèle échoue à y répondre correctement. Dans ce travail, nous étudions cette méthodologie d’annotation et l’appliquons dans trois contextes différents, en collectant au total 36 000 échantillons avec des modèles de plus en plus puissants intégrés dans la boucle d’annotation. Cette approche nous permet d’explorer plusieurs questions clés, notamment la reproductibilité de l’effet adversaire, la transférabilité des données collectées avec des modèles intégrés de puissance variable, ainsi que la généralisation aux données recueillies sans modèle. Nous constatons que l’entraînement sur des échantillons collectés de manière adversaire conduit à une bonne généralisation sur des jeux de données non adversaires, bien que la performance décroisse progressivement avec l’augmentation de la puissance du modèle intégré. Par ailleurs, nous observons que des modèles plus puissants peuvent encore tirer parti de jeux de données collectés avec des modèles beaucoup moins performants. Lorsqu’il est entraîné sur des données collectées avec un modèle BiDAF dans la boucle, RoBERTa atteint un score F1 de 39,9 sur des questions qu’il ne parvient pas à répondre lorsqu’il est entraîné sur SQuAD — une performance seulement légèrement inférieure à celle obtenue lorsqu’il est entraîné sur des données collectées avec RoBERTa lui-même (41,0 F1).