MoTCoder : Plafonner les grands modèles linguistiques grâce à une modularité de pensée pour des tâches de programmation exigeantes

Les grands modèles linguistiques (LLM) ont démontré des capacités impressionnantes dans la résolution de tâches de programmation simples. Toutefois, leur performance tend à se dégrader lorsqu’ils sont confrontés à des problèmes de programmation plus complexes. Nous observons que les modèles conventionnels génèrent souvent des solutions sous forme de blocs monolithiques de code, ce qui limite leur efficacité face à des questions intriquées. Pour surmonter cette limitation, nous proposons Module-of-Thought Coder (MoTCoder). Nous introduisons un cadre pour l’ajustement par instruction basé sur le concept de « module de pensée » (MoT), conçu pour favoriser la décomposition des tâches en sous-tâches logiques et en sous-modules. Nos investigations révèlent que, grâce à la culture et à l’utilisation de sous-modules, MoTCoder améliore significativement à la fois la modularité et la correction des solutions générées, entraînant des gains substantiels de 5,9 % en pass@1 sur APPS et de 5,8 % sur CodeContests. MoTCoder atteint également des progrès notables en matière de correction autonome, dépassant l’état de l’art actuel de 3,3 %. En outre, nous fournissons une analyse de la relation entre la complexité des problèmes et la décomposition optimale en modules, ainsi qu’une évaluation de l’indice de maintenabilité, confirmant que le code généré par MoTCoder est plus facile à comprendre et à modifier, ce qui constitue un avantage pour la maintenance et l’évolution à long terme du code. Nos codes sont disponibles à l’adresse suivante : https://github.com/dvlab-research/MoTCoder.