Vers la rendre les images de diagrammes de flux interprétables par machine

Les manuels de programmation informatique et les documentations logicielles contiennent souvent des diagrammes de flux pour illustrer le déroulement d'un algorithme ou d'une procédure. Les moteurs OCR modernes identifient généralement ces diagrammes de flux comme des graphiques et les ignorent lors du traitement ultérieur. Dans cet article, nous travaillons à rendre les images de diagrammes de flux interprétables par machine en les convertissant en codes Python exécutables. Pour ce faire, inspirés par les récents succès dans la littérature sur la génération de code à partir du langage naturel, nous présentons un cadre novateur basé sur les transformateurs, appelé FloCo-T5. Notre modèle est bien adapté à cette tâche car il peut apprendre efficacement la sémantique, la structure et les modèles des langages de programmation, qu'il utilise ensuite pour générer du code syntaxiquement correct. Nous avons également utilisé un objectif d'entraînement préalable spécifique à la tâche pour entraîner FloCo-T5 avec un grand nombre d'échantillons de code augmentés préservant la logique. De plus, pour mener une étude rigoureuse de ce problème, nous introduisons le jeu de données FloCo qui comprend 11 884 images de diagrammes de flux et leurs codes Python correspondants. Nos expériences montrent des résultats prometteurs, et FloCo-T5 surpasse clairement les baselines concurrentes sur les métriques de génération de code. Nous mettons notre jeu de données et notre implémentation à disposition du public.