Agents de Recherche en IA pour l'Apprentissage Automatique : Recherche, Exploration et Généralisation dans MLE-bench

Les agents de recherche en IA montrent un grand potentiel pour accélérer le progrès scientifique en automatisant la conception, la mise en œuvre et l'entraînement des modèles d'apprentissage automatique. Nous nous concentrons sur les méthodes visant à améliorer les performances des agents sur MLE-bench, un benchmark exigeant où les agents s'affrontent dans des compétitions Kaggle pour résoudre des problèmes d'apprentissage automatique du monde réel. Nous formalisons les agents de recherche en IA comme des politiques de recherche qui naviguent dans un espace de solutions candidates, les modifiant itérativement à l'aide d'opérateurs. En concevant et en variant systématiquement différents ensembles d'opérateurs et de politiques de recherche (Glouton, MCTS, Évolutionnaire), nous montrons que leur interaction est cruciale pour atteindre de hautes performances. Notre meilleure combinaison de stratégie de recherche et d'ensemble d'opérateurs obtient un résultat de pointe sur MLE-bench lite, augmentant le taux de réussite pour l'obtention d'une médaille Kaggle de 39,6 % à 47,7 %. Notre étude souligne l'importance de considérer conjointement la stratégie de recherche, la conception des opérateurs et la méthodologie d'évaluation pour faire progresser l'apprentissage automatique automatisé.