Command Palette
Search for a command to run...
Qu’est-ce qui fait d’un bon agent de recherche en IA ? Une étude sur le rôle de la diversité de l’idéation

Résumé
Les agents de recherche en intelligence artificielle offrent la promesse d’accélérer les progrès scientifiques en automatisant la conception, la mise en œuvre et l’entraînement des modèles d’apprentissage automatique. Toutefois, ce domaine reste encore à ses balbutiements, et les facteurs clés déterminant le succès ou l’échec des trajectoires des agents ne sont pas encore pleinement compris. Nous examinons ici le rôle joué par la diversité des idées dans les performances des agents. Tout d’abord, nous analysons les trajectoires des agents sur MLE-bench, un benchmark bien connu destiné à évaluer les agents de recherche en IA, en comparant différentes architectures de modèles et différentes structures d’agents (agent scaffolds). Notre analyse révèle que les différents modèles et scaffolds d’agents génèrent des niveaux variés de diversité des idées, et que les agents aux performances supérieures présentent généralement une plus grande diversité d’idées. Ensuite, nous menons une expérience contrôlée dans laquelle nous modifions intentionnellement le degré de diversité des idées, démontrant ainsi que cette diversité accrue se traduit par une meilleure performance. Enfin, nous renforçons nos résultats en examinant des métriques d’évaluation supplémentaires, au-delà du classement traditionnel basé sur les médailles proposé par MLE-bench, et montrons que nos conclusions se maintiennent sur plusieurs autres indicateurs de performance des agents.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.