Künstliche Intelligenz Forschungsagenten für maschinelles Lernen: Suche, Exploration und Verallgemeinerung im MLE-Benchmark

Künstliche Intelligenz-Forschungsagenten zeigen großes Potenzial, den wissenschaftlichen Fortschritt durch die Automatisierung des Designs, der Implementierung und des Trainings von maschinellen Lernmodellen zu beschleunigen. Wir konzentrieren uns auf Methoden zur Verbesserung der Leistung der Agenten bei MLE-Bench, einem anspruchsvollen Benchmark, bei dem Agenten in Kaggle-Wettbewerben um die Lösung realweltlicher Probleme der maschinellen Lernung konkurrieren. Wir formalisieren künstliche Intelligenz-Forschungsagenten als Suchstrategien, die einen Raum von möglichen Lösungen durchsuchen und diese iterativ mithilfe von Operatoren modifizieren. Durch das Entwerfen und systematische Variieren verschiedener Operatorsets und Suchstrategien (Greedy, MCTS, Evolutionär) zeigen wir, dass ihre Wechselwirkung entscheidend für eine hohe Leistung ist. Unser optimales Paar aus Suchstrategie und Operatorset erzielt ein Stand-of-the-Art-Ergebnis auf MLE-Bench lite, indem es den Erfolgsquoten für den Erhalt einer Kaggle-Medaille von 39,6 % auf 47,7 % erhöht. Unsere Untersuchung unterstreicht die Bedeutung einer gemeinsamen Betrachtung der Suchstrategie, des Operatorsdesigns und der Evaluationsmethodik beim Fortschritt der automatisierten maschinellen Lernung.