要約
AIリサーチエージェントは、機械学習モデルの設計、実装、および訓練を自動化することで科学的な進歩を加速する大きな可能性を示しています。本研究では、AIリサーチエージェントの性能向上に焦点を当て、特にKaggleコンペティションで実際の機械学習問題を解決する競争を行う困難なベンチマークであるMLE-benchでの方法に注目します。AIリサーチエージェントを候補解の空間を探求する探索戦略として形式化し、オペレータを使用して反復的にそれらを変更します。異なるオペレータセットと探索戦略（貪欲法、MCTS（モンテカルロ木探索）、進化法）を設計し、系統的に変化させることにより、その相互作用が高性能達成のために重要であることを示しました。私たちの最良の探索戦略とオペレータセットの組み合わせは、MLE-bench liteにおいて最先端の結果を達成し、Kaggleメダル獲得の成功率を39.6%から47.7%に向上させました。本研究は、自動化された機械学習の進展において探索戦略、オペレータ設計、評価手法を総合的に考慮することの重要性を強調しています。