TNASP：自己進化フレームワークを備えたTransformerベースのNAS予測モデル

予測ベースのニューラルアーキテクチャサーチ（NAS）は、従来のNAS手法における時間的に長い探索プロセスを軽減することを目的としており、依然として重要な研究テーマである。予測ベースNASにおいて、最終的に得られるモデルの品質を決定する上で、性能予測器の性能は極めて重要である。現在の多くの予測ベース手法は、代理データセット（proxy dataset）の設定下でモデルベースの予測器を訓練しているが、グラフ構造データの空間的トポロジー情報を十分に表現できないという課題から、精度の低下や一般化性能の劣化が生じる傾向にある。さらに、空間的トポロジー情報の表現力の不足に加え、これらの手法は訓練中に得られる履歴評価値といった時系列情報を活用していない。本研究では、ラプラシアン行列に基づく位置エンコーディング戦略を導入したTransformerベースのNAS性能予測器を提案する。このアプローチは、グラフ構造のトポロジー情報をより適切に表現でき、NAS-Bench-101、NAS-Bench-201、およびDARTSの探索空間において、従来の最先端手法を上回る性能を達成した。さらに、時系列情報を効果的に活用するための自己進化フレームワークも提案する。このフレームワークは、過去に予測された結果の評価値を現在の最適化プロセスの制約条件として繰り返し組み込むことで、予測器の性能をさらに向上させる。本フレームワークはモデルに依存しないため、さまざまなバックボーン構造に対して予測タスクの性能向上が可能である。本研究で提案した手法は、CVPR 2021 NAS コンペティションの「性能予測トラック」（Track 2）において、全チーム中2位の成績を収めた。