シャープリー-NAS：ニューラルアーキテクチャサーチにおける演算の寄与の発見

本稿では、ニューラルアーキテクチャ探索（NAS）における演算子の貢献度を評価するためのシェープリー値に基づく手法（Shapley-NAS）を提案する。微分可能なアーキテクチャ探索（DARTS）は、勾配降下法を用いてアーキテクチャパラメータを最適化することで、最適なアーキテクチャを取得するが、このアプローチは探索コストを著しく削減する。しかしながら、勾配降下によって更新されるアーキテクチャパラメータの大きさは、演算子がタスク性能に与える実際の重要性を反映していないため、得られたアーキテクチャの有効性を損なう要因となる。これに対して、本研究では、演算子が検証精度に与える直接的な影響を評価する手法を提案する。スーパーネットの構成要素間の複雑な相互関係に対処するため、すべての可能な組み合わせを考慮して、各演算子の限界貢献度を定量的に評価するためにシェープリー値を活用する。具体的には、スーパーネットの重みを逐次最適化しつつ、シェープリー値を用いた演算子貢献度の評価に基づいてアーキテクチャパラメータを更新することで、タスクに著しく貢献する演算子を選択することにより、最適なアーキテクチャを導出する。シェープリー値の正確な計算はNP困難であるため、効率的な近似を実現するため、モンテカルロサンプリングに基づくアルゴリズムに早期打ち切り（early truncation）を導入し、サンプリングプロセスのばらつきを軽減するためにモーメンタム更新機構を採用している。さまざまなデータセットおよび探索空間における広範な実験の結果、本手法Shapley-NASは、軽量な探索コストで最先端手法を顕著に上回ることが示された。コードは以下のURLから公開されている：https://github.com/Euphoria16/Shapley-NAS.git