α DARTS と再び：マスク画像モデリングによる微分可能なアーキテクチャ探索の強化

微分可能なアーキテクチャ探索（DARTS）は、自動機械学習分野における主流のアプローチとなっている。元々のDARTSが必然的に低品質なアーキテクチャに収束するという問題が指摘されて以来、近年の研究では、ルールベースのアーキテクチャ選択手法の設計や、複雑な正則化技術の導入によってこの問題を緩和しようとしているが、それらは元のDARTSがパラメトリック値（すなわち $α$）の最大値に基づいてアーキテクチャを選択するという簡潔さを放棄している。さらに、我々はこれまでのすべてのアプローチが分類ラベルにのみ依存しており、単一モーダルな情報しか学習できず、共有ネットワークの表現力が制限されていることに着目した。これを解決するために、パッチ再構成アプローチを定式化することで、追加的に意味情報（セマンティック情報）を注入する手法を提案する。具体的には、最近注目されているマスク画像モデリングを活用しつつ、探索フェーズにおいても下流タスクからのガイドラインを放棄しない。本手法は、複雑な手動設計戦略を用いずに、CIFAR-10、CIFAR-100、ImageNetのすべてにおいて、従来のDARTSのすべての変種を上回る最先端の性能を達成した。