ジグソーパズルを解くことでドメイン汎化を実現する

人的适应能力在很大程度上依赖于从有监督学习和无监督学习中获取并整合知识的能力：父母指出一些重要的概念，但孩子们随后会自主填补这些概念之间的空白。这种方法特别有效，因为有监督学习永远不可能是全面的，因此自主学习能够发现有助于泛化的不变性和规律性。本文中，我们提出将类似的方法应用于跨域物体识别任务：我们的模型以有监督的方式学习语义标签，并通过从自监督信号中学习如何解决同一图像上的拼图任务来扩展对数据的理解。这一辅助任务有助于网络学习空间相关性的概念，同时作为分类任务的正则化器发挥作用。PACS、VLCS、Office-Home 以及数字数据集上的多次实验验证了我们的直觉，并表明这种简单的方法优于以往的领域泛化和适应解决方案。消融研究进一步阐明了我们方法的内部机制。日本語訳：人間の適応力は、教師あり学習と教師なし学習から知識を学び、統合する能力に大きく依存している：親がいくつかの重要な概念を指摘し、その後子供たちはそれらの概念の隙間を自ら埋める。この方法は特に効果的であり、教師あり学習は絶対的に網羅的であることはできないため、自主的な学習により一般化に役立つ不変性や規則性を見出すことができる。本論文では、このようなアプローチをクロスドメインの物体認識タスクに適用することを提案する：我々のモデルは教師あり学習によって意味ラベルを学び、自己監督信号から同じ画像上のジグソーパズルを解く方法を学ぶことでデータ理解を深める。この二次タスクはネットワークが空間相関の概念を学ぶのに役立ち、分類タスクの正則化器としても機能する。PACS（PACs）、VLCS（VLCS）、Office-Home（Office-Home）および数字データセット（digits datasets）における複数の実験結果は我々の直感を確認し、この単純な手法が以前のドメイン汎化や適応ソリューションよりも優れていることを示している。さらに、アブレーションスタディは我々のアプローチの内部メカニズムを詳細に説明している。