17日前
構成的汎化の測定:現実的なデータにおける包括的な手法
Daniel Keysers, Nathanael Schärli, Nathan Scales, Hylke Buisman, Daniel Furrer, Sergii Kashubin, Nikola Momchev, Danila Sinopalnikov, Lukasz Stafiniak, Tibor Tihon, Dmitry Tsarkov, Xiao Wang, Marc van Zee, Olivier Bousquet

要約
最先端の機械学習手法は、構成的汎化(compositional generalization)において限定的な性能を示している。一方で、この能力を包括的に測定できる現実的なベンチマークが不足しており、改善策の発見や評価が困難な状況にある。本研究では、訓練データセットとテストデータセット間の原子的差異(atom divergence)を小さく保ちつつ、化合物的差異(compound divergence)を最大化するという新たなアプローチを提案し、構成的汎化ベンチマークを体系的に構築する方法を提示する。この手法を他の構成的汎化ベンチマーク作成法と定量的に比較した結果、本手法が優れた性能を発揮することを確認した。さらに、本手法に従って構築された大規模かつ現実的な自然言語質問応答データセットを提示し、3種類の機械学習アーキテクチャの構成的汎化能力を分析した。その結果、これらのアーキテクチャは構成的汎化に失敗しており、化合物的差異と精度の間に予期せぬ強い負の相関が存在することが明らかになった。また、既存のSCANデータセットをベースに本手法を応用し、新たな構成性ベンチマークを構築する方法も示し、得られた結果の妥当性を裏付けた。