要約
最近、Barbuらは日常生活の状況に登場する物体を含むデータセット「ObjectNet」を導入した。彼らは、最先端の物体認識モデルがこのデータセット上で著しい性能低下を示したことを示した。深層学習モデルの一般化能力に関するその結果の重要性と意義を踏まえ、本研究では再び彼らの成果を検証した。我々は、彼らの研究における重大な問題点を指摘する。それは、複数の物体が含まれるシーンに対して、単一の物体を対象とした物体認識モデルを直接適用している点である。実際、我々のコードを用いることで、単一物体の状況に限定することで、性能が約20～30％向上することが確認された。ObjectNet論文に報告された結果と比較すると、テスト時のデータ拡張を一切行わずに、約10～15％の性能低下を回復できることが明らかになった。しかし、Barbuらの結論と同様に、深層モデルがこのデータセット上で著しく性能を発揮できないことも確認された。したがって、我々は、ObjectNetが、訓練データセットを超えた一般化能力を検証するための依然として挑戦的なベンチマークであると考える。