HAKE: ヒューマン・アクティビティ・ナレッジ・エンジン

人間の活動理解は自動的な知能システムを構築する上で極めて重要です。深層学習の助けにより、活動理解は最近大きな進歩を遂げています。しかし、データ分布の不均衡、動作の曖昧性、複雑な視覚パターンなどの課題がまだ残っています。これらの課題に対処し、活動理解を促進するために、人体部位状態に基づいた大規模な人間活動知識エンジン（HAKE）を構築しました。既存の活動データセットに対して、すべての画像に登場する全ての活動中の人物の部位状態を注釈することで、個々の活動と部位状態との関係を確立しています。さらに、HAKEに基づく部位状態認識モデルを提案し、このモデルには「Activity2Vec」と呼ばれる知識抽出器と対応する部位状態ベースの推論ネットワークが含まれています。HAKEを使用することで、長尾データ分布によって引き起こされる学習の難しさを軽減し、解釈可能性も向上させることができます。現在、当社のHAKEには700万件以上の部位状態注釈があり、依然として構築が進行中です。本予備論文では、HAKEの一部で当社のアプローチを検証しており、人間-物体相互作用認識において7.2 mAP（mean Average Precision）性能向上と、ワンショットサブセットにおいて12.38 mAP向上を示しています。