要約
長期的な目標として、機械が人間との会話を展開できるようにするためには、モデルが話者の興味を引きつけることが必要です。画像に基づいたコミュニケーション、つまり与えられた写真を基にダイアログを行う設定は、人間に自然に魅力的に映ります（Hu et al., 2014）。本研究では、この目標の達成のために大規模なアーキテクチャとデータセットを検討します。最先端の画像とテキスト表現を使用した一連のニューラルアーキテクチャをテストし、各コンポーネントを融合するさまざまな方法を考えます。このようなモデルをテストするために、提供された感情やスタイルに基づいて役割を演じるよう依頼された人間同士の対話データセットを収集しました。このような特性の使用もまた、興味惹き度において重要な要素であることが示されています（Guo et al., 2019）。当該データセット「Image-Chat」は、202,000枚の画像上で202,000件のダイアログが行われ、215種類の可能なスタイル特性を使用しています。自動評価指標と人間による評価結果から、当研究手法の有効性が示されました。特に既存のIGCタスクにおいて最先端の性能を達成しており、「Image-Chat」テストセットにおいて最良パフォーマンスを発揮したモデルは人間に近い性能を示しています（47.7%の頻度で選好される）。以上が翻訳となります。ご確認ください。