2ヶ月前

感情分類における属性表現と注入の再考

Reinald Kim Amplayo
感情分類における属性表現と注入の再考
要約

製品レビューにおけるテキスト属性(ユーザ情報や製品情報など)は、感情分類モデルの性能向上に利用されてきました。一般的な手法は、これらの属性を注意機構の追加バイアスとして組み込むことであり、モデルアーキテクチャの拡張によりさらなる性能向上が達成されています。本論文では、上記の方法が属性を表現および注入する最も効果的でない方法であることを示します。この仮説を証明するために、従来の複雑なアーキテクチャを持つモデルとは異なり、ベースモデルを単純なBiLSTMと注意分類器に限定し、代わりに属性がどのようにそしてどの部分に組み込まれるべきかに焦点を当てました。我々は属性をチャンクごとの重要度行列として表現することを提案し、モデル内の4つの位置(すなわち、埋め込み層、エンコーディング層、注意機構、分類器)で属性を注入することを考えました。実験結果は、我々の提案手法が標準的な手法に対して大幅な改善を達成しており、また注意機構が属性注入の最悪の場所であることを示しており、これは以前の研究と矛盾しています。さらに、単純なベースモデルを使用しているにもかかわらず最先端技術を超える性能を達成しました。最後に、これらの表現が他のタスクにも良好に転用できることを示しています。モデル実装とデータセットは以下のURLで公開されています: https://github.com/rktamplayo/CHIM。以上が翻訳となります。内容や表現について何かご不明点がありましたらお知らせください。