テキスト分類の性能は、巧妙に設計されたニューラルベースのモデルを使用することで大幅に向上しました。特に、カテゴリーメタデータを追加情報として注入するモデル（例：ユーザーや製品情報を感情分析に使用）ではその傾向が顕著です。これらの情報は、モデルの一部（単語埋め込みや注意機構など）を変更し、結果をメタデータに合わせてカスタマイズするために使用されています。しかし、我々は現在のカテゴリーメタデータの表現方法が人間向けに設計されており、一般的な分類手法においてその効果が過大評価されていることに注目しました。実際には、単純な連結方法で最終層でのセンテンスエンコーダーにおけるカテゴリーフィーチャーを結合した場合でも、それらの手法を上回ることがあります。我々は、利用可能なコンテキストがカテゴリーを間接的にのみ説明しており、さらにはそのようなコンテキストがしばしば不足している（長尾カテゴリーの場合）ため、機械にとってカテゴリーフィーチャーを表現することが難しいと推測します。この問題に対処するため、我々は基底ベクトルを使用してニューラルベースのモデルのさまざまな部分に効果的にカテゴリーメタデータを取り入れる手法を提案します。これにより特にカテゴリーフィーチャー数が多い場合でもパラメータ数が劇的に減少します。異なる特性を持つ様々なデータセットに対する広範な実験を行い、我々の手法を通じて未探索の部分も含めてモデルの一部をより効果的にカスタマイズし、モデルの性能を大幅に向上させることができるという結果を得ました。