Tsetlin Machine（TM）は命題論理に基づく解釈可能性に優れたパターン認識アルゴリズムであり、感情分析、テキスト分類、語義のあいまいさ解消（Word Sense Disambiguation）など、多くの自然言語処理（NLP）タスクにおいて競争力のある性能を示している。従来のTMは、人間レベルの解釈可能性を実現するために、Bag-of-Words（BOW）のようなブール値入力特徴量を用いていた。しかし、BOW表現は、word2vecやGloVeといった事前学習済みの単語表現を活用することができないという制約をもたらす。この制限により、TMの性能は深層ニューラルネットワーク（DNN）に比べて劣っていた。本論文では、この性能ギャップを縮小するため、TMに事前学習済み単語表現を活用する新たな手法を提案する。本手法により、TMの性能と解釈可能性が著しく向上した。具体的には、事前学習済み単語表現から意味的に関連する単語を抽出し、それらをTMの入力特徴量として用いることで実現した。実験の結果、提案手法は従来のBOWベースのTMと比較して著しく高い精度を達成し、DNNベースのモデルと同等の性能を実現した。