3ヶ月前

重み付きTsetlinマシン:重み付き節を用いた圧縮表現

Adrian Phoulady, Ole-Christoffer Granmo, Saeed Rahimi Gorji, Hady Ahmady Phoulady
重み付きTsetlinマシン:重み付き節を用いた圧縮表現
要約

Tsetlin Machine(TM)は、データから連言節(conjunctive clauses)を構築することでパターン認識を行う解釈可能性の高いメカニズムである。これらの節は、高い識別力を持つ頻出パターンを捉え、追加される毎に表現力が向上する。しかし、その精度の向上は、計算時間およびメモリ使用量の線形増加というコストを伴う。本論文では、節に重みを付与することで計算時間およびメモリ使用量を削減する重み付きTsetlin Machine(WTM)を提案する。実数値の重み付けにより、1つの節が複数の節に置き換えることが可能となり、各節の影響度を微調整できる。本研究で提唱する新規な手法は、節の構成とその重みの両方を同時に学習する。さらに、成功確率 $ p $ の $ k $ 個のベルヌーイ試行を、平均サイズ $ p k $ の一様サンプルに置き換えることで、学習効率を向上させた。平均サイズは二項分布から抽出される。実験評価において、WTMはMNIST、IMDb、Connect-4の各データセットでTMと同等の精度を達成し、それぞれ節の数を $ 1/4 $、$ 1/3 $、$ 1/50 $ に削減した。同じ節数を用いた場合、WTMはTMを上回り、それぞれ $ 98.63\% $、$ 90.37\% $、$ 87.91\% $ の最高テスト精度を達成した。最後に、本研究で提案する新規なサンプリング手法により、サンプル生成時間は7倍短縮された。

重み付きTsetlinマシン:重み付き節を用いた圧縮表現 | 論文 | HyperAI超神経