要約
深層ニューラルネットワークは、自然言語処理、コンピュータビジョン、音声処理の幅広い分野において、最先端の性能を達成している。しかし、メモリ容量が極めて小さく、計算能力に制限のあるデバイス（例：スマートフォンやスマートウォッチ）上でこれらの複雑なネットワークを実行することは、依然として大きな課題である。本研究では、オンデバイスで動作する自己統治型ニューラルネットワーク（Self-Governing Neural Networks; SGNNs）を提案する。SGNNsは、局所感度ハッシュ（Local Sensitive Hashing）を用いて、コンパクトな射影ベクトルを学習する。従来の手法と比較して、SGNNsの最大の利点は、事前学習された単語埋め込み（pre-trained word embeddings）やパラメータ数が膨大な複雑なネットワークの必要性を排除できることにある。対話行動分類（dialog act classification）を対象に広範な評価を行った結果、最先端の成果を顕著に上回ることが示された。本研究の結果から、SGNNsが低次元の意味的テキスト表現を効果的に捉えつつ、高い精度を維持できることを明らかにした。