文字ベースの特徴量とインポートランスサンプリングを用いたニューラルネットワーク言語モデル

本稿では、自動音声認識（ASR）および関連タスクを目的として、Kaldiソフトウェアツールキットにニューラルベースの言語モデルを導入する拡張について述べる。大規模な語彙を扱い、頻度の低い語に対しても対応できるように、子音素特徴（文字n-gram）と頻出語のワンホット符号化を組み合わせた手法を採用する。また、正規化されていない確率の学習を可能にする新しい目的関数を提案し、語彙が大きい場合の学習速度を向上させるために、重要度サンプリングに基づく手法をサポートしている。5つのコーパスを用いた実験結果から、Kaldi-RNNLMは性能面および学習速度の両面で、他の再帰型ニューラルネットワーク言語モデルツールキットと同等以上の性能を発揮することが示された。