トークンチューリングマシン

我々は、現実世界の順次的視覚理解を目的とした、記憶機構を備えた順次的かつ自己回帰的なTransformerモデルであるToken Turing Machine（TTM）を提案する。本モデルは画期的なNeural Turing Machineに着想を得ており、過去の履歴（すなわちフレーム）を要約する一連のトークンから構成される外部記憶を備えている。この記憶は、各ステップにおいてTransformerを処理ユニット（コントローラー）として用いることで、効率的にアドレス指定され、読み書きが行われる。メモリモジュールにより、新しい観測値は記憶の内容（全履歴ではなく）のみと処理されるため、各ステップにおける計算コストが一定範囲内に抑えられ、長期間のシーケンスを効率的に処理することが可能となる。実験では、TTMが長序列用に設計された他のTransformerモデルや再帰型ニューラルネットワークと比較して、動画からのオンライン時系列行動検出および視覚ベースのロボット行動方策学習という2つの現実世界の順次的視覚理解タスクにおいて優れた性能を発揮することを示した。コードは公開されており、以下のURLから入手可能である：https://github.com/google-research/scenic/tree/main/scenic/projects/token_turing