本論文では、イベントベースの密な予測タスク向けに低遅延なニューラルネットワークアーキテクチャを提案する。従来のアーキテクチャは、時間的特性にかかわらず一定のレートでシーン全体の情報をエンコードするが、本提案手法は、動きの速さに応じて適切な時間スケールでコンテンツをエンコードする。この目的を達成するために、異なるレートで動作するスタックされた潜在記憶（latent memories）を用いて時間階層構造を構築する。低遅延なイベントストリームを入力として、多段階の記憶モジュールが高速な記憶から遅速な記憶へ情報を伝搬させることで、動的から静的へと段階的にシーンコンテンツを抽出する。このアーキテクチャは、従来手法の冗長性を低減するとともに、長期依存関係を有効に活用する。さらに、注目機構（attention-based）を用いたイベント表現により、疎なイベントストリームが記憶セルに効率的にエンコードされる。本手法は、3つのイベントベースの密な予測タスクにおいて広範な評価を実施し、精度および遅延の両面で既存手法を上回るとともに、イベントと画像の有効な融合能力を示した。コードは以下のURLで公開されている：https://hamarh.github.io/hmnet/