近年、超高精細ディスプレイ向けの高解像度（HR）コンテンツを提供するため、動画スーパーレゾリューション（VSR）の重要性がさらに高まっている。多くの深層学習ベースのVSR手法が提案されてきたが、その多くは動き推定と補償の精度に大きく依存している。本稿では、VSRに対して根本的に異なる枠組みを提案する。我々は、各ピクセルの局所的な時空間近傍に基づいて動的アップサンプリングフィルタおよび残差画像を生成する、新たなエンドツーエンドの深層ニューラルネットワークを提案する。この手法は明示的な動き補償を回避するものであり、入力画像から動的アップサンプリングフィルタを用いて直接HR画像を再構成し、計算された残差により微細な詳細を追加する。また、新たなデータ拡張技術を活用することで、従来手法と比較して、よりシャープで時間的に一貫性のあるHR動画を生成することが可能となる。さらに、広範な実験を通じた分析により、本ネットワークがどのように動きを間接的に処理しているかを明らかにする。