本稿では、現代の深層ニューラルネットワークの訓練に必要なメモリ量を大幅に削減し、計算効率的に処理する新しい手法であるIn-Place Activated Batch Normalization（InPlace-ABN）を提案します。当手法は、従来使用されているBatchNorm + 活性化関数レイヤーの連続を単一のプラグインレイヤーで置き換えることで、既存の深層学習フレームワークへの侵襲的な変更を回避しつつ、容易な適用性を提供します。中間結果を破棄し、逆伝播時に保存された順伝播結果の逆転によって必要な情報を回復することで、最大50%のメモリ節約が可能となりました。これにより計算時間は僅かに増加（0.8-2%）しますが、頻繁に使用されるチェックポイント手法もInPlace-ABNと同等の計算効率にする方法を示しています。画像分類に関する実験では、ImageNet-1kにおいて最先端的手法と同等の結果を得ることを確認しました。また、メモリ消費量が多いセマンティックセグメンテーションタスクにおいては、COCO-Stuff, Cityscapes, Mapillary Vistasデータセットでの結果を報告しており、追加の訓練データなしで単一スケール・単一モデルシナリオにおいてMapillary Vistasで新たな最先端の結果を得ています。コードは以下のURLから入手可能です: https://github.com/mapillary/inplace_abn 。