自然災害（例：地震、ハリケーンなど）が発生した際には、迅速かつ効果的な対応が必要です。救援活動を展開する前に衛星画像から建物の損傷状況を評価することは極めて重要です。前災害と後災害の衛星画像ペアを使用して、建物の損傷範囲を予測することが建物損傷評価の目的です。特徴表現能力に優れた深層ニューラルネットワークは、建物損傷評価に成功裏に適用されてきました。しかし、既存の多くの研究では、前災害と後災害の画像を単純に連結して深層ニューラルネットワークへの入力として使用し、それらの相関性を考慮していないのが現状です。本論文では、新たな二段階構造の畳み込みニューラルネットワークであるBDANet（Building Damage Assessment Network）を提案します。第一段階ではU-Netを使用して建物の位置情報を抽出します。その後、第一段階で得られたネットワークの重みを第二段階で共有し、建物損傷評価を行います。第二段階では、前災害と後災害の画像をそれぞれ別々に入力するための二分岐マルチスケールU-Netがバックボーンとして用いられます。また、前災害と後災害の画像間の相関性を探るため、クロスディレクショナルアテンションモジュールを提案しています。さらに、CutMixデータ拡張手法を利用することで難易度が高いクラスへの対処も可能となっています。提案手法は大規模データセット xBD において最先端の性能を達成しました。コードは https://github.com/ShaneShen/BDANet-Building-Damage-Assessment で公開されています。