説明可能な人工知能（Explainable AI）は、安全に重大な分野における解釈可能なモデルの導入が法的要請として求められるようになって以来、急速に発展してきている。概念ベースのニューラルネットワークは、人間が理解可能な記号（すなわち「概念」）を用いてクラス所属を予測するという点で、「設計段階から説明可能」な手法として注目されている。しかし、これらの多くは最も関連性の高い概念の同定に焦点を当てており、分類器が予測を行う際にその概念をどのように利用しているかを、簡潔かつ形式的な説明として提供するものではない。本論文では、一階論理（First-Order Logic）の形式論理を用いてニューラルネットワークから論理的説明を抽出できる、新たなエンドツーエンド微分可能なアプローチを提案する。本手法は、エントロピーに基づく基準に依拠しており、自動的に最も関連性の高い概念を同定する。本研究では、臨床データからコンピュータビジョンに至るまで、4つの異なる事例研究を検証し、以下の点を示す：（i）エントロピーに基づく基準により、安全に重大な分野において簡潔な論理的説明を抽出可能であることを実証した。また、（ii）提案手法は、分類精度において最先端のホワイトボックスモデルを上回り、ブラックボックスモデルと同等の性能を達成することを確認した。