人工知能（AI）システム、特に深層学習（DL）モデルの非透明性は、その理解可能性および信頼性に大きな課題をもたらしている。本研究では、視覚的分析（VA）および人間を含むループ（HITL）の原則を活用し、DLモデルの説明可能性を向上させることを目的としており、エンドユーザーがこれらのシステムをより透明かつ理解しやすい形で利用できるようにする。本研究では、DLモデルの出力を、より理解しやすい機械学習（ML）モデルを用いて解釈するための新しいアプローチを提案する。この手法は、DLモデルの特徴空間とMLモデルの特徴空間の間に遷移行列（transition matrix）を構築することを特徴とし、それぞれを形式的モデルおよび認知的モデルとして捉えることで、分類タスクにおける説明可能性を向上させる。本アプローチの有効性は、MNIST、FNC-1、Irisの各データセットを対象とした計算実験により検証された。評価基準として、提案手法による結果とトレーニングおよびテストサンプルの真値（ground truth）との差異を定性的および定量的に比較した。MNISTデータセットにおいて、本手法はモデルの明確性と理解性を顕著に向上させ、SSIM（構造的類似度指数）とPSNR（ピーク信号対ノイズ比）がそれぞれ0.697および17.94を達成し、高忠実度の再構成を実現した。また、FNC-1データセットでは、F1mスコア77.76％および加重精度89.38％を達成し、ステークホルダーアナリシス（ステーク・デテクション）において高い有効性を示した。さらに、重要なテキスト的ニュアンスを説明可能な能力も併せ持つ。Irisデータセットでは、本手法に基づいて構築された分離超平面により、分類精度の向上が実現された。総合的に、VA、HITL原則および遷移行列を統合した本アプローチは、DLモデルの説明可能性を大幅に向上させつつ、モデルの性能を損なわないことを示した。これは、より透明性と信頼性の高いAIシステムの開発に向けて、重要な一歩を踏み出したものである。