画像分類において、異なる物体カテゴリー間の視覚的な識別可能性は非常に不均一であり、一部のカテゴリーは他のカテゴリーよりも識別が困難である。このような難しいカテゴリーにはより専門的な分類器が必要とされる。しかし、既存の深層畳み込みニューラルネットワーク（CNN）は平坦なNクラス分類器として訓練されており、カテゴリーの階層構造を活用する試みはほとんど行われていない。本論文では、深層CNNをカテゴリー階層に埋め込むことで階層的な深層CNN（HD-CNN）を導入する。HD-CNNは粗いカテゴリー分類器を使用して簡単なクラスを区別し、細かいカテゴリー分類器を使用して難しいクラスを識別する。HD-CNNの訓練中には、コンポーネントごとの事前学習が行われた後、粗いカテゴリーの一貫性項で正則化された多項ロジスティック損失による全体的な微調整が行われる。さらに、細かいカテゴリー分類器の条件付き実行とレイヤーパラメータの圧縮により、HD-CNNは大規模な視覚認識に対してスケーラブルとなる。CIFAR100および大規模なImageNet 1000クラスベンチマークデータセットにおいて、我々は最先端の結果を達成した。実験では3つの異なるHD-CNNを構築し、それぞれ標準的なCNNのトップ1エラー率を2.65%、3.1%、1.1%低下させている。