音楽分類は、音楽情報検索の分野で最も人気のあるタスクの一つとなっています。深層学習モデルの発展に伴い、過去10年間で様々な分類タスクにおいて著しい改善が見られました。しかし、モデルの複雑さが増すにつれて、学習と推論の計算コストも高まっています。本論文では、転移学習と特徴量ベースの知識蒸留のアイデアを統合し、事前学習済みオーディオ埋め込みを教師として用いて低複雑度ネットワークの学習をガイドする方法について系統的に調査を行いました。事前学習済み埋め込みによって学生ネットワークの特徴空間を正則化することで、教師埋め込みに含まれる知識を学生に転送することができます。我々は様々な事前学習済みオーディオ埋め込みを使用し、楽器分類と音楽自動タグ付けのタスクにおいてこの手法の有効性を検証しました。結果は、教師の知識なしで同じモデルを学習させた場合と比較して、我々の手法が大幅に性能を向上させることを示しています。この技術は古典的な知識蒸留手法と組み合わせることで、さらにモデルの性能向上が期待できます。