音楽の類似性を学ぶための畳み込みニューラルネットワーク（CNN）の仕組みは、ストリーミングサービス（SpotifyやApple Musicなど）の音楽推薦システムの根幹を成す技術です。こうしたプラットフォームは、ユーザーに似た楽曲を正確に提案する能力が求められ、近年では従来のジャンルベースやユーザー行動に基づく推薦に加え、深層学習による「音声埋め込み（audio embeddings）」の活用が進んでいます。この技術では、楽曲を高次元のベクトル空間に変換し、音のリズム、音色、テクスチャー、制作スタイルといった特徴を数値化。これにより、音楽間の類似性を効率的に計算できるようになります。 音声データは元々波形（時間軸上の変動）ですが、これを直接処理するのは計算コストが高いため、通常は「メルスペクトログラム」に変換します。これは時間軸と周波数軸をもつ2次元画像のような表現で、人間の聴覚に合わせた周波数スケール（メル尺度）を用いており、明るい色はエネルギーが高い部分、水平な帯は持続音、垂直なストライプは打楽器の音など、音楽的特徴を視覚的に捉えられます。 このスペクトログラムを入力として、CNNが音楽の特徴を抽出します。モデルは、短い音声断片（チャンク）をランダムに切り出してバッチ処理し、各断片を128次元のベクトルに変換。ここで重要なのは、ラベルなしで学習する「対照学習（contrastive learning）」です。同じ楽曲の異なる断片（Augmentation）を「正例」、他の楽曲の断片を「負例」として扱い、類似するもの同士の距離を小さく、異なるもの同士の距離を広げるように損失関数（InfoNCE）を最適化します。これにより、同じ楽曲の断片は空間上で近くに集まり、異なる楽曲は離れるようになります。 CNNの構造は、3層の畳み込み層で構成され、フィルタ数を32→64→128と増やしながら、低レベルの音の特徴（ノートオンセット、打楽器の音）から高レベルの音色や構造を学習。最後にグローバル平均プーリングと全結合層で128次元の埋め込みベクトルを出力し、L2正規化で単位球面上に配置。これにより、類似度はコサイン類似度で簡単に計算可能になります。 評価には、PCAとt-SNEによる次元削減を用いて埋め込み空間を可視化。PCAではジャンルごとの連続的な分布が見られ、音楽の微妙な違いを捉えていることが示され、t-SNEでは同ジャンルの楽曲が局所的に集まっている様子が確認されました。これは、音楽の類似性を自然に学習できている証拠です。 実用化では、アップロードされたMP3からスペクトログラムを生成し、モデルで埋め込みを算出し、既存の埋め込みと類似度比較。これにより、ユーザーの好みに合った楽曲をリアルタイムで推薦するWebアプリが実現可能です。ただし、現代の推薦システムは音声埋め込みとユーザー行動データ（協調フィルタリング）を組み合わせたハイブリッド型が主流で、音の「似ているか」と「誰が好きか」の両方を考慮することで、より正確な推薦が可能になります。