卷积神经网络如何学习音乐相似性？以音频嵌入实现音乐推荐 流媒体平台如Spotify和Apple Music需要精准推荐新歌曲，提升用户体验。现代推荐系统通常采用混合架构，融合多种方法。一种常见方式是基于用户选择的音乐风格进行内容推荐，称为内容感知过滤；另一种是协同过滤，通过分析相似用户的行为来推荐歌曲。 然而，近年来越来越多平台开始采用深度学习技术，将歌曲转化为高维嵌入向量（embedding），从而在语义层面捕捉音乐的节奏、音色、纹理和制作风格。这种嵌入空间能高效计算歌曲间的相似性，尤其适合处理数亿用户和千万首歌曲的场景，相比传统协同过滤更具可扩展性。 那么，音频如何成为神经网络的输入？原始音频文件（如MP3）本质上是随时间变化的波形信号，直接处理成本高且数据需求大。因此，通常将其转换为梅尔频谱图（mel-spectrogram）——一种二维图像表示，横轴为时间，纵轴为梅尔尺度频率，像素值代表该频段在特定时刻的能量强度。这种表示更符合人耳听觉特性，也更适合输入CNN。 梅尔频谱图中的视觉特征蕴含丰富音乐信息：明亮区域代表高能量，如鼓点或强音；水平条纹常对应持续音符（如人声或弦乐）；垂直条带则表示短时高频爆发，如鼓击或拍手。 接下来，通过卷积神经网络（CNN）从频谱图中提取特征。关键挑战在于：如何在无标签情况下让模型学会判断两个音频片段是否属于同一首歌？这通过“分块+对比学习”策略解决。 训练时，从每首歌中随机截取128×129的频谱片段组成一个批次（8个样本），输入CNN。每个片段经过多层卷积后生成128维嵌入向量。为训练模型识别相似性，采用对比学习损失（如InfoNCE损失）：对每个样本生成两个带噪声的增强视图（加入随机高斯噪声），然后计算两个视图间嵌入的余弦相似度。 损失函数通过softmax归一化，使同一首歌的两个视图嵌入距离最小，而与其他歌曲的嵌入距离拉大。这促使模型在无标签情况下自动构建结构化的嵌入空间——相似音频靠近，不相似的远离。 模型结构采用简单CNN：第一层用32个滤波器提取局部特征（如音符起始、打击乐）；第二层增至64个，捕捉节奏和音色模式；第三层为128个滤波器，提取更高层次特征（如整体音色平衡）。随后使用全局平均池化压缩时间-频率结构，输出固定长度的128维向量，再经全连接层和L2归一化，形成单位球面上的嵌入。 为验证嵌入质量，使用PCA和t-SNE对高维嵌入进行降维可视化。PCA显示各音乐流派呈连续分布，说明模型捕捉了音乐特征的渐变关系；t-SNE则显示同流派歌曲局部聚集，但存在跨流派重叠，反映真实音乐的模糊边界。二者共同表明嵌入空间既具全局一致性，又保留局部相似性。 最终，可将该模型用于实际推荐系统：上传一首歌曲，生成其嵌入，再在预计算的嵌入库中通过余弦相似度查找最相似的歌曲。该系统可与协同过滤结合，实现“音质相似性+用户偏好”的混合推荐，显著提升推荐效果。 本项目基于FMA小数据集，所有图表由作者使用AI工具生成，符合开源协议，无版权争议。