基于层次频率-时间变换器的自动钢琴转录

考虑长期的频谱和时间依赖性对于自动钢琴转录至关重要。这在确定多声部钢琴内容中每个音符的确切起始时间和终止时间时尤为有用。在这种情况下，我们可以依赖Transformer中的自注意力机制来捕捉频率轴和时间轴上的这些长期依赖性。在这项工作中，我们提出了一种名为hFT-Transformer的方法，该方法采用两级层次化的频率-时间Transformer架构进行自动音乐转录。第一级包括时间轴上的卷积块、频率轴上的Transformer编码器以及将频率轴维度转换为输出的Transformer解码器。然后，输出被送入第二级，该级由另一个时间轴上的Transformer编码器组成。我们使用广泛使用的MAPS和MAESTRO v3.0.0数据集对我们的方法进行了评估，结果表明，在帧、音符、带偏移的音符以及带偏移和速度的音符估计的所有F1分数指标上，该方法均达到了最先进的性能。