Wir untersuchen das Problem der Modellierung symbolischer Sequenzen von Polyphonie in einer vollständig allgemeinen Klavierrollendarstellung. Wir stellen ein wahrscheinlichkeitstheoretisches Modell vor, das auf Verteilungsschätzern basiert, die durch eine rekurrente Neuronale Netzwerk konditioniert sind und in der Lage sind, zeitliche Abhängigkeiten in hochdimensionalen Sequenzen zu entdecken. Unser Ansatz übertrifft viele traditionelle Modelle für polyphone Musik bei einer Vielzahl realistischer Datensätze. Wir zeigen, wie unser musikalisches Sprachmodell als symbolischer Prior dienen kann, um die Genauigkeit der polyphonen Transkription zu verbessern.