Die Vortrainierung von Modellen auf riesigen Mengen an ungelabelten Daten ist zu einer effektiven Methode geworden, um die Genauigkeit vieler NLP-Aufgaben zu verbessern. Andererseits hat die traditionelle maschinelle Übersetzung lange Erfahrung darin, ungelabelte Daten durch noisy channel Modeling zu nutzen. Dieser Ansatz hat sich kürzlich auch als äußerst wirksam für neuronale maschinelle Übersetzung erwiesen. Leider ist ein naiver Einsatz des noisy channel Modells mit modernen Sequenz-zu-Sequenz-Modellen bis zu eine Größenordnung langsamer als alternative Ansätze. Wir lösen dieses Problem, indem wir effiziente Approximationen einführen, die die Inferenz mit dem noisy channel Ansatz so schnell wie starke Ensembles machen, gleichzeitig jedoch die Genauigkeit erhöhen. Zudem zeigen wir, dass der noisy channel Ansatz starke Vortrainierungsresultate übertreffen kann und eine neue State-of-the-Art-Leistung bei der WMT-Übersetzung Rumänisch-Englisch erreicht.