Dropout ist eine leistungsfähige und weit verbreitete Technik zur Regularisierung des Trainings tiefer neuronaler Netze. In diesem Paper stellen wir eine einfache Regularisierungsstrategie vor, die auf Dropout aufbaut und als R-Drop bezeichnet wird. Diese Strategie zwingt die Ausgabeverteilungen verschiedener Teilmodelle, die durch Dropout generiert werden, untereinander konsistent zu sein. Genauer gesagt minimiert R-Drop für jedes Trainingsbeispiel die bidirektionale Kullback-Leibler-Divergenz (KL-Divergenz) zwischen den Ausgabeverteilungen zweier Teilmodelle, die durch Dropout zufällig ausgewählt wurden. Theoretische Analysen zeigen, dass R-Drop die Freiheitsgrade der Modellparameter reduziert und damit Dropout ergänzt. Experimente an insgesamt $\bf{18}$18 Datensätzen aus $\bf{5}$5 weit verbreiteten Aufgabenbereichen des tiefen Lernens – einschließlich maschineller Übersetzung, abstraktiver Zusammenfassung, Sprachverständnis, Sprachmodellierung und Bildklassifikation – belegen die universelle Wirksamkeit von R-Drop. Insbesondere erzielt R-Drop erhebliche Verbesserungen bei der Feinabstimmung großer vortrainierter Modelle wie ViT, RoBERTa-large und BART und erreicht mit dem einfachen Transformer-Modell Stand der Technik (SOTA)-Leistungen bei der Übersetzung Englisch$\to$→Deutsch (WMT14, $\bf{30.91}$30.91 BLEU) und Englisch$\to$→Französisch (WMT14, $\bf{43.95}$43.95 BLEU), sogar übertroffen Modelle, die mit zusätzlichen großen Datensätzen und expertenentwickelten, fortgeschrittenen Varianten des Transformer-Modells trainiert wurden. Unser Quellcode ist auf GitHub{\url{https://github.com/dropreg/R-Drop}} verfügbar.