Fein granulierte visuelle Klassifikationsdatensätze (FGVC) enthalten kleine Stichprobenumfänge sowie erhebliche innerklassische Variationen und zwischenklassische Ähnlichkeiten. Während frühere Arbeiten die innerklassische Variation durch Verwendung von Lokalisierungs- und Segmentierungstechniken angegangen sind, kann die zwischenklassische Ähnlichkeit das Feature-Lernen beeinflussen und die Klassifikationsleistung verringern. In dieser Arbeit adressieren wir dieses Problem durch ein neuartiges Optimierungsverfahren für das end-to-end Training neuronaler Netze bei FGVC-Aufgaben. Unser Verfahren, Pairwise Confusion (PC), reduziert das Überanpassen, indem es bewusst {Verwirrung} in den Aktivierungen einführt. Mit der PC-Regularisierung erreichen wir den aktuellen Stand der Technik auf sechs der am häufigsten verwendeten FGVC-Datensätze und zeigen eine verbesserte Lokalisierungsfähigkeit. {PC} ist einfach zu implementieren, benötigt während des Trainings keine übermäßige Anpassung von Hyperparametern und fügt während der Testphase keinen signifikanten Overhead hinzu.