Das Erlernen einer effektiven Ähnlichkeitsmetrik zwischen Bildrepräsentationen ist entscheidend für den Erfolg jüngster Fortschritte in visuellen Suchaufgaben (z.B. Verifikation oder Zero-Shot-Lernen). Obwohl der Teil des Metriklearnings gut bearbeitet ist, wird diese Metrik in der Regel über dem Mittelwert der extrahierten tiefen Merkmale berechnet. Diese Repräsentation wird dann zur Diskriminierung trainiert. Allerdings sind diese tiefen Merkmale oft im Merkmalsraum verstreut. Folglich sind die Repräsentationen gegenüber Ausreißern, Objektverdeckungen, Hintergrundvariationen usw. nicht robust. In dieser Arbeit adressieren wir dieses Streuungsproblem mit einer distributionsbewussten Regularisierung namens HORDE (Hierarchical Overlap Regularization for Deep Embeddings). Dieser Regularisierer zwingt visuell nahe liegende Bilder dazu, tiefere Merkmale mit derselben Verteilung zu haben, die gut im Merkmalsraum lokalisiert sind. Wir geben eine theoretische Analyse, die diesen Regularisierungseffekt unterstützt. Darüber hinaus zeigen wir die Effektivität unseres Ansatzes durch die Erzielung von Stand-der-Technik-Ergebnissen auf 4 bekannten Datensätzen (Cub-200-2011, Cars-196, Stanford Online Products und Inshop Clothes Retrieval).