Eine genaue relative Pose ist eine der wesentlichen Komponenten in der visuellen Odometrie (VO) und der simultanen Lokalisierung und Kartierung (SLAM). Kürzlich hat das selbstüberwachte Lernframework, das die relative Pose und die Tiefe des Zielbildes gemeinsam optimiert, die Aufmerksamkeit der Fachgemeinschaft auf sich gezogen. Frühere Arbeiten basieren auf dem photometrischen Fehler, der aus den Tiefen und Posen benachbarter Frames generiert wird, was unter realistischen Szenarien aufgrund reflektierender Oberflächen und Verdeckungen zu großen systematischen Fehlern führt. In dieser Arbeit schließen wir die Lücke zwischen geometrischem Verlust und photometrischem Verlust, indem wir im selbstüberwachten Framework einen durch epipolaren Geometrie beschränkten Matching-Verlust einführen. Bei der Auswertung am KITTI-Datensatz übertrifft unsere Methode die besten bisher bekannten selbstüberwachten Ego-Bewegungs-Schätzmethoden deutlich. Der Code und die Daten sind unter https://github.com/hlzz/DeepMatchVO verfügbar.