Wo ist mein Spiegel?

Spiegel sind in unserem täglichen Leben allgegenwärtig. Bestehende Computer-Vision-Systeme berücksichtigen Spiegel jedoch nicht, wodurch sie durch den in Spiegeln reflektierten Inhalt verwirrt werden können und dies zu einer erheblichen Leistungsverschlechterung führt. Die Trennung des realen Inhalts außerhalb eines Spiegels vom reflektierten Inhalt innerhalb desselben ist jedoch nicht trivial. Die Hauptausforderung besteht darin, dass Spiegel in der Regel Inhalte widerspiegeln, die ihren Umgebungen ähnlich sind, was es sehr schwierig macht, zwischen beiden zu unterscheiden. In dieser Arbeit stellen wir eine neuartige Methode zur Segmentierung von Spiegeln aus einem Eingabebild vor. Nach bestem Wissen handelt es sich dabei um die erste Arbeit, die das Problem der Spiegelsegmentierung mit einem computergestützten Ansatz behandelt. Wir leisten folgende Beiträge: Erstens bauen wir einen umfangreichen Spiegeldatensatz auf, der Spiegelbilder mit entsprechenden manuell annotierten Masken enthält. Dieser Datensatz umfasst eine Vielzahl von Szenen aus dem täglichen Leben und wird für zukünftige Forschungen öffentlich zugänglich gemacht. Zweitens schlagen wir ein neues Netzwerk namens MirrorNet (SpiegelNetz) vor, das sowohl semantische als auch niedrigstufige Farb-/Texturunterbrechungen zwischen den Inhalten innerhalb und außerhalb der Spiegel modelliert. Drittens führen wir umfangreiche Experimente durch, um die vorgeschlagene Methode zu evaluieren und zeigen, dass sie sorgfältig ausgewählte Baseline-Methoden aus den aktuellen Detektions- und Segmentierungsverfahren übertrifft.