Inpainting Transformer für die Anomalieerkennung

Die Anomalieerkennung in der Computer Vision befasst sich mit der Identifizierung von Bildern, die von einer Menge normaler Bilder abweichen. Ein verbreiteter Ansatz besteht darin, tiefe konvolutionelle Autoencoder darauf zu trainieren, bedeckte Bereiche eines Bildes zu rekonstruieren und anschließend das Ergebnis mit dem Originalbild zu vergleichen. Durch das Training ausschließlich an anoma­lienfreien Beispielen wird angenommen, dass das Modell anomale Regionen nicht korrekt rekonstruieren kann. Für die Anomalieerkennung mittels Inpainting schlagen wir vor, Informationen aus möglicherweise weit entfernten Regionen zu integrieren. Insbesondere formulieren wir die Anomalieerkennung als Patch-Inpainting-Aufgabe und schlagen einen rein auf Selbst-Attention basierenden Ansatz vor, der auf Konvolutionen verzichtet. Der vorgeschlagene Inpainting Transformer (InTra) wird darauf trainiert, bedeckte Patche in einer langen Sequenz von Bildpatchen zu rekonstruieren, wodurch Informationen über große Bereiche des Eingabebildes integriert werden. Bei Trainings von Grund auf, im Vergleich zu anderen Methoden, die keine zusätzlichen Trainingsdaten verwenden, erzielt InTra Ergebnisse auf dem Niveau des aktuellen State-of-the-Art auf dem MVTec AD-Datensatz für die Detektion und übertrifft diese bei der Segmentierung.