Identifikation von Steinschädigungsmustern mit großen multimodalen Modellen

Die Erhaltung von kulturhistorischen Stätten aus Stein ist eine zentrale Herausforderung bei der Bewahrung kultureller und historischer Denkmäler. Mit dem Aufkommen großer multimodaler Modelle wie GPT-4omni (OpenAI), Claude 3 Opus (Anthropic) und Gemini 1.5 Pro (Google) wird es zunehmend wichtiger, die operativen Fähigkeiten dieser Modelle präzise zu definieren. In dieser Studie evaluieren wir systematisch die Leistungsfähigkeit der führenden grundlegenden multimodalen Modelle hinsichtlich der Erkennung und Klassifizierung von Anomalien und Verwitterungsmustern an Steinbauteilen – Informationen, die für die Praxis des Denkmalschutzes und der Restaurierung von Weltkulturerbe von entscheidender Bedeutung sind. Nach der Definition einer Taxonomie der wichtigsten Verwitterungsmuster und Anomalien aus Steinbauwerken wurden die Modelle mit einer sorgfältig ausgewählten Sammlung von 354 hochrepräsentativen Bildern kultureller Steinbauten konfrontiert, wobei ihnen eine präzise Auswahl an Klassifizierungsetiketten zur Verfügung gestellt wurde. Die Ergebnisse, die je nach Art des Musters variieren, ermöglichen es uns, die Stärken und Schwächen dieser Modelle im Bereich des Denkmalschutzes und der Restaurierung zu identifizieren.