Identification des schémas de détérioration des pierres à l’aide de grands modèles multimodaux

La conservation des sites patrimoniaux fondés sur le matériau pierre constitue une préoccupation essentielle pour la préservation des monuments culturels et historiques. Avec l’émergence des grands modèles multimodaux, tels que GPT-4omni (OpenAI), Claude 3 Opus (Anthropic) et Gemini 1.5 Pro (Google), il devient de plus en plus crucial de définir les capacités opérationnelles de ces modèles. Dans ce travail, nous évaluons de manière systématique les capacités des principaux modèles fondamentaux multimodaux à reconnaître et à classifier les anomalies et les schémas de détérioration des éléments en pierre, des compétences particulièrement utiles dans la pratique de la conservation et de la restauration du patrimoine mondial. Après avoir établi une taxonomie des principaux schémas de détérioration et d’anomalies liés à la pierre, nous avons soumis aux modèles fondamentaux une sélection soigneusement curatée de 354 images hautement représentatives de patrimoine bâti en pierre, en leur offrant une liste précise d’étiquettes parmi lesquelles choisir. Les résultats, qui varient selon le type de schéma, ont permis d’identifier les forces et les faiblesses de ces modèles dans le domaine de la conservation et de la restauration du patrimoine.