Halbüberwachte Schätzung der menschlichen Haltung in kunsthistorischen Bildern

Gestik als Sprache der nichtverbalen Kommunikation wurde seit dem 17. Jahrhundert theoretisch begründet. Ihre Relevanz für die bildenden Künste wurde jedoch nur gelegentlich thematisiert. Dies liegt möglicherweise vor allem an der enormen Menge an Daten, die traditionell von Hand verarbeitet werden mussten. Mit dem stetigen Fortschritt der Digitalisierung sind jedoch zunehmend historische Artefakte indiziert und der Öffentlichkeit zugänglich gemacht worden, was das Bedürfnis nach automatischer Abrufung von kunsthistorischen Motiven mit ähnlichen Körperkonstellationen oder -haltungen geschaffen hat. Da das Gebiet der Kunst durch seine stilistische Vielfalt erheblich von existierenden realweltlichen Datensätzen zur Schätzungen menschlicher Haltungen abweicht, stellt dies neue Herausforderungen dar. In dieser Arbeit schlagen wir einen neuen Ansatz zur Schätzung menschlicher Haltungen in kunsthistorischen Bildern vor. Im Gegensatz zu früheren Arbeiten, die versuchten, die Domänenlücke durch vortrainierte Modelle oder Stilübertragung zu überbrücken, empfehlen wir halbüberwachtes Lernen sowohl für Objekterkennung als auch für Keypoint-Detektion. Darüber hinaus stellen wir einen neuen, domänenspezifischen Kunstdatensatz vor, der sowohl Begrenzungsrahmen- als auch Keypoint-Annotierungen von menschlichen Figuren enthält. Unser Ansatz erzielt signifikant bessere Ergebnisse als Methoden, die vortrainierte Modelle oder Stilübertragung verwenden.