Nach 80.000 Gemälden + Manuellem Annotationstraining Lernte Der Algorithmus, Berühmte Gemälde Zu Schätzen

Kunstwerke verkörpern oft die inneren Gefühle des Autors und auch die Wertschätzung eines Musikstücks oder eines Gemäldes löst bei Menschen Emotionen aus. Können Computer die Emotionen in Kunstwerken verstehen? Ein Forschungsteam der Stanford University entwickelt diesen Algorithmus.

Leo Tolstoi sagte: „Kunst ist eine menschliche Tätigkeit, bei der der Mensch seine Gefühle bewusst durch äußere Symbole an andere weitergibt und auch andere von diesen Gefühlen angesteckt werden und sie wirklich erleben.“

Nehmen Sie Kunstgemälde als Beispiel. Hinter jedem Werk steckt eine bestimmte Emotion des Malers. Berühmte Maler wie Van Gogh und Picasso haben ihre einzigartigen Stimmungen und Emotionen zu verschiedenen Zeiten durch unterschiedliche Farben und Kompositionen zum Ausdruck gebracht.

Können Computer die in diesen Kunstwerken enthaltenen Emotionen verstehen? Ein Informatik-Forschungsteam der Stanford University hat einen neuen Datensatz namens ArtEmis zusammengestellt, der eine große Anzahl von Kunstgemälden und manuell annotierte entsprechende emotionale Erlebnisse enthält, und ein Computermodell trainiert, das emotionale Reaktionen auf visuelle Kunst hervorrufen kann.

Gemälde verstehen, beginnend mit Datensätzen zur Stimmungsbeschriftung

WikiArt: Online-Museum berühmter Gemälde 

WikiArt, ein gemeinnütziges Freiwilligenprojekt, hat seit seiner Einführung im Jahr 2010 visuelle Kunstwerke aus aller Welt gesammelt und kann als großes Online-Museum berühmter Gemälde angesehen werden.

Laut der Website, Stand Januar 2020,Die Site enthält 169.057 Gemälde von 3.293 Künstlern, darunter 61 Genres.

WikiArt verfügt über eine große Anzahl von Gemälden mit klarer Klassifizierung und ist daher zu einem Datensatz geworden, der von vielen KI-Forschern zum Trainieren von Algorithmen verwendet wird.

Im Jahr 2015 arbeiteten Forscher der Rutgers University und des Facebook AI Lab zusammen, um GAN (Generative Adversarial Network) zu entwickeln und es anhand von WikiArt-Daten zu trainieren, wodurch GAN in die Lage versetzt wurde, zwischen verschiedenen Kunststilen zu unterscheiden.

ArtEmis: Ein neuer Datensatz aus WikiArt 

Das Team der Stanford University hat basierend auf den Werken auf WikiArt einen neuen Annotationsdatensatz für visuelle Kunst, ArtEmis, erstellt.

Sie haben 81.446 Kunstwerke von 1.119 Künstlern auf WikiArt kommentiert.Diese Werke reichen von Kunstwerken aus dem 15. Jahrhundert bis hin zu modernen Gemälden der bildenden Kunst des 21. Jahrhunderts und decken 27 Kunststile (abstrakt, Barock, Kubismus, Impressionismus usw.) und 45 Genres (Stadtlandschaften, Landschaften, Porträts, Stillleben usw.) ab, wodurch sie dem Publikum eine sehr vielfältige visuelle Wirkung bieten.

Für jedes Werk sind mindestens fünf Kommentatoren erforderlich, die ihre vorherrschenden Emotionen beim Betrachten des Gemäldes aufschreiben und die Gründe für diese Emotionen erklären.

Speziell,Nach der Betrachtung eines Kunstwerks muss der Kommentator zunächst einen der acht grundlegenden Gefühlszustände (Wut, Ekel, Angst, Traurigkeit, Belustigung, Ehrfurcht, Zufriedenheit und Aufregung) als die von ihm oder ihr vorherrschende Emotion auswählen. Handelt es sich um keine der oben genannten acht Emotionen, können Sie es auch als „Sonstiges“ markieren.

Nachdem der Kommentator die emotionalen Gefühle benannt hat, muss er in Worten näher erläutern, warum er oder sie sich so fühlt oder warum keine starke emotionale Reaktion auftritt.

Nachfolgend finden Sie die Stimmungsbezeichnungen, die menschliche Kommentatoren den Gemälden gegeben haben, zusammen mit ausführlichen Erklärungen:

Die Etikettierungsarbeiten wurden letztlich von 6.377 Etikettierern auf der Crowdsourcing-Plattform von Amazon erledigt und nahmen insgesamt 10.220 Stunden in Anspruch.

Das Team sagte, dass im Vergleich zu anderen bestehenden ähnlichen Datensätzen,ArtEmis-Annotationen verwenden eine reichhaltigere, emotionalere und vielfältigere Sprache und das aus diesen Annotationen gebildete Korpus enthält insgesamt 36.347 verschiedene Wörter.

ArtEmis（Sentiment-Labeling-Datensatz für Bildende Kunst) Einzelheiten:

Verlag:Stanford University, Ecole Polytechnique und King Abdullah University of Science and Technology

Enthaltene Menge:Insgesamt wurden 439121 Gemälde kommentiert

Datenformat:csv Datengröße:21,8 MB

Adresse:https://orion.hyper.ai/datasets/14861

So erstellen Sie einen Algorithmus, der Emotionen wahrnehmen kann

Um Computern zu ermöglichen, wie Menschen emotional auf visuelle Kunst zu reagieren und die Gründe für diese Emotionen mithilfe von Sprache zu begründen, trainierte das Team auf der Grundlage dieses umfangreichen Datensatzes einen neuronalen Sprecher.

Guibas, Professor am HAI Institute der Stanford University, sagte, dies sei eine neue Erforschung des Computersehens. Frühere klassische Computer Vision-Methoden wiesen oft darauf hin, was auf dem Bild zu sehen war, z. B.: Da sind drei Hunde; jemand trinkt Kaffee ... und seine Arbeit besteht darin, Emotionen in der bildenden Kunst auszudrücken.

Nach dem Training mit dem ArtEmis-DatensatzDer Algorithmus erkennt die in verschiedenen Gemälden enthaltenen Emotionen und generiert automatisch die Grundlage für eine solche Beurteilung.Die Beispielergebnisse lauten wie folgt:

Das Papier stellt die spezifischen Trainingsideen vor.Zunächst wird ArtEmis verwendet, um das Modell zu trainieren, das Problem der emotionalen Interpretation von Kunstgemälden zu lösen.Dies ist ein klassisches 9-Wege-Textklassifizierungsproblem, und das Team verwendete eine auf Kreuzentropie basierende Optimierung, die auf einen von Grund auf trainierten LSTM-Textklassifizierer angewendet wurde, während es gleichzeitig die Feinabstimmung eines für diese Aufgabe vortrainierten BERT-Modells in Betracht zog.

Lassen Sie den Computer außerdem die emotionalen Reaktionen vorhersagen, die Menschen typischerweise auf das Werk haben.

Um dieses Problem zu beheben, hat das Team einen vortrainierten ResNet32-Encoder auf ImageNet optimiert, indem es die KL-Divergenz zwischen der Ausgabe und den ArtEmis-Benutzeranmerkungen minimiert hat.

Für ein bestimmtes Gemälde ermittelt der Klassifikator zunächst, ob die vermittelte Emotion positiv oder negativ ist, und bestimmt dann weiter, um welche konkrete Emotion es sich handelt.

Teamvorstellung,Bei einem Gemälde kann der Algorithmus nicht nur die allgemeine emotionale Farbe wahrnehmen, sondern auch zwischen den Emotionen der verschiedenen Figuren im Gemälde unterscheiden.Am Beispiel von Rembrandts „Die Enthauptung Johannes des Täufers“ erfasste der KI-Algorithmus nicht nur den Schmerz der Enthauptung Johannes‘, sondern nahm auch die „Genugtuung“ von Salome wahr, der Frau, deren Kopf in dem Gemälde angeboten wurde.

Wenn Algorithmen Empathie haben

Menschliche Emotionen sind sehr reichhaltig, komplex und subtil. Selbst wir Menschen können die Gefühle, die manche Künstler ausdrücken möchten, nicht vollständig verstehen. Daher ist es zwangsläufig mit gewissen Herausforderungen verbunden, der KI zu ermöglichen, die Absichten des Künstlers genau zu verstehen.

Mit der Veröffentlichung des ArtEmis-Datensatzes konnte die KI jedoch den ersten Schritt zur Verarbeitung der emotionalen Attribute von Bildern machen.

Das Team sagte, dass der Algorithmus nach weiterer Forschung und Verbesserung möglicherweise in der Lage sein werde, menschliche Freuden und Sorgen wahrzunehmen, und dass Künstler den Algorithmus nutzen könnten, um zu beurteilen, ob ihre Werke die erwartete emotionale Ausdruckswirkung erzielen können. Sobald der Algorithmus die menschliche Natur verstehen kann, wird der Prozess der Mensch-Computer-Interaktion natürlicher und harmonischer.

Nachrichtenquelle:

https://techxplore.com/news/2021-03-artist-intent-ai-emotions-visual.html

Datensatzpapier: https://arxiv.org/pdf/2101.07396.pdf

Projekthomepage: https://www.artemisdataset.org/#videos