2.1 Das Konzept der Ähnlichkeit aus kunsthistorischer Perspektive

[6]In der Kunstgeschichte wird Ähnlichkeit methodisch unter den Begriffen des ›vergleichenden Sehens‹ und des ›vergleichenden Blicks‹ diskutiert. Dabei werden mindestens zwei Objekte anhand verschiedener, zu definierender Merkmale miteinander in Beziehung gesetzt und verglichen. Disziplingeschichtlich geht dieser Vorgang bis ins 19. Jahrhundert auf Anton Springer zurück, der die Kunstgeschichte als Formwissenschaft verstand: Ohne auf vorgefasste Theorien zurückzugreifen, wollte er über Vergleiche zu grundlegenden Individual-, Orts- und Zeitstilen gelangen.‍[11]

[7]Diese vergleichende Betrachtung differenzierte sich später in zwei Varianten aus: in die Analyse der Verschiedenheit der Erscheinungen und in der Analyse von Gemeinsamkeiten, Analogien und Übergängen.‍[12] Die Verschiedenheit der Erscheinungen wird methodisch bei Heinrich Wölfflin angewandt, der mit »Kontrasteindrücken«‍[13] die Unterschiede in Gegensatzpaaren zu erfassen sucht. Analogien hingegen verfolgt Aby Warburgs Bilderatlas Mnemosyne. Dieser versammelt fotografische Reproduktionen auf Tafeln, um einen Überblick über die Summe der Bilder zu geben, die durch die Übernahme von »Pathosformeln« in einem Verwandtschaftsverhältnis zu einander stehen.‍[14] Pathosformeln, etwa als prägnante Ausdruckshaltungen, zeugen für Warburg von einer jahrtausendelangen Tradierung bestimmter Gesten.‍[15] Die Tafeln stehen für Warburg damit in einem Ähnlichkeitsverhältnis und können vergleichend betrachtet werden. Diese und andere Formen der Ähnlichkeitsbestimmung bieten letztlich, wie George Kubler es formuliert, eine Möglichkeit, das Universum zu verstehen, indem wir es durch Identitäten – wie Klassen, Typen und Kategorien – vereinfachen. Auf diese Weise kann die unendliche Folge nichtidentischer Ereignisse in ein endliches System von Ähnlichkeiten überführt werden.‍[16] Die so gebildeten Identitäten dienen auch in der Kunstgeschichte als Grundlage für die vergleichende Betrachtung: Die Fähigkeit zur Kategorienbildung setzt, nach Felix Thürlemann, voraus, »das Gemeinsame und das jeweils Eigene der […] zusammengestellten Bilder – sei es auf inhaltlich-ikonografischer, sei es auf formal-stilistischer Ebene, begrifflich zu fassen«.‍[17]

2.2 Das Konzept der Ähnlichkeit aus informatischer Perspektive

[8]Die algorithmische Mustererkennung hingegen beruht darauf, dass Ähnlichkeiten als Nähe- und Abstandsverhältnisse in einem Vergleichsraum modelliert werden – die Quantifizierung von Ähnlichkeit schafft erst deren Operationalisierung. In diesem Raum stellt jedes Bild einen Vektor in einem hochdimensionalen Koordinatenraum dar. Die relative Lage dieser Vektoren zueinander offenbart ihre relationalen Zusammenhänge, die durch den Vergleich der extrahierten numerischen Merkmale konkretisiert werden. Ziel ist es, die Ähnlichkeit als Wert zwischen 0 und 1 zu bestimmen, wobei Metriken wie der euklidische Abstand oder die Kosinusähnlichkeit verwendet werden (Abbildung 3).

Abb. 3: Visualisierung des euklidischen Abstands d und der Kosinusähnlichkeit cos(θ) zweier Merkmalsvektoren a und b, die die Kunstwerke Studieblad Met Vier Handen (1710–1777) und Studie für die Hände eines Armbrustschützen (1512–1516) repräsentieren. [Grafik: Stefanie Schneider / Matthias Springstein 2024]

[9]In Convolutional Neural Networks (CNNs) wird ein bildrepräsentierender Merkmalsvektor zum Beispiel erzeugt, indem die Pixel des Eingabebildes sequentiell durch mehrere Schichten von Neuronen geleitet werden. Diese Neuronen sind darauf ausgelegt, Bildmerkmale zu identifizieren, von einfachen Farbgradienten in den ersten Schichten bis hin zu semantisch interpretierbaren Mustern und Objektformen in höheren Schichten. Jede dieser Schichten besteht aus einer Reihe von Filtern, die zunächst willkürlich konfiguriert sind, aber während des Trainings zunehmend auf die Erkennung bestimmter Merkmale eingestellt werden. Die Outputs dieser Filter werden auf Feature Maps abgebildet, die die Lokalisation und Relevanz der erkannten Merkmale im Bild anzeigen. Die Feature Maps der tieferen Schichten schließlich werden zu einem Merkmalsvektor, dem sogenannten Embedding, zusammengeführt, der das Bild in einem hochdimensionalen Raum repräsentiert;‍[18] der euklidische Abstand, oder die Kosinusähnlichkeit, bestimmt somit die zu quantifizierende Ähnlichkeit in diesem Merkmalsraum. Sie bleibt jedoch, auch bei mathematischer Quantifizierung, ein von menschlichen Urteilen geprägtes Konzept: Wenn bestimmte kulturelle oder ästhetische Perspektiven in einem Datensatz überrepräsentiert sind, können diese Präferenzen in das Modell eingeschrieben werden. Dies wiederum beeinflusst die Art und Weise, wie das Modell Bilder wahrnimmt und welche Merkmale es als signifikant für die Ähnlichkeitsbewertung ansieht – worauf im Folgenden zurückzukommen sein wird.

[10]Aufgrund der vielfältigen in den Ähnlichkeitsraum eingeschriebenen Merkmale ist auch die erfassbare Ähnlichkeit in Forschungswerkzeugen wie iART variabel, sofern sie visuell fixiert werden kann: Bei einer Suche nach ›creation‹ kann sie stilistischer oder ikonographischer Natur sein, aber auch formal bedingt, etwa durch die Körperhaltung der dargestellten Figuren oder die Farbgebung des Bildes. Eine Ähnlichkeit, die über das rein Visuelle hinausgeht und auf der Historizität der Werke beruht, erfordert jedoch eine tiefer gehende, kontextuelle Betrachtung, die beispielsweise von CNNs nicht explizit geleistet wird.

3.1 Multimodale Klassifizierung

[12]Wie viele andere neuronale Netze werden CNNs in der Regel überwacht trainiert: Jedem Eingabebild wird eine textuelle Klasse zugeordnet. Diese Zuordnung ermöglicht es dem Modell, zwischen vordefinierten Klassen (wie ›creation‹) zu differenzieren, indem ein Merkmalsraum erzeugt wird, der die visuellen Eigenschaften der jeweiligen Klasse repräsentiert. Jeder Klasse wird dabei – als Maß für die Ähnlichkeit – eine Wahrscheinlichkeit zugeordnet, die die Zugehörigkeit eines Bildes zu dieser Klasse angibt; ein Schwellenwert schränkt die Auswahl auf die Klassen ein, deren Wahrscheinlichkeit hinreichend groß ist. Das Modell kann demnach keine Klassen erkennen, die nicht im Trainingsdatensatz enthalten sind, auch wenn sie ähnliche Merkmale aufweisen, oder semantische Beziehungen zu bereits vordefinierten Kategorien (wie ›creation of adam‹) besitzen – jede unbekannte Klasse muss zunächst durch Trainingsdaten visuell spezifiziert werden.

Abb. 4: Schematische Darstellung des Trainingsprozesses mit CLIP anhand eines Bild-Text-Paares zu Michelangelos The Creation of Adam (1508–1512). [Grafik: Stefanie Schneider / Matthias Springstein 2024]

[13]Modelle wie CLIP (Contrastive Language-Image Pre-Training)‍[20] erweitern diese Grenzen, indem sie Bilder selbstüberwacht mit natürlichsprachlichen Beschreibungen für das Training verknüpfen. Sie überführen Bild- und Textdaten mit modalitätsspezifischen Encodern, die auf sogenannten Transformer-Modellen basieren,‍[21] in einen gemeinsamen Merkmalsraum, um die Korrespondenz zwischen sprachlichem Begriff und visuellem Konzept zu erzeugen (Abbildung 4). Wesentlich für die CLIP-Architektur ist es, die aus Bild und zugehörigem Text generierten Embeddings so anzupassen, dass eine maximale Ähnlichkeit erreicht wird und so ein räumliches Netzwerk ähnlicher sprachlicher Begriffe und visueller Konzepte entsteht. Dieser Ansatz ermöglicht es, den realweltlichen Kontext eines Bildes zu integrieren und die dem Bild innewohnende Komplexität adäquater als bisherige Ansätze zu modellieren; nicht nur einfache, auf einen Begriff reduzierte Klassen können auf diese Weise mit CLIP erkannt werden, sondern auch komplexe Szenarien, die in der kunsthistorischen Forschung beispielsweise durch das alphanumerische Klassifikationssystem Iconclass‍[22] abgebildet werden können. Wie in Abbildung 5 dargestellt, können so für Michelangelos Adam ikonographisch bedeutsame Notationen wie 93A211 (»assemblies of the gods in the air, possibly on the clouds«) automatisch hinterlegt werden. Dadurch wird ein semantischer Rahmen geschaffen, der die Generalisierbarkeit und die Anwendbarkeit der Modelle auf eine Vielzahl von Domänen erhöht. Diese Fähigkeit, auch mit nicht zum Training verwendeten Klassen umgehen zu können, wird in der Informatik als Zero-Shot-Lernen bezeichnet.‍[23] Die für jedes Bild gefundenen Klassen können in iART zum Beispiel zusammen mit den von der jeweiligen Institution manuell bereitgestellten Metadaten verwendet werden, um die Ergebnisse zu facettieren.

Abb. 5: Einzelobjektansicht von Michelangelos The Creation of Adam (1508–1512) im Forschungswerkzeug iART mit den für das Bild gefundenen Iconclass-Notationen. [Bilquelle: iART, Suchbegriff creation]

3.2 Multimodales Retrieval

[14]CLIPs Zero-Shot-Fähigkeiten prädestinieren es sowohl für Klassifikations- als auch für Retrieval-Aufgaben – den computergestützten Prozess des Wiederfindens, hier von Bildern, die für die Nutzer*innen gemäß ihrem Informationsbedarf relevant sein könnten. Bei einer Bild-zu-Bild-Suche wird der Bild-Encoder von CLIP im Retrieval zunächst dazu verwendet, um die in einer Datenbank gespeicherten Bilder in Embeddings umzuwandeln, wie in Abbildung 6 zu sehen ist, während eine (textuelle) Suchanfrage, ›creation of adam‹, über den Text-Encoder verarbeitet wird. Das Embedding der Anfrage wird dann mit den Embeddings der Bilder verglichen, und die Ergebnisse dieses Vergleichs nach der Wahrscheinlichkeit sortiert, mit der das Bild das über den textuellen Begriff gesuchte visuelle Konzept enthält; die Bilder mit der höchsten Übereinstimmung werden zurückgegeben. Beispielsweise wird Michelangelos The Creation of Adam in der Nähe des Begriffs ›creation‹ positioniert und mit hoher Wahrscheinlichkeit in iART angezeigt, wenn eine entsprechende Suchanfrage gestellt wird. Da CLIP als sogenanntes Foundation Model mit einer großen Anzahl von Bild-Text-Paaren aus unterschiedlichen Domänen trainiert wurde, verfügt es über ein grundlegendes »Weltwissen«‍[24] für nachgelagerte Aufgaben – Downstream Tasks wie ein kunsthistorisches Retrieval. Diese Verknüpfung von Bild und Text ermöglicht es, den durch unimodale Methoden entstehenden Semantic Gap bei der Anwendung digitaler Methoden zu überwinden. Vor allem visuelle Forschungsdaten können durch die Einbettung in einen natürlichsprachigen Beschreibungskontext zielgerichteter untersucht werden und Semantiken komplexer und facettenreicher wiedergeben. Die Abkehr von den starren Kategorisierungen unimodaler Modelle hin zu intuitiven Abfragen multimodaler Modelle birgt das Potenzial für einen Multimodal Turn in den digitalen Geisteswissenschaften.‍[25]

Abb. 6: Schematische Darstellung des Retrieval-Prozesses mit CLIP für die Suchanfrage ›creation of adam‹. [Grafik: Stefanie Schneider / Matthias Springstein 2024]

5.1 Historische Verzerrung

[19]Historische Verzerrungen sind in der Kunstgeschichte das Ergebnis sich wandelnder gesellschaftlicher Bedingungen, die sich in der Über- und Unterrepräsentation bestimmter Gruppen, in der Wahl der Sujets und in etablierten Konventionen niederschlagen. Entscheidungen über die Repräsentation in Kunstwerken – von Menschen und ihren Funktionen – können daher exkludierend sein. Sie sind eng mit den politischen und sozialen Dynamiken ihrer Zeit verbunden.‍[42] Künstlerische Praktiken reflektieren immer auch gesellschaftliche Auseinandersetzungen um Klasse, Geschlecht und andere soziale Kategorien.‍[43]

[20]Wird Gott in den Ergebnissen der Suche nach ›creation of adam‹ in iART also stets als (alter) weißer Mann dargestellt, so entspricht dies den Konventionen der jeweiligen zeitgenössischen Kunstproduktion und -‍praxis – die Verzerrung ist hier Teil des Forschungskontextes und kein Defizit der Suchmaschine. Der Versuch, solche Formen historischer Verzerrung auszugleichen, ist durchaus problematisch: So kann die historische Wahrheit als solche verzerrt werden. Die erzwungene Integration von Diversität in generative Modelle wie Googles Gemini AI führte beispielsweise zu historisch unzutreffenden Darstellungen, etwa von schwarzen Wehrmachtssoldaten.‍[44] Solche Ergebnisse, die möglicherweise auf die Praxis des Shadow Prompting zurückzuführen sind – eine Methode, mit der die Ergebnisse absichtlich diversifiziert werden sollen, indem die Eingabeaufforderung um Wörter wie ›black‹ erweitert wird –,‍[45] sind für präzise wissenschaftliche Methoden letztlich unbrauchbar, da sie falsche und ungenaue Resultate begünstigen. Data Balancing, auf das in Abschnitt 5.3 Algorithmische Verzerrung näher eingegangen wird, wäre eine sinnvollere Möglichkeit, diese Verzerrung auszugleichen.

5.2 Verzerrung des Datensatzes

[21]Verzerrungen des Datensatzes ergeben sich aus der Annotation und Kuration der Trainingsdaten. Diese Verzerrungen wirken sich je nach Modell und Aufgabenstellung unterschiedlich auf die Ergebnisse aus: Für überwacht trainierte Modelle wie CNNs sind mit sprachlichen Begriffen annotierte Trainingsdaten grundlegend, wie sie etwa in Datenbanken wie ImageNet vorliegen.‍[46] Die Verwendung veralteter Taxonomien wie WordNet und der darin enthaltenen diskriminierenden und simplifizierenden Begriffe führt jedoch zu problematischen Klassifikationen.‍[47] Darüber hinaus erschwert die Mehrdeutigkeit sowohl der sprachlichen Begriffe als auch der visuellen Konzepte die Annotation.‍[48] Für Modelle, deren Training selbstüberwacht ohne vordefinierte Klassen erfolgt, ist dagegen die Konstitution der Bild-Text-Paare entscheidend: Für den Trainingsdatensatz von CLIP wurden beispielsweise auf Grundlage von Wikipedia-Schlagwörtern 500.000 Suchanfragen durchgeführt, die jeweils bis zu 20.000 Bild-Text-Paare lieferten – insgesamt also 400 Millionen Paare.‍[49] Bei dieser Datenmenge ist es nahezu unmöglich, alle potenziell fragwürdigen Inhalte herauszufiltern und damit Verzerrungen grundsätzlich zu vermeiden. So geben die Autor*innen des Modells zu bedenken: »[O]ur system [...] disproportionately attached labels to do with hair and appearance in general to women more than men. [...] Additionally, [it] attached some labels that described high status occupations disproportionately more often to men such as ›executive‹ and ›doctor‹. This [...] points to historical gendered differences«.‍[50] Diese – teilweise auch historisch begingte – Verzerrung in den Trainingsdaten führte dazu, dass prestigeträchtige Berufe in den Beschreibungstexten (der Abbildungen) von Männern überrepräsentiert waren, während in denen von Frauen eher äußerliche Merkmale im Vordergrund standen. Solche Formen der Über- und Unterrepräsentation spiegeln sich auch in den Ergebnissen der Modelle wider.

[22]Verzerrungen des Datensatzes müssen auch im Hinblick auf die Anwendung der Modelle – hier in der Kunstgeschichte – diskutiert werden: Die Art und Weise, wie Kunstwerke online dargestellt und beschrieben werden, beeinflusst implizit die Ergebnisse der Ähnlichkeitsbestimmung. Aber nicht nur hier entstehen Fehldarstellungen: Da vor allem nicht-kunsthistorische Daten für das Training von computationalen Modellen verwendet werden, stammt die Mehrzahl der Klassen und Bild-Text-Paare nicht aus der Kunstgeschichte selbst, sondern aus Datenbanken für Stock-Fotografie, von Internet-Shops oder Wikimedia Commons – um nur einige der für unseren Kontext relevanten Kategorien zu nennen.‍[51] Die Überprüfung der Konstitution der Trainingsdaten von CLIP ist dabei nur durch eigene stichprobenartige Recherchen möglich, da die Daten nicht frei verfügbar sind. Wir führen daher exemplarisch zwei Recherchen durch: eine für ›creation‹ auf Google, gefiltert nach Bildern mit Creative-Commons-Lizenz (Abbildung 7) und eine für ›creation of adam‹ auf der E-Commerce-Website Etsy (Abbildung 8). Die bereits in iART beobachtete Assoziation des Begriffs ›creation‹ mit Händen bestätigt sich in der Google-Suche: Auch hier finden sich zahlreiche Hände, ob als Emoji – in Anlehnung an Michelangelos Werk – oder als fotorealistische Darstellung (eines Mystikers mit Turban). Auch die Suche nach ›creation of adam‹ auf Etsy ergibt, dass häufig nur die ikonische Handgeste des Kunstwerks reproduziert wird; der (vollständige) Titel des Kunstwerks wird jedoch trotzdem in den Beschreibungstexten angegeben.

Abb. 7: Suchergebnisse für den Begriff ›creation‹ auf Google, gefiltert nach Bildern mit Creative-Commons-Lizenz. [Bildquelle: Google, Suchbegriff creation / Filter nach CC-Lizenz]

Abb. 8: Suchergebnisse auf der E-Commerce-Website Etsy für den Begriff ›creation of adam‹. [Bildquelle: Etsy, Suchbegriff creation of adam]

[23]Erhält das Modell nun im Training für den sprachlichen Begriff ›creation‹ viele dieser Abbildungen von Händen als Bild-Text-Paare, so weist auch der sich bildende Merkmalsraum eine größere Ähnlichkeit des Begriffs ›creation‹ mit Händen als mit Adam oder der Darstellung Gottes auf. Die hierdurch resultierende Verzerrung der Trainingsdaten kann also dazu führen, dass das Modell nur das visuelle Konzept der Hände als entscheidend für den Begriff ›creation‹ abspeichert und bei zukünftigen Suchanfragen bevorzugt ausgibt.

5.3 Algorithmische Verzerrung

[24]Algorithmische Verzerrungen entstehen durch Wechselwirkungen zwischen den beiden zuvor genannten Verzerrungen – der historischen Verzerrung und der Verzerrung des Datensatzes – und können sich gegenseitig verstärken. Die in künstlichen neuronalen Netzen ablaufenden Prozesse komprimieren eben diese Trainingsdaten, wobei Informationen verloren gehen oder sich in ihrer Gewichtung ändern können.‍[52] Um algorithmische Verzerrungen einzuschränken, ist es entscheidend, klar definierte Fairnesskriterien festzulegen.‍[53] Verzerrungen in den Trainingsdaten sollten nicht als unveränderlich betrachtet, sondern durch den Algorithmus behandelt werden.‍[54] Dazu gibt es verschiedene Ansätze: Attribute wie Ethnie oder Geschlecht können etwa beim Training abgeschwächt werden;‍[55] auch durch Methoden wie Data Balancing kann eine geringere Diskriminierung erreicht werden.‍[56] Insbesondere Zero-Shot-Modelle wie CLIP tendieren zum sogenannten Association Bias, bei dem soziale Stereotype nicht nur durch Repräsentation, sondern auch durch Assoziation reproduziert werden.‍[57] So könnte der Begriff ›creation‹ eher männlich konnotiert sein, also mit Gott und Adam assoziiert werden, aber weniger mit Frauen, obwohl auch hier Assoziationen denkbar wären.

[25]Erschwerend für die Auseinandersetzung mit algorithmischen Verzerrungen kommt hinzu, dass beim Training künstlicher neuronaler Netze die Eingaben – Texte wie Bilder – in undurchsichtige Strukturen überführt werden, die es den Nutzer*innen erschweren, die konkreten Prozesse der Ähnlichkeitsbestimmung nachzuvollziehen – und damit auch die in den Eingaben angelegten Verzerrungen. Interne Prozesse der jeweiligen Trainingsverfahren beeinflussen zudem die Wissensrepräsentation im Merkmalsraum. Die daraus resultierende Intransparenz verhindert, dass Nutzer*innen dynamische Prozesse, die zur Entscheidungsfindung beitragen, effektiv analysieren können und erschwert die Bewertung der Modellergebnisse erheblich.

5.4 Aufmerksamkeitskarten

[26]Eine leicht generalisierbare Methode, diese Verzerrungen zu identifizieren und kritisch in den Prozess der Ähnlichkeitsbestimmung einzubeziehen, sind die bereits erwähnten Aufmerksamkeitskarten. Diese Karten geben ein visuelles Feedback darüber, welche Teile einer Eingabe den größten Einfluss auf die Modellausgabe haben und visualisieren somit, welche Merkmale für die Entscheidungsfindung des Modells besonders relevant sind. Da Aufmerksamkeitskarten mit verschiedenen Modalitäten kompatibel sind, können zum Beispiel für die Klassifikation visueller Konzepte relevante Bildbereiche oder bei Textübersetzungen bestimmte Wortgruppen hervorgehoben werden. Etabliert haben sich verschiedene Berechnungsverfahren – wie Grad-CAM‍[58] –, von denen die meisten darauf beruhen, dass ein Suchbegriff vorgegeben und daraus der Gradient zum Eingabebild berechnet wird. In moderneren Architekturen werden jedoch zunehmend sogenannte Aufmerksamkeitsschichten eingesetzt, die es dem Netz ermöglichen, automatisch zu lernen, welche Bild- oder Textregion für eine Vorhersage relevant ist – wobei die Verschachtelung mehrerer solcher Schichten die Darstellung weiter verkomplizieren kann.‍[59] Um die internen Prozesse von CLIP zu visualisieren, können wir die Zero-Shot-Fähigkeit des Modells nutzen: Sie erlaubt uns, kleinere Bildregionen auszuwählen und jede dieser Regionen mit dem Merkmalsvektor eines Eingabewortes zu vergleichen. Auf diese Weise können Ähnlichkeiten zwischen der visualisierten Region und dem konkreten sprachlichen Begriff in einem Raster dargestellt werden.

[27]So werden in Abbildung 9 einzelne Bildregionen von vier Kunstwerken mit CLIPSeg‍[60] hervorgehoben und mit visuellen Konzepten assoziiert. Betrachten wir zunächst Michelangelos Gemälde selbst: Die Aufmerksamkeitskarte zur Suchanfrage ›creation of adam‹ fokussiert nicht alle Bereiche des Gemäldes gleichermaßen, sondern vor allem die Figur Adams unten links – obwohl die Anfrage dem Bildtitel entspricht (Abbildung 9b). Bei der Suche nach ›creation‹ hingegen werden alle Bereiche hervorgehoben, vor allem Adam und Gott scheinen für das Konzept ausschlaggebend zu sein (Abbildung 9c). Schließlich zeigt die Suche nach ›hand‹, wie CLIPSeg spezifische Begriffe erkennt und nur den jeweils für das Konzept relevanten Bereich markiert (Abbildung 9d). Auch die Studie für die Hände eines Armbrustschützen (1512–1516), die in iART an dritter Stelle bei ›creation‹ zurückgegeben wird, zeigt Interessantes: So scheinen alle dargestellten Hände stark auf die Begriffe ›creation‹ und ›creation of adam‹ zu reagieren (Abbildungen 9j und 9k). In Annibale Carraccis Gemälde Pan und Diana (1597–1602) hingegen aktiviert die Suche nach ›creation of adam‹ besonders den Kopf- und Schulterbereich des Fauns (Abbildung 9f). Hier ist eine Ähnlichkeit mit Michelangelos liegender Adam-Figur zu vermuten. Bei ›creation‹ erweitert sich dieser Bereich und fokussiert stärker auf die Interaktion – erweitert sich also um die dargestellte Diana; beide Figuren sind durch die Geste der Hand miteinander verbunden (Abbildung 9g). Auch im Relief Die Vertreibung aus dem Paradies (1649) sehen wir dieses kompositorische Verhältnis betont: Bei ›creation‹ zeigt sich der Bereich, der die beiden Figurengruppen verbindet, hervorgehoben, während bei ›creation of adam‹ vor allem die männliche Figur rechts unten – tatsächlich Adam – betont wird (Abbildungen 9n und 9o).

Abb. 9: Aufmerksamkeitskarten für vier Bilder, die im Forschungswerkzeug iART für den Begriff ›creation‹ zurückgegeben werden: Michelangelos Erschaffung Adams (1508–1512; a–d), Annibale Carraccis Pan und Diana (1597–1602; e–h), Studie für die Hände eines Armbrustschützen (1512–1516; i–l) und Die Vertreibung aus dem Paradies (1649; m–p). Die Karten wurden mit CLIPSeg (Lüddecke / Ecker 2022) und den Begriffen ›creation of adam‹, ›creation‹ und ›hand‹ erstellt. [Grafik: Matthias Springstein / Stefanie Schneider 2024]

[28]Was können uns diese Visualisierungen nun über den Prozess der Ähnlichkeitsbestimmung und die gewonnenen Ähnlichkeitsverhältnisse sagen? Während bei ›creation of adam‹ insbesondere Bildregionen aktiviert werden, die männliche Aktdarstellungen zeigen, liegt der Schwerpunkt bei der Suche nach ›creation‹ eher auf der Bildkomposition und der Interaktion zwischen den Figuren: So werden hier Figuren und ihre jeweilige durch eine Handgeste dominierte Verbindung bevorzugt ausgegeben. Die Darstellung der Hände wiederum scheint auf alle drei Begriffe anzusprechen. Das Modell findet also Ähnlichkeiten zwischen sprachlichem Begriff und visuellem Konzept nicht nur bei den dargestellten Figuren und Figurenkonstellationen, sondern auch bei der Zuordnung abstrakter Begriffe zu einer bestimmten Bildregion, die sich in den Kunstwerken wiederfindet. Dies unterstützt die Hypothese, dass die als Trainingsdaten verwendeten Bild-Text-Paare die Hände stark mit dem Begriff der ›creation‹ assoziieren.