• 1. Einführung
• 2. Multimodale Kommunikation
• 3. CaeMmCom: Konzeptionierung des Corpus
• 4. Software und Verarbeitung der Daten
• 5. Gegenwärtiger Stand der Implementierung
• 6. Ausblick
• Bibliographische Angaben
• Abbildungslegenden und -nachweise

1. Einführung

[1]Der Beitrag beschreibt die Einführung einer neuen digitalen Methode zur Erforschung multimodaler graphischer Kommunikation für altertumswissenschaftliche Disziplinen und hier im Besonderen für die Ägyptologie. Im Zentrum steht dabei der Aufbau eines digitalen Corpus, das Daten zur graphischen Kommunikation erfasst und dabei Verfahren entwickelt, neben Texten und Bildern auch Text-Bild-Kompositionen sowie deren räumliche Bedeutungsaspekte systematisch zu beschreiben, zu annotieren, zu visualisieren und zu präsentieren.

[2]
Dabei eröffnen sich zwei Perspektiven für den wissenschaftlichen Gegenstandsbereich, der über das reine Sammeln digitaler Daten hinausgeht und so einen Mehrwert im Sinne eines DH-Ansatzes darstellt, der digitale Methoden als Unterstützung des Erkenntnisgewinns für geisteswissenschaftliche Disziplinen sieht.[1] Durch die Annotation kommunikativer (Sub-)Einheiten, ihrer Bedeutungen und Funktionen sowie der Relationen zwischen textlichen, bildlichen, text-bildlichen und räumlichen Elementen und Ebenen eröffnen sich zum einen neue Interpretationen und Interpretationswege für die Ägyptologie. Die sich aus den Anforderungen einer Annotationslogik ergebende Notwendigkeit stringenter und generalisierender Annotationsparameter stellt dabei einen nicht zu unterschätzenden Beitrag zur Durchdringung des Forschungsgegenstands und seiner theoriebasierten Modellierung im Fach selbst dar, aus der sich eine fachspezifische Weiterentwicklung von Methode und Modellen ergeben wird. Diese sowie die Verwendung von kontrolliertem Vokabular und vorgegebenen Metadaten verlangt eine präzise Reflexion und Definition der einzelnen Elemente der text-bildlichen Objekte und ihrer räumlichen Aspekte.

[3]
Auch können durch einen digitalen und multimodalitätstheoretischen Hintergrund in der Konzeptionierung des Corpus im Fach neue Wege beschritten werden, mediale und kulturelle Gegebenheiten und Entwicklungen datengeleitet zu identifizieren und nachzuvollziehen. So werden sich bspw. neue ikonographische und epigraphische Einsichten sowohl aus synchroner (z. B. Genretypen) als auch aus diachroner Perspektive (z. B. Entstehung und Entwicklung von Genres) ergeben.

[4]
Zum anderen sind auch neue, über das Fach selbst hinausgreifende Erkenntnisse hinsichtlich semiotischer und multimodalitätstheoretischer Fragen, wie z. B. der Identifizierung und Typisierung von text-bildlichen Kohäsionsmitteln und -verfahren, zu erwarten. Da sich der Aufbau des Corpus an der einschlägigen Forschung zu multimodaler Kommunikation orientiert, könnte es so ein Kristallisationspunkt für die Etablierung einer gemeinsamen Terminologie für die Multimodalitätsforschung im Bereich der graphischen Kommunikation der Kulturen des Altertums sein. Dies wäre für die Anschlussfähigkeit altertumswissenschaftlicher Erforschung von graphischer Kommunikation an die allgemeine Multimodalitätsforschung höchst förderlich. Auch unter dem Gesichtspunkt eines Dialogs mit nicht-altertumswissenschaftlichen Disziplinen (z. B. im Vergleich ›altägyptischer‹ Verfahren mit Verfahren in modernen europäischen Text-Bild-Kompositionstypen) – nicht zuletzt aufgrund unterschiedlicher Möglichkeiten und Anforderungen der jeweils zugrunde liegenden graphischen Zeichensysteme und Konventionen (z. B. Hieroglyphenschrift vs. Alphabetschrift) – ist hier ein wichtiger Beitrag zur Weiterentwicklung einer allgemeinen Theorie zur Semiotik graphischer Kommunikation zu erwarten.

[5]
Da gerade auch die Visualität und die Raumbezogenheit der betrachteten Objekte von besonderer semiotischer Relevanz sind und zum zweiten eine systematische Vergleichbarkeit nicht nur innerhalb der Ägyptologie, sondern insbesondere auch im interdisziplinären Austausch mit der allgemeinen Multimodalitätsforschung erleichtert werden soll, wird eine digital basierte Methodik entwickelt, die es ermöglicht, sowohl die verschiedenen Inhalte als auch Analysen visuell verbunden direkt am Objekt zu erkennen. Die digitale Visualisierung der Text-Bild-Objekte und ihrer zugehörigen Inhalte und Analysen in Form von digitalen Annotationen stellt somit einen zentralen Punkt in der Wissensvermittlung dar und bietet eine innovative Möglichkeit, die fachspezifischen Wissensbestände für ein nichtfachliches Publikum intellektuell so aufzuschließen, dass der interdisziplinäre Dialog erleichtert wird.

[6]
So können etwa durch die digitale Annotierung beliebig viele Details innerhalb eines Bildes präzise markiert und beschrieben sowie Annotationen des Corpus untereinander verlinkt und über Indizes erschlossen werden. Für Fachfremde können auf diese Weise die Charakteristika der Hieroglyphenschrift, der Ikonographie altägyptischer bildlicher Darstellung und der Grammatik der ägyptischen Sprache durch Einblendungen und Verlinkungen in einer Weise kommentiert werden, die kein fachspezifisches Wissen voraussetzt, um die semiotischen Verfahren multimodaler ägyptischer Kommunikation zu verstehen – u. a. durch Transkriptionen, morphologischen Glossierungen, Erläuterungen zur Ikonographie und zur Polysemie bzw. Ambiguität bestimmter Zeichen, siehe Abbildung 1.

Abb. 1: Visuelle und inhaltliche Verlinkung der Informationen eines Elementes in der Online-Präsentation. [Döhl 2020]

[7]
Doch auch für Fachinterne bietet diese Form der visuellen digitalen Aufarbeitung die Möglichkeit, Inhalte verschiedener Analyseebenen gleichzeitig sichtbar zu machen und somit komplexe semiotische Beziehungen unmittelbar nachvollziehbar zu gestalten. Durch diese visuelle Erfassung und Verknüpfung der semiotisch relevanten visuellen Aspekte der Objekte wird die Komplexität des Materials daher auch für den fachspezifischen Diskurs anders als bisher üblich aufgeschlossen und ermöglicht so eine fruchtbarere Bearbeitung.

2. Multimodale Kommunikation

[8]In Akten intentionaler menschlicher Kommunikation werden typischerweise mehrere semiotische Ressourcen miteinander verschränkt. Lautsprachliches Kommunizieren ist von Gesten und Mimik begleitet, schriftliche Texte enthalten typographische und andere gestalterische Mittel, Texte werden mit Bildern kombiniert. Dieses Phänomen der Gleichzeitigkeit semiotischer Ressourcen (Modi) in einem Kommunikationsakt wird als Multimodalität bezeichnet. Die Erforschung der Prinzipien, die die Interaktion mehrerer semiotischer Modi in einem multimodalen Kommunikationsakt steuern, und die Analyse der Synergieeffekte, die für diese Art der Kommunikation angenommen werden, steckt noch in ihren Anfängen, erarbeitet sich jedoch zunehmend ein eigenes Forschungsfeld.[2] Die Begriffe des Modus und der Modalität bezeichnen dabei keine einheitlich definierten Größen.[3] Unter dem Begriff der Modalität werden zum einen die verschiedenen Wahrnehmungskanäle menschlicher Kommunikation verstanden: visuell (z. B. Schriftsprache, Bilder), auditiv (z. B. Lautsprache, Musik) oder taktil (z. B. Braille-Schrift). Andere Ansätze subsumieren darunter die jeweiligen Eigenschaften eines Zeichensystems, d. h. die Beschaffenheit seines ›Modus‹. Für den Begriff des Modus herrscht Uneinigkeit bezüglich seines Geltungsraums und seiner Charakteristika. Es wird je nach Forschungsansatz z. B. zwischen Zeichensystem (Konvention), Medium (Materialität) und Zeichentyp (Wahrnehmungskanal) unterschieden[4] oder ein Modus wird als eine Synthese aus verschiedenen dieser semiotischen Komponenten erachtet. So vertritt z. B. die Sozialsemiotik (social semiotics) eine sehr breit gefasste Begriffsdefinition, die Modus als »socially shared and culturally given resource for making meaning«[5] versteht. In vielen Arbeiten findet sich aufgrund der im Feld noch herrschenden Uneinigkeit auch lediglich eine Aufzählung verschiedener Kommunikationsmittel und ‑systeme, wie zum Beispiel: »[…] image, writing, gesture, gaze, speech, posture«.[6]

[9]
Die Definitionsschwierigkeiten liegen u. a. darin begründet, dass ›making meaning‹ ein dynamischer Prozess ist, die in einem Kommunikationsakt an der Semiose beteiligten Komponenten also eigentlich nicht abstrakt im Vorhinein in ihrem Wesen und ihrem jeweiligen Beitrag benannt, sondern nur bezogen auf ihren Gebrauch selbst analysiert werden können.[7]

[10]
Ein Kommunikat[8] wiederum bezeichnet eine materielle Einheit, die als Gesamtheit in einen Kommunikationsakt einbezogen ist (z. B. eine Stele) bzw. als Analyseeinheit in einem Kommunikationsakt betrachtet wird (z. B. eine Szene auf einer Tempelwand). Der Umfang des Kommunikats bzw. die analytische Einheit eines Kommunikationsaktes ist dabei also nicht kontextfrei identifizierbar, sondern hängt von der jeweiligen Untersuchungsfrage bzw. von der Analyseebene ab. So kann eine Opfertafel oder eine Szene auf einer Tempelwand zunächst einmal als ein eigener Kommunikationsakt aufgefasst werden, in einem weiteren Schritt ist jedoch auch die Grabsituation oder der Tempel als weiterer Kommunikationsakt relevant und als nächste semiotische Ebene in die Betrachtung einzubeziehen. Kommunikate und Kommunikationsakte können insofern als ineinander verschachtelt gedacht und analysiert werden.

[11]
Multimodale Kommunikate begegnen im Ägypten der pharaonischen Zeit in vielfacher Form. Insbesondere Text-Bild-Kompositionen gibt es in großer Zahl und Varianz, sei es in Form von Grab- oder Tempeldekorationen oder auch in weniger prominenten Medien wie Felsinschriften. In der ägyptologischen Forschung stellen sie somit keine Besonderheit dar und sind dementsprechend kulturhistorisch bereits intensiv analysiert worden. Ihre besonderen semiotischen Eigenschaften als multimodale Kommunikate wurden dagegen bisher wenig beachtet. Eine solche Untersuchungsrichtung lässt aber nicht nur neue Erkenntnisse bezüglich der Kommunikationspraktiken und der Wissensbestände des pharaonischen Ägypten erwarten. Aufgrund der besonderen Eigenschaften des hieroglyphisch-ägyptischen Zeichensystems und der Gestaltungsprinzipien ägyptischer Bildkunst kann sie auch neue Aspekte in die Theorie- und Modellbildung zur multimodalen Kommunikation einbringen.

3. CaeMmCom: Konzeptionierung des Corpus

[12]Seit Ende 2016 arbeitet der Lehrbereich Theorie und Geschichte Multimodaler Kommunikation am Institut für Archäologie der Humboldt-Universität zu Berlin an der Konzeption des Corpus altaegyptischer multimodaler Communication – Corpus of Ancient Egyptian Multimodal Communication (CaeMmCom). Die Erforschung multimodaler Phänomene und die daraus resultierenden Theorien und Modellbildungen sollten auf einer breiten Datenbasis empirisch fundiert erfolgen.[9] Zur Gewinnung dieser Datenbasis wird einerseits auf Digitalisate/Fotos aus Datenrepositorien oder Publikationen zurückgegriffen, andererseits werden Fotos von den Objekten vor Ort in Ägypten aufgenommen. Dabei kann der Umfang eines Einzelobjektes von einer einzelnen Stele mit Opfertischszene bis hin zu einem gesamten Grabkomplex mit zugehöriger Wanddekoration variieren, in Abhängigkeit von der multimodal relevanten Gattungstypizität und der Zugänglichkeit des Materials.

[13]
Die Aufarbeitung des Materials wiederum sieht vor, dass die einzelnen Text-Bild-Objekte entsprechend der im Projekt entwickelten Annotationsregeln annotiert und fachspezifisch beschrieben und analysiert werden. Dies schließt für Texte die auch für die Linguistik anschlussfähige ägyptologische Praxis der Transkription, Glossierung, und Übersetzung ein. Hinzu treten qualitative Kohärenz- und Kohäsionsanalysen. Weiterhin werden die qualitativen Daten standardisiert erfasst, um auch quantitative Abfragen zu ermöglichen. Schlussendlich werden die gesammelten Informationen verlinkt mit ihrem Originalobjekt (in den meisten Fällen ein Bild) interaktiv zugänglich gemacht.

[14]
Die Corpussammlung verfolgt damit drei Ziele:

• Es soll eine breite Datenbasis an altägyptischen multimodalen Kommunikaten erstellt werden.
• Diese soll es längerfristig ermöglichen, altägyptische Kommunikate nach unterschiedlichen Gesichtspunkten der multimodalen Forschung visuell aufbereitet zu beschreiben und zu analysieren.
• Die so erstellten Arbeitsschritte und Ergebnisse sollen interaktiv browsergestützt einem breiten, auch nicht-fachlichen Publikum zur Verfügung gestellt werden.

[15]
Bezüglich der Datenbasis besteht der Anspruch, dass nicht allein Verfahren zur Bearbeitung graphischer Kommunikation wie Texte und Bilder Beachtung finden sollen. Vielmehr besteht das Ziel für die Verwendung des Corpus auch darin, herauszuarbeiten, welche weiteren Charakteristika einen maßgeblichen semiotischen Anteil am Kommunikationsprozess als Ganzem tragen, welche Modi zur Bedeutungskonstitution beitragen und wie die aufzufindenden Charakteristika semiotischer Verfahren und Potentiale der hieroglyphisch-ägyptisch geprägten Kommunikate sich von bisher in der allgemeinen Multimodalitätsforschung diskutierten Verfahren und Potentialen systematisch unterscheiden (können).

[16]
So findet sich etwa in hieroglyphisch-ägyptischen Kommunikaten auch auf der Ebene der graphischen Kommunikation, neben den in bisherigen, an alphabetschriftlicher Kommunikation orientierten allgemeinen Multimodalitätsforschung etablierten Modi ›Schrift‹ und ›Bild‹, ein Modus, der ein Hybrid aus ›Schrift‹ und ›Bild‹ zugleich ist. Dies liegt an den für Schrift und Bild gleichen Gestaltungsprinzipien der hieroglyphischen Schrift und führt dazu, dass Hieroglyphen in bildlichen Darstellungen sowohl gelesen als auch in ihrer bildlichen Bedeutung verstanden werden können (siehe Abbildung 2).

Abb. 2: Personifikation der Göttin Maat. [Wikimedia: Maat. CC0 1.0]

[17]
Die in Abbildung 2 dargestellte Göttin trägt als Kopfschmuck eine Feder im Haar, welche als Teil des Bildes wahrgenommen wird. Die Feder kann jedoch auch als Logogramm des hieroglyphischen Schriftsystems interpretiert werden. Als solches ist die Feder ›𓆄‹ als Logogramm für ›Maat‹ zu lesen. Die bildlich dargestellte Person mit der Feder als Kopfschmuck ist mithin auch schriftlich als Göttin Maat gekennzeichnet.

[18]
Hinzu tritt, dass auch die Verortung von Kommunikaten im Raum sowie in Relation zu anderen Objekten und damit die Ortsgebundenheit eines Kommunikationsakts als eine bedeutungsstiftende semiotische Ressource berücksichtigt werden sollte.[10] Dabei konzentriert sich die Betrachtung der räumlichen Eigenschaften von Kommunikaten im CaeMmCom nicht nur auf den Anbringungsort von Texten oder Bildern sowohl im Verhältnis zueinander als auch bezogen auf den materiellen Träger, sondern auch auf die Verortung des Kommunikats als Ganzem, zum Beispiel in Hinblick auf die Architektur oder die Landschaft. So können etwa einfache bildliche Kombinationen von Opfertisch und Grabherr – die sogenannte Opfertischszene, ein Beispiel liefert Abbildung 3 – sowohl in klassischen Kombinationen von Opfertafeln in den Opfernischen von Gräbern vorkommen. Sie finden sich in frühdynastischer Zeit (ca. 3100 v. Chr.) jedoch auch auf Rollsiegeln und ab dem Mittleren Reich (ca. 2050 v. Chr.) auch auf Särgen. Das Genre der Opfertischszene steht in verschiedenen Phasen der Kulturgeschichte Ägyptens somit in je völlig anderen materiellen und räumlichen und damit auch funktionalen Kontexten. Ein weiteres Beispiel stellen Felsbilder und -inschriften dar. In diesem Fall sind es insbesondere die Beziehungen zu ihrer landschaftlichen Positionierung, welche zum Semioseprozess beitragen. Ihre Nähe zu territorialen Verbindungs- oder religiösen Prozessionswegen ermöglicht es erst, sie innerhalb eines religiösen oder sozialen Bedeutungsgeflechts zu verstehen.

[19]
Die Datenarchitektur des Corpus versucht nun, all diese semiotischen Aspekte hinsichtlich ihrer Bedeutungsbeziehungen, semiotischen Verfahren und Potentiale zu erfassen. Hierzu zählt neben dem obligatorischen Aufbau einer sinnvollen Metadatenstruktur in erster Linie die Festlegung einer Annotationsstruktur, die nicht nur zur Beschreibung der einzelnen Elemente (Texte, Bilder etc.) dient, sondern es auch ermöglicht, die Annotationen in unterschiedlicher Weise abfragbar zu machen. Weiterhin werden verschiedene, aktuell in der Multimodalitätsforschung diskutierte Analysemethoden, die den Erfordernissen des ägyptischen Materials angepasst werden, integriert. Diese Methoden basieren u. a. auf linguistischen Theorien und Modellen, wie der Systemic Functional Grammar[11], der Rhetorical Structure Theory[12] und der Sprechakttheorie[13]. Diese Theorien und Modelle bieten, da sie ursprünglich für monomodal gedachte (Schrift-)Sprache entwickelt wurden, zunächst eine Analyse der argumentativ-semantischen Struktur der einzelnen Sinneinheiten eines (gesprochenen oder geschriebenen) Textes. Im Zuge der Multimodalitätsforschung wurden sie bereits auch auf Bilder beziehungsweise multimodale Text-Bild-Kompositionen angewandt,[14] um die Synergieeffekte eines derartigen multimodalen Kommunikationsverfahrens herauszuarbeiten, Kompositionsverfahren sichtbar zu machen und diese auf regelhafte Gestaltungsprinzipien – wie sie etwa auch für Textsorten- bzw. Genreanalyse relevant sind – hin zu untersuchen. Dieser Ansatz wird auch für das ägyptische Material des CaeMmCom übernommen.

[20]
Ein Vorteil der softwaregestützten Darstellung der Analyse besteht nun darin, dass alle Einzelkomponenten und ihre Informationen (z. B. Übersetzung, Inhalt der Texte, Bedeutung der Bildelemente) visuell per ›mouseover‹ abgerufen und ihre räumliche Einbettung (z. B. Lage auf dem Wandausschnitt) interaktiv angezeigt werden können (siehe Abbildung 1).

[21]
Weiterhin versucht die Daten- und Metadatenstruktur des Corpus sich – soweit dies sinnvoll erscheint – an gängigen Standards zu orientieren. Das im Aufbau befindliche kontrollierte Vokabular wird deswegen aus den im musealen Bereich verbreiteten Vorgaben und vocabularies des Getty Institutes, hauptsächlich der AAT (Art and Architecture Thesaurus) und der TGN (Getty Thesaurus of Geographic Names) generiert. Weiterhin wird für die Verwendung antiker Ortsnamen auf den iDAI.gazetteer und die iDAI.thesauri des Deutschen Archäologischen Institutes zurückgegriffen, letztere zeigen allerdings für die spezifischen Objekte Ägyptens und des Sudans, die den Hauptfokus bilden, bisher nur wenige Einträge. Hinzu treten die fachspezifischen Vorgaben des THOT-Projektes (Thesauri & Ontology for documenting Ancient Egyptian Resources), welches ägyptologische Fachbegriffe listet und TEI Standards liefert. Zusätzlich fordert das Material eine spezifische auf die konkreten Objekte zugeschnittene eigenständige Erweiterung des kontrollierten Vokabulars.

4. Software und Verarbeitung der Daten

[22]Ein Problem bei dem Aufbau dieses digitalen multimodalen Corpus bestand in den Anforderungen, welche an eine Software zur Erfüllung der gewünschten Vorgaben gestellt wurde. Dabei bildete die Hauptproblematik der Umstand, dass zwar der Wunsch nach Annotation und Verlinkung von Textdaten bereits eine recht große Anzahl an verschiedenen Softwares hervorgebracht hat, diese aber aus verschiedenen Gründen nicht für andere Daten, wie etwa Bilder, zu verwenden sind.

[23]
Bateman[15] ist sich dieser Problematik ebenfalls bewusst und versucht, mit der Entwicklung des Genre and Mode-Modells ein Schema zu erstellen, das eine auf XML basierende Beschreibungsgrundlage für englischsprachige Bild-Text-Datensätze ermöglicht.

[24]
Die Übernahme von Teilen dieser Ansätze geschieht auch für das CaeMmCom, allerdings bleibt es auf die Übernahme einiger Attribute beschränkt. Dies liegt darin begründet, dass die gewählte Beschreibungsgrundlage zwar für moderne (englisch- und deutschsprachige) Bild-Text-Komposite anwendbar ist, für das ägyptische, altertumswissenschaftliche Material sich jedoch ganz andere Ansprüche ergeben. Dies gilt insbesondere für das Layout, welches sich eben naturgemäß nicht an modernen (Papier-)Formaten orientiert.

Abb. 3: Beispiel für die Layoutanalyse einer Opfertafel (im browsergestützten Präsentationsmodus). [Döhl 2020]

[25]
Ein weiteres Problem ergibt sich durch die direkte Verwendung von XML-Strukturen. Zwar ist es auf diese Weise möglich, ein detailliertes Beschreibungs- und Analysevokabular zu entwerfen. Da dies aber schriftsprachgebunden geschieht, geht durch den dafür erforderlichen Transkriptionsprozess[16] ein erheblicher Anteil an Bedeutungsstrukturen der bild-textlichen visuellen Aspekte der Kommunikation verloren, da der visuelle Gehalt von Bildern durch jegliche Substitution seine Aussagekraft verändert.

[26]
Aus diesem Grund wurde im Projekt nach einer Software gesucht, die es ermöglicht, dieser speziellen Herausforderung zu entsprechen.

[27]
Zur Verwaltung von CaeMmCom – der Dokumentation, Beschreibung und Präsentation der Datensammlung – wurde dafür die Open-Source-Software HyperImage ausgewählt, welche die Möglichkeit einer visualisierten Annotation und dem ebenfalls visualisierten Aufzeigen der semantischen Relationen innerhalb wie auch zwischen den jeweiligen Modi aufweist. Diese Software wurde bereits 2006 an der Universität Lüneburg und der Humboldt-Universität zu Berlin entwickelt und ist eigens für die Annotation von Bilddaten (in ihrer Weiterentwicklung sogar für Videodaten)[17] gedacht, eine Funktion, die sich sonst in wenigen Softwares etabliert findet.[18]

[28]
Das HyperImage-Authoring-System ist ein webbasiertes System. Es besteht aus drei Hauptkomponenten – Server, Connector und Datenbank –, auf denen das graphische Frontend (HyperImage-Editor) aufbaut. Der Datenaustausch zwischen dem HI-Editor und dem HI-Server erfolgt auf standardisiertem Wege über ReST/http (siehe Abbildung 4).

Abb. 4: Aufbau des HyperImage Authoring Systems, vgl. Kuper / Loebel 2013, fig. 1.

[29]
Die Grundlage des Frontends bildet eine serverbasierte Softwareumgebung, welche es erlaubt, (audio)-visuelle Objekte, Texte und mixed-media Objekte referentiell in Teilen oder als Ganzes durch hyperlinks miteinander zu verbinden. Somit können einzelne Punkte, aber auch ganze Regionen miteinander verknüpft werden. Dieses System ermöglicht somit zusätzlich zu textuellen Links die sichtbare Verlinkung von (bildlichen) Datensätzen, welches der Wiedergabe der inhaltlichen Struktur der Kommunikate entspricht. Auf diese Weise ist es dem Anwender möglich, Zusammenhängen zwischen einzelnen Datensätzen in ihrer Verlinkung zu verfolgen. Die Ausgabe der Daten erfolgt in einem projektspezifischen Austauschformat (PeTAL/XML), welches eine Weiterverarbeitung der Daten in anderen Anwendungen erlaubt und als Container auf standardisierten Formaten wie SVG, XLink, Dublin Core aufsetzt. Auch ist ein Export der Projektdaten im JSON-Format möglich. Darüber hinaus kann direkt systemimmanent eine Präsentation durch ein weiteres Modul des Modells webbasiert erfolgen.

[30]
Durch eine beständige maintenance und Weiterentwicklung der Software seitens der Entwickler wird außerdem eine weiterführende Nutzung ermöglicht. Derzeit befindet sich das Nachfolgesystem Yenda in der Entwicklung, in welchem die in HyperImage etablierten Werkzeuge integriert bzw. weitergedacht (wie z. B. eine Unterstützung von IIIF und des Semantic Webs) und unter einer gemeinsamen Plattform (Toolsuite) zur Verfügung gestellt werden.

[31]
Die konkrete Herangehensweise an die Datensammlung sieht nun zweierlei vor: Inhaltlich werden die einzelnen Komponenten des Corpus im Vorfeld getrennt nach den verschiedenen Modi analysiert und die daraus resultierenden Informationen direkt als XML-Struktur in ein Template eingefügt. Dies stellt den Annotationsteil dar. Zusätzlich werden die visuellen Darstellungen, Fotos oder Scans des Kommunikats als TIFF-Dateien gespeichert und in HyperImage importiert. Dort werden diese visuellen Elemente mit den zusammengehörigen Annotationen visuell verlinkt und weitere semantische Relationen visualisiert.

[32]
In diesem Sinne werden die verschiedenen Modi, wie ›Text‹, ›Bild‹ und ›räumliche Verortung‹ zuerst den üblichen ägyptologischen oder archäologischen Bearbeitungsweisen unterzogen und anschließend die solcherweise erzeugten Ergebnisse in das Corpus aufgenommen. Für die Texte beispielsweise bedeutet dies: Transkription, Übersetzung und Glossierung, sowie eine Zeichenfunktionsanalyse (siehe Abbildung 5 zur Illustration).

Abb. 5: Textanalyse als XML-Annotation und Verlinkung mit zugehörigem Bildelement und weiterführendem Link. [Döhl 2020]

[33]
Die Bildinformationen wiederum werden auf ihre verschiedenen semiotischen Einheiten heruntergebrochen und innerhalb dieser auf zwei Ebenen beschrieben: Auf einer möglichst bildikonischen Ebene wird eine allgemeine (vor-)ikonographische Beschreibung und Klassifizierung der einzelnen Elemente angestrebt, um die Analyse auch einer größeren, fachfremden Öffentlichkeit zugänglich zu machen. Auf der zweiten Ebene erfolgt die ägyptologische Beschreibung und Deutung dieser Inhalte sowie ihrer damit verbundenen Aussage. Die Beschreibung der räumlichen Verortung wiederum erfolgt sowohl in Form von Attributierungen mit geographischen Angaben, als auch durch eine visuelle Darstellung. In diesem Rahmen wird im weiteren Projektverlauf auch nach der Möglichkeit einer 3D-Implementierung gesucht, da ein Großteil der bearbeiteten Objekte eine komplexere semantische Einbindung in den Raum aufweist, deren Darstellung mit einfachen 2D-Mitteln nicht umzusetzen ist oder der Komplexität der räumlichen Bedeutungsaspekte nicht gerecht wird. Die Zusammenführung der solcherart aufgenommenen Ergebnisse geschieht in HyperImage in Form verschiedener Gruppen, die sowohl die Einzelanalysen der verschiedenen Modi bündeln, als auch die Ergebnisse weiterer Analyseebenen beinhalten. Bei letzteren handelt es sich in erster Linie um die Analyse verschiedener Mittel zur Kohärenz- und Kohäsionserzeugung. Unter Kohäsionserzeugung fällt zum Beispiel die Gestaltung des Layouts. Hier zielt die Analyse u. a. darauf ab, die expliziten und impliziten Gliederungssignale der Bild- und Textelemente zu verdeutlichen und in ihren jeweiligen Funktionen darzulegen (siehe Abbildung 3). Die Analyse der intermodalen Wiederaufnahme (siehe Abbildung 6) wiederum dient dem Nachvollziehen der Distribution von Information zwischen beteiligten Komponenten unterschiedlicher semiotischer Modi und ihrer Funktionsweisen im Rahmen der Sinnkonstitution des Kommunikats. Auch die Ergebnisse dieser verschiedenen Analyseebenen werden als XML- Annotationen aufgenommen und visuell verlinkt.

Abb. 6: Beispiel für die Analyse der intermodalen Kohäsion zwischen bildlicher Figur und textlicher Bezugnahme mit der Funktion der Referenz auf die Grabherrin am Beispiel einer Opfertafel. [Döhl 2020]

[34]
Zur Auswertung der derartig kombinierten und analysierten Daten und für weiterführende, vor allem quantitative Analysen des CaeMmCom ist es außerdem vorgesehen, die aufgenommenen Attribute zu exportieren. Dies kann aufgrund der Software-Struktur als XML-Daten erfolgen, so dass weitere Analyseschritte mit XML-Abfragesoftware, z. B. BaseX, vorgenommen werden können. Auf diese Weise soll ermöglicht werden, über die qualitative Analyse hinaus zu statistischen Ergebnissen zu gelangen, welche Aussagen über die Variationsbreite der Gestaltung multimodaler graphischer Kommunikation des pharaonischen Ägyptens, ihrer Funktion und ihrer diachrone Entwicklung mit größerer Genauigkeit ermöglichen.[19]

[35]
Neben dieser forschungsorientierten Seite der Corpussammlung ist gleichzeitig eine Präsentation der bearbeiteten Kommunikate vorgesehen.

[36]
Dieses soll dazu dienen, sowohl dem fachinternem als auch einem fachfremden Publikum die Wissensinhalte dieser Corpussammlung zu vermitteln, u. a. auch durch den Einsatz in der akademischen Lehre. Mittelpunkt dieser Vermittlung soll entsprechend des semiotischen Aufbaus eines Objektes ein visueller Zugang sein, der es ermöglicht, die einzelnen semiotischen Aspekte des Objekts sowohl in ihrer internen multimodalen Komplexität als auch in Bezug auf die Verortung im Raum zu erkennen. Auf diese Weise bleiben die visuellen Aspekte der komplexen Semiotik eines Objekts erhalten, welche durch eine Übertragung in eine reine XML-Struktur verloren gingen. Vorgesehen ist diese Form der Datenveröffentlichung als browsergestützte Online-Präsentation. Hierbei handelt es sich um eine Funktion, die bereits in der Software HyperImage implementiert ist. Der Betrachter ist somit in der Lage, die einzelnen Kommunikate visuell zu durchforsten und die graphischen Aspekte ihrer semiotischen Beziehungen zu erkennen. Gleichzeitig sind z. B. Übersetzungen oder weitere Informationen zu Bildinhalten in Form von Pop-Up-Texten durch einfaches ›mouseover‹ erschließbar. Hinzu treten weiterführende Informationen und die Anzeige der Metadaten am Seitenrand (siehe Abbildung 1).

[37]
Weiterhin soll das gesamte System in der Lehre Einsatz finden, da die Struktur der Software einen kontrollierten dezentralen, browsergestützten Zugang auf den Editor, und damit auf die Eingabeoberfläche der Sammlung, durch mehrere Anwender ermöglicht. Somit können Studierende die Annotierung und Bearbeitung multimodaler Kommunikate direkt am Objekt lernen. Zusätzlich kann die Präsentationsseite der Corpussammlung dazu verwendet werden, diverse Analysen und Fragestellungen der multimodalen Forschung in der Lehre zu veranschaulichen.

5. Gegenwärtiger Stand der Implementierung

[38]Als erstes Beispiel zur Erprobung des Aufbaus und der Entwicklung von CaeMmCom wurde zunächst ein begrenzter Datensatz herangezogen. Hierbei handelt es sich um die Sammlung der von Der Manuelian[20] veröffentlichten Opfertafeln der Giza-Nekropole aus der 5. Dynastie. Dieses Material entsprach den zugrunde gelegten Kriterien, nach denen das Ausgangsmaterial überschaubar sein und nur eine recht begrenzte Auswahl von graphischen Gestaltungsparametern sowie eine wiederkehrende Verwendung gleicher gestalterischer Mittel aufweisen sollte. Einen weiteren Vorteil bietet der profunde Forschungsstand zu dieser Art von Kommunikaten in der Ägyptologie, der es ermöglicht, die Sinnkonstituierung detailliert auszuarbeiten.

[39]
Auf dieser Grundlage aufbauend wurden in einem zweiten Schritt Opfertafeln aus Helwan ausgewählt.[21] Es handelt sich um Objekte aus historisch älterer Zeit (2. bis 4. Dynastie), die sich aufgrund geringerer Standardisierung der graphischen Gestaltung durch eine größere Variationsbreite der bildlichen und textlichen Formen auszeichnen. Sie bildeten für dieses Projekt eine gute Grundlage zur Erweiterung und zum Test der bisher aufgestellten Beschreibungsparameter und ihrer Attribute.

[40]
Für einen weiteren Test wurde darauf folgend ein Datensatz von einem anderen semiotischen Typ verwendet. Es handelt sich hierbei um Felsbilder und ‑inschriften aus der Region von Assuan.[22] Dieses Material bietet gleich mehrere Herausforderungen. Einerseits unterliegen die Felsbilder nur einem sehr begrenzten stilistischen Kanon bezüglich der Anordnung der einzelnen Komponenten und ihrer Inhalte. Andererseits ist bei ihnen ein weiterer Faktor der Multimodalität von hoher Relevanz, nämlich die räumliche Einbettung, beziehungsweise der Ort ihrer Anbringung, der berücksichtigt werden muss, um sie umfassend interpretieren zu können. Dieses Material stellt somit eine gute Grundlage zur Erarbeitung der Annotierung der räumlichen Komponente für das Corpus. Schon in diesem Fall wurde jedoch deutlich, dass die Implementierung eines Annotierungswerkzeugs für eine 3D-Umgebung notwendig wird, um allen Aspekten der räumlichen Bedeutungserzeugung gerecht zu werden – eine Problematik, die sich auch im weiteren Verlauf für Kommunikate auf Tempelwänden und Gräbern eingestellt hat. Insofern sieht die weitere digital-technische Planung der Corpussammlung eine solche Erweiterung vor.

6. Ausblick

[41]Das hier vorgestellte Corpus altaegyptischer multimodaler Communication – Corpus of Ancient Egyptian Multimodal Communication (CaeMmCom) ist bewusst so gestaltet, dass es für neue Analysemethoden offen und erweiterbar ist und ebenso möglichst viele weitere Kommunikatstypen und ‑genre aufnehmen kann. Aufgrund der Infra‑ und Datenstruktur des CaeMmCom kann somit jedes beliebige multimodale Kommunikat der pharaonisch‑ägyptischen Zeit beschrieben, visualisiert und präsentiert werden und somit zur Erweiterung der Corpusbasis beitragen. Konkret geplant sind für die nächste Zeit der Einbezug der Amduat, diverse Reden und Rufen‑Szenen aus Grabdekorationen sowie frühe Schriftnachweise. Auf mittelfristige Sicht wird eine dauerhafte, allgemein zugängliche Publikation dieser Datensammlung als Webseite unter Berücksichtigung bestehender Urheber‑ und Bildrechte angestrebt. Die offene Struktur der Forschungsplattform ist weiterhin darauf angelegt, interessierte Forschungskollegen mit ihrem eigenen, nach den implementierten Gesichtspunkten der multimodalen Methoden aufbereitetem Material einzubinden und kontrolliert in das Corpus zu integrieren. Nicht zuletzt kann das digitale Corpus als Instrument in der Lehre eingesetzt werden, um multimodale Fragestellungen zu veranschaulichen und im Sinne eines ›forschenden Lernens‹ auch als Praxisumgebung für Analysen im Rahmen von Abschlussarbeiten verwendet werden.