3.1 Auswahl und Vorbereitung der Quellengrundlage

[15]Für die qualitative Analyse des umfangreichen LUSIR-Quellenmaterials waren im Vorfeld des Workshops drei Interviewpassagen ausgewählt worden, die sich mit unterschiedlichen Schwerpunkten des Themas ›Arbeit‹ beschäftigen. Dies geschah in einem mehrstufigen Auswahlprozess durch die Autor*innen, in dem anhand des bestehenden Modells nach Topics mit Bezug zum Thema ›Arbeit‹ recherchiert und für zwölf interessante Topics einzelne Chunks herausgesucht wurden, die eins der betreffenden Topics in hohem Anteil enthalten. Aus diesen wurden zwei Interviewausschnitte ausgewählt, in denen die unterschiedlichen Dimensionen von Industriearbeit anschaulich und in einer kohärenten Erzählung geschildert werden.[23] Mit dem Vorwissen der Autor*innen zum Korpus wurde dann kontrastiv eine weitere Textstelle herangezogen, in welcher weibliche Büroarbeit thematisiert wird.[24] Für das finale Sample wurden bewusst komplette Chunks verwendet, um auch thematisch eher entfernte Narrationen einzubeziehen und die Vielfalt der manuell zu annotierenden Texte zu repräsentieren. Im Ergebnis wurden drei Textstellen von 1.611 Token (aus Interview ADG0054), 3.405 Token (aus Interview ADG0089) und 2.266 Token (aus Interview ADG0042) für die manuelle Analyse ausgewählt, wobei Timecodes und Sprecher*innenkürzel nicht mitgezählt sind.

3.2 Grounded Theory als methodologischer Rahmen der Workshop-Annotationen

[16]Die ausgewählten Textpassagen wurden den Workshop-Gruppen ohne weitere Erläuterung vorgelegt, lediglich Rahmeninformationen zum Korpus insgesamt wurden zu Beginn vorgestellt. Vor dem Start in die eigene manuelle Durchsicht und Annotation erfolgte eine kurze Einführung in die Prinzipien der Grounded Theory[25] als Grundlage der weiteren Beschäftigung mit den Textpassagen. In der qualitativen Sozialforschung ist diese Analysemethode weit verbreitet: Das induktive Verfahren ermöglicht, aus dem Material heraus Bedeutungen und Kontexte zu erschließen, und ist, besonders in offenen und selektiven Annotationen, Teil des Erkenntnisprozesses.[26] Es eignet sich auch für die Erweiterung entsprechender Forschungsprozesse mit computationellen Verfahren.[27] Diese Form von Annotationen ist prozessorientiert, sie dient der Unterstützung des Forschungsprozesses und weniger der Dokumentation von diesem.

[17]Das Vorgehen musste für den Workshop in seiner Komplexität deutlich reduziert werden. Gerade das iterative Vorgehen der fortlaufenden Erweiterung des eigenen Textkorpus durch theoretisches Sampling, auf dessen Grundlage zentrale Quellen aus Korpora ausgewählt werden[28], sowie die Verschriftlichung von Gedanken in Memos[29] hätten den zeitlichen Rahmen gesprengt.

[18]Zentral für den Workshop war der Schritt des offenen Annotierens, der im Rahmen der Grounded Theory einer ersten Annäherung an das Material dient. Ziel des explorativen Vorgehens im Workshop war nicht eine tiefgehende thematische Analyse des Materials, sondern eine exemplarische Sichtung und Kategorisierung der den Teilnehmenden unbekannten Texte. Im offenen Annotieren werden Textabschnitte gelesen und aus dem hermeneutischen Sinnerschließen heraus erste thematische Kategorien gebildet. Diese Kategorien werden (oft mittels eines digitalen Annotationstools) direkt an einzelne Textstellen vergeben, sodass das Kategoriensystem bei der Texterschließung prozessual wächst.[30] Der Text wird hierdurch in seine verschiedenen Bedeutungen aufgebrochen und diese durch die Kategorienbildung expliziert. Im Falle des Workshops wurde so auch die Grundlage für die später anschließenden Vergleiche der unterschiedlichen methodologischen Zugänge gebildet. In der Grounded Theory würde nach dem offenen Annotieren das axiale Annotieren folgen, in welchem die erarbeiteten Kategorien in Zusammenhänge gebracht werden, um schließlich im selektiven Annotieren die entwickelten unterschiedlichen Perspektiven auf eine zentrale Analyseperspektive zu reduzieren.[31] Der Schwerpunkt lag zwar auf einer offenen Exploration, wie sie typisch für den Beginn von Forschungsprozessen ist, doch in den Gruppendiskussionen wurden durchaus Kategorien gruppiert, wie es beim axialen Annotieren der Fall ist.

3.3 Ergebnisse der Arbeit in den Gruppen

[19]Im ersten Arbeitsauftrag wurden die Gruppenmitglieder gebeten, die Textstellen einzeln zu lesen und in der Folge offen zu annotieren und dabei im Annotationstool CATMA Kategorien zu erstellen.

[20]Die Gruppen stiegen alle mehr oder weniger unverzüglich in die Erstellung von Kategorien und die konkrete Annotation ein. Diskussionen zur Kategorienvergabe erfolgten dabei meistens anhand der konkreten Textstellen. Alle vier Gruppen diskutierten inhaltlich und versuchten, eine Einigung in Bezug auf die Interpretation von einzelnen Textstellen herzustellen. Dabei gingen sie chronologisch durch den Text, sprangen jedoch bei vergleichbaren Passagen zurück und veränderten Kategorien fortlaufend.

[21]Insgesamt können wir feststellen, dass die Gruppen – unabhängig davon, ob sie zuerst einen Textzugang via Topic Modeling hatten oder nicht – unterschiedlich annotierten. Die Kategoriensets mit ihren Unter- und Oberkategorien entstanden flexibel und veränderten sich im Zuge der gemeinsamen Arbeit. Damit zeigt sich auch, dass die Bedeutungsdimensionen einzelner Kategorien in manueller Annotation stetig ausgehandelt werden. Die Gruppe A2 annotierte alle Textpassagen vollständig, vergab also an allen Textstellen eine Kategorie. Die anderen Gruppen einigten sich nicht auf einen Anspruch der Vollständigkeit, dementsprechend wurden nur jene Textstellen einer Kategorie zugeordnet, die den Gruppen inhaltlich relevant erschienen.

[22]Tabelle 1 zeigt die in den vier Gruppen entwickelten Kategorien in einer durch die Autor*innen im Nachhinein vorgenommenen thematischen Sortierung, die den thematischen Schwerpunkt auf Arbeit wiederum beibehält und andere Themen eher kursorisch bündelt. Die verschiedenen Bezeichnungen der Kategorien verweisen auf die sehr unterschiedlichen Vorkenntnisse und Schwerpunktsetzungen in der Interpretation durch die einzelnen beteiligten Personen. Die jeweilige Entscheidung für eine Kategorie durch die in sich ebenfalls heterogenen Gruppen ist in Teilen auch auf die Diskussionsfreudigkeit bzw. Zurückhaltung von Einzelnen zurückzuführen: Da Entscheidungen ad hoc getroffen werden mussten, setzten sich Vorschläge von Gruppenmitgliedern mit höherem Redeanteil eher durch und sind teilweise auch Ergebnis der Aushandlung wissenschaftlicher Expertise. Dadurch kam es zu Kategoriensets, die dem Vorwissen der Gesamtgruppe oder Teilen von ihr entsprachen.

[23]Zur Interpretation gewisser Stellen der Interviews wünschten sich die Teilnehmenden mehr Kontext über die zur Verfügung gestellten Ausschnitte hinaus. Dies deutet darauf hin, dass manuelles Annotieren die forschende Neugierde anregt. Die Diskussion in der Gruppe B2 zeigt die verschiedenen Einschätzungen zu Textstellen sehr deutlich, die Kontextwissen erforderlich machen, denn die folgende Textstelle wurde einmal als ›unbezahlte Arbeit / Gender‹ und einmal als ›Familie‹ annotiert:

[24]»INT_MS Was haben Sie denn da so für Arbeiten gemacht.«

[25]»IP_LS Ja, ein bißchen Spülen, Trocken machen. Aber wir haben so zu Hause nicht viel arbeiten müssen, die Mutter war ja den ganzen Tag zu Hause und hat so alles selbst gemacht. Aber, was wir mussten, wir mussten unsere Sachen in Ordnung halten, selbst stopfen und bügeln, ja. Also wir sind nicht verwöhnt worden, wir sind sogar sehr streng erzogen, ja, erzogen worden. Meine Eltern waren sehr streng, aber sehr gerecht, ne.«[32]

[26]Dies zeigt wiederum, was für unterschiedliche Zusammenhänge ein Interviewausschnitt evozieren kann und wie abhängig dies vom eigenen Vorwissen ist.

[27]Die Gruppe A1 hingegen war sich in ihren Annotationen häufig einig: So wurden Textteile[33] von allen Einzelpersonen mit Kategorien wie ›Gender‹, ›Ungleichheit Gender‹, ›Frauen in der Arbeitswelt‹, ›Frauen im Job‹, ›Karriere‹, ›Ausbildung‹, ›Ausbildung und Profession‹ verschlagwortet. Als übergeordnete Kategorien einigte sich die Gruppe dann auf ›Ausbildung‹, ›Anstellung Verwaltung‹ und ›Gender‹. Dass diese Konsensbildung bei der entsprechenden Textstelle in den anderen Gruppen nicht so deutlich der Fall war, verweist erneut auf vorhandene oder eben nicht vorhandene geteilte Wissensbestände.

[28]Auffällig ist in der Summe, dass die beiden Gruppen, die sich zunächst über Topic Modeling dem Korpus genähert haben, weniger differenziert annotiert haben und auch weniger Kategorien gebildet haben (17 und 14 in den A-Gruppen zu je 21 in den B-Gruppen). Zudem wurden hier weniger analytische Kategorien gebildet: Die Kategorien der A-Gruppen bleiben eher auf einem beschreibenden Level, auch wenn die Grenzen dabei natürlich wiederum interpretativ gesetzt werden und deshalb hier nicht in absoluten Zahlen ausgedrückt werden.

[29]In der Gruppe B1 wurden hingegen direkt abstrahierende Kategorien diskutiert, nachdem die Gruppenmitglieder die Textpassagen gelesen hatten. Themen wie ›Gender‹ und ›soziale Herkunft‹ wurden explizit genannt und in der Folge auch für die gemeinsamen Kategorien verwendet, wobei hier weitere analytische Kategorien wie ›Intersektionalität‹, ›Professionalisierung‹ oder ›Hierarchien‹ verwendet wurden. Nicht alle Beteiligten der Teilgruppe diskutierten diese Punkte intensiv mit, was wiederum auf die Relevanz der individuellen Vorkenntnisse verweist. Interessanterweise kam die eher ›analytische‹ Kategorie ›Professionalisierung‹ von einer Person, die sonst kaum an der Gruppendiskussion beteiligt war.

[30]Die Textstelle, die mit ›Professionalisierung‹ annotiert wurde, lautet:

[31]»IP_LS (...) im Ausbildungswesen haben wir eine Schule errichtet, ja, und dann haben die Damen und da sind Damen angenommen, die auch vorher einen Test machen mussten und die haben dann, äh, Lochen gelernt und Maschinenschreiben, ein bisschen Buchführung und Rechnen hatten die noch, aber der das Gebrauch wurde hier auf für uns gelegt. Die haben dann eine einjährige Ausbildung gemacht und sind dann zu mir hingekommen. Aber das ist inzwischen vorbei.«

[32]»INT_MS Ist abgeschafft.«

[33]»IP_LS Das ist abgeschafft worden. Äh, ich hab jetzt noch, eins, zwei, eins zwei, drei vier, fünf Damen, das sind dann aber schon ältere, aber was heißt älter, nicht über vierzig, ne, die keine Schul, unsere Schulausbildung haben, ja.«[34]

[34]Schaut man deskriptiv auf diese Textstelle, so steht hier die Buchhaltung mit Lochkarten im Mittelpunkt. Die erst im Laufe der Zeit erforderliche Schulbildung für die Ausbildung wurde von einem Studierenden im Workshop als ›Professionalisierung‹ in Bezug auf die Einstellungsvoraussetzungen gewertet. Da er sich, wie den Autor*innen bekannt ist, in Seminaren und einer Nebentätigkeit bereits mit Arbeitssoziologie und deren Fachterminologie auseinandergesetzt hatte, fand er im Material offensichtlich ein Beispiel für das ihm bekannte übergreifende Konzept.

[35]Auch in der Gruppe A2 wurden in der offenen Annotation analytische Kategorien gebildet, insbesondere ›Carearbeit‹ und ›Hierarchien‹. Die Gruppenteilnehmenden waren sich einig, dass sie auf Grundlage der Lektüre genauer annotieren würden, als dies auf Grundlage des Modells zuvor geschehen sei. Vor der gemeinsamen Annotation tauschten sie sich darüber aus, dass sie allesamt kleinteilig annotiert und teils ausführliche Kategorien-Hierarchien entwickelt hätten. Der grundsätzliche Ansatz der differenzierten Annotation hatte sich also durch den vorherigen computationell bedingten Textzugang nicht verändert.

[36]In B1 wurde stark diskutiert, wann Kategorien zusammengehören und wie dies im Kategoriensystem durch Unter- und Oberkategorien abgebildet werden könnte. Die Teilnehmenden stellten dabei auch fest, dass sie unterschiedlich feinteilig annotierten, sowohl was die Länge der Textstellen als auch die Genauigkeit und Anzahl der Kategorien angeht. Das gemeinsam gebildete Kategorienset bestand hier maßgeblich aus den im Vorfeld erstellten Kategorien von zwei Gruppenmitgliedern, die bereits über umfangreiche Erfahrungen in der qualitativen Annotation verfügten. Im Laufe der Annotation orientierte sich die Gruppe immer stärker an deren Kategorien.

[37]In A1 hingegen wurde die Kategorisierung der einzelnen Chunks so vorgenommen, dass aus den individuellen Kategoriensystemen zunächst ein gemeinsames entwickelt und in der Folge genutzt wurde, um in aufgeteilter Arbeit die Chunks zu benennen. Zuvor wurde diskutiert, ob gewisse Kategorien vielleicht zusammenzufassen seien und wie dabei Unterkategorien – wie etwa die Übergänge in der Kollegialität zu Selbsthilfegruppen bis hin zu Betriebsräten – sichtbar gemacht werden könnten. Hier wurde also nicht nur die Größe einer Kategorie, sondern auch deren analytischer Gehalt diskutiert.

[38]Wenn es eine Verbindung zwischen zwei Kategorien gab, annotierte die Gruppe B1 den Text immer mit allen in Frage kommenden Kategorien. Die Gruppe war sich in der Regel einig, welche Textstellen als Themenblock zusammengehörig sind. Da es teils auch abweichende Meinungen gab, vergab die Gruppe fast immer mehrere Kategorien, die einzelne Mitglieder mit individuell unterschiedlichen Schwerpunkten setzen wollten. Auch B2 behalf sich bei Mehrdeutigkeiten ebenso wie bei Uneinigkeit zwischen den Gruppenmitgliedern damit, Textstellen mehrfach mit unterschiedlichen Kategorien zu annotieren. In diesen Praxen zeigt sich ein Umgang mit Ambiguitäten und individuell verschiedenen Interpretationen[35], der in qualitativer Annotation stets neu ausgehandelt wird. Zugleich widersprechen solche Lösungen der computationellen Herangehensweise, die zwar mehrere Bedeutungen durch Gewichtungen von Topics deutlich macht, entsprechende analytische Setzungen jedoch nicht ermöglicht. Die Aushandlungsprozesse sind fragil und schon außerhalb der Gruppe kaum noch nachvollziehbar, sodass diese Form der Kategorisierung auch auf Probleme der Nachnutzung und Automatisierbarkeit von qualitativen Annotationsprozessen verweist, bei denen keine produktorientierten Annotationen[36] das Ziel sind. Dies schmälert allerdings nicht den Wert entsprechender Annotationen im eigenen Erkenntnisprozess.

[39]Die diskutierten Bedeutungen verschoben sich beim Annotieren in den Gruppen im Laufe der Zeit, so wurde etwa in B1 festgestellt: »Das ist ja nicht das, was wir ursprünglich mit der Kategorie gemeint haben«. Zudem wurden beim Annotieren weitere Kategorien fortlaufend erstellt. Entsprechend notierte auch die Moderatorin während der Annotation der Gruppe: »Eben haben sie in der Kategorienerstellung gesagt, bei Technik sei Entwicklung wichtig, jetzt vergeben sie die Kategorie nicht an eine Textstelle weil ›ist ja keine Entwicklung‹.« Es zeigt sich hier besonders die Fluidität qualitativer Annotationen, die im Erkenntnisprozess immer weiter angepasst werden. Auch im experimentellen, sehr kurzen Zeitrahmen des Workshops fanden entsprechende Weiterentwicklungen und der Einbezug neuer Kontexte bereits statt, so dass daraus auch geschlossen werden kann, dass die manuelle Annotation im Versuchsaufbau durchaus vergleichbar mit von diesem Setting unabhängigen qualitativen Annotationsprozessen ist. Zugleich ist sie besonders verschieden von den feststehenden Kategorien maschineller Annotation.

4.1 Überblick und erste Eindrücke

[40]Die Analyse der Topic Models in den Gruppen erfolgte in einem ersten Schritt übergreifend. Dabei wurden die Wortlisten zu jedem der 50 generierten Topics einzeln gesichtet und in der jeweiligen Gruppe diskutiert. Die Gruppen einigten sich in diesem Schritt gemäß der Aufgabenstellung auf Topics, für die sie einen Bezug zum Thema ›Arbeit‹ sahen, und labelten diese Topics mit einem Schlagwort. Die Anzahl der selektierten Topics war dabei in allen Gruppen vergleichbar: Die beiden Teilgruppen, die zuerst Topic Modeling durchgeführt hatten, entschieden sich für 19 und 13 Topics, die beiden Teilgruppen, die zuerst händisch annotiert hatten, wählten 14 und 19 Topics aus (vgl. Tabelle 2). Die Auswahl von Topics unterscheidet sich also nicht nach der Reihenfolge der maschinellen bzw. manuellen Herangehensweise.

[41]Auch auf inhaltlicher Ebene ist kein deutliches Muster zu erkennen, das auf einen Unterschied beim Labeln der Topics mit oder ohne Vorkenntnisse der Quellen schließen lässt. In allen Gruppen finden sich unterschiedliche Differenzierungsgrade in der Kategorisierung. Für Topic 6 wurden in allen Teilgruppen ähnlich differenzierte Kategorien gebildet: ›Beruf (subjektive Perspektive)‹, ›Arbeit und Identität‹ (Gruppen A1 und A2), ›Einstellung zur Arbeit‹, ›Persönliche Einstellung zum Beruf‹ (Gruppen B1 und B2). Auch Topic 22 ist über alle Gruppen hinweg differenziert gelabelt: ›Arbeitsvorgänge Montanindustrie‹, ›Arbeitspraxis im Berg‹ (Gruppen A1 und A2), ›Arbeitspraxen im Bergwerk‹, ›Bergbau / Arbeitsbedingungen‹ (Gruppen B1 und B2). Topic 26 wurde von B1 als einer der Teilgruppen, die zuerst händisch annotiert hatten, mit ›Arbeitslosigkeit / Prekarität‹ differenzierter kategorisiert als von den anderen Gruppen. Topic 28 wurde wiederum von A2 als einer der Teilgruppen, die zuerst die Topics gelabelt hatten, mit ›Wege in die kaufmännische Ausbildung‹ detailliert bezeichnet.

[42]Damit zeigt sich, dass eine Exploration mit Topic Modeling auch ohne vorherige Kenntnis der Quellen zuverlässig möglich ist und die Topic-Term-Matrix erweist sich als guter Einstieg in Filterprozesse.[37] Zu bedenken ist hier allerdings, dass das verwendete Modell im Vorfeld intensiv getestet und angepasst worden war[38] und dass die Themensetzung ›Arbeit‹ gut zugänglich und allgemeinverständlich ist. Die hohe Differenzierung der Labels für einzelne Topics verweist wiederum (vergleichbar zu den Schritten in der manuellen Annotation) auf die vorhandenen Wissensbestände der Workshopteilnehmenden und macht deutlich, dass diese auch bei der computationellen Analyse relevant sind.

4.2 Einstieg in die Daten

[43]Nach der übergreifenden Exploration der Topics wurden mit Hilfe des Jupyter Notebooks stichprobenartig Interviewpassagen ausgegeben, die den relevanten Topics zugeordnet waren. In allen Gruppen wiesen die Teilnehmenden auf die voraussetzungsreiche Entstehung der Ergebnisse des Topic Modeling und die Schwierigkeit hin, diese inhaltlich einzuordnen. Jedoch waren die Vorbehalte in den Gruppen größer, die sich den Quellen zunächst über das Topic Modeling näherten (A1 und A2). Bei der ersten Begutachtung der Topics wurde dort angemerkt, dass eine Kontextualisierung des Textes fehle, was auf die Relevanz des Einbezugs von Metadaten verweist.[39]

[44]In den Gruppen, die zunächst manuell annotierten (B1 und B2), wurden die Chancen maschineller Verfahren bei der Erschließung von Textkorpora deutlicher benannt als in den anderen Gruppen. Gleichzeitig wurde dort besonders über die epistemologischen Herausforderungen einer computationellen Textauswertung diskutiert. Die Vogelperspektive sei verführerisch, erfordere aber das wiederholte Hineinzoomen in den Text, um ein Gespür sowohl für die Qualität und Aussagekraft der Topics als auch das Format der Quelle zu bekommen. Diffizil sei insbesondere, die Lenkung des Interviews durch die Interviewenden aus den Topics herauszulesen. Damit stimmen die Erkenntnisse der Gruppen mit denen aus anderen Forschungsprojekten überein.[40]

4.3 Evaluation der Topic-Listen

[45]Nachdem Topics identifiziert und mit Labels versehen wurden, widmeten sich die Gruppen der Differenzierung ihrer Auswahl. Insgesamt wurde hervorgehoben, dass die Topics zum Thema ›Arbeit‹ einen hohen Grad an Differenzierung aufwiesen und dass »Topics keine geschlossenen Entitäten« seien. Es konnten zum Teil spezifische Perspektiven in zunächst sehr ähnlich anmutenden Topics ausgemacht werden. Das systematische Gegenüberstellen ›verwandter‹ Topics führte zur Wahrnehmung teils subtiler Nuancen, die einerseits als ›Draufblick‹ und andererseits als ›Innenansicht‹ auf die Arbeit im Ruhrgebietsbergbau in den Topics 22 und 46 (vgl. Tabelle 2) bezeichnet wurden. Entlang der Zuordnung entfaltete sich eine Reflexion über die semantischen Zusammenhänge in den statistisch generierten Listen und ausgehend davon eine epistemologische Diskussion, wie man das richtige Label für eine Liste von zehn, 15 oder 30 Wörtern finden könne. Dabei spiele nicht nur Hintergrundwissen, sondern auch Fantasie eine entscheidende Rolle, so die übergreifende Einschätzung. Das Einigen auf ein Label sei ein stetiger Verhandlungsprozess, in dem sich die individuellen Blicke auf die Topic-Liste verändern könnten.

[46]Zur Differenzierung wurde auch Kontextwissen herangezogen, wie etwa zur Einordnung und Benennung von Topic 16, das in der Gruppe, die zunächst Topic Modeling angewandt hat, etwas differenzierter ausgefallen ist (vgl. Tabelle 2). Dabei mag von Bedeutung gewesen sein, dass der Anteil von Historiker*innen und Forschenden mit entsprechendem Schwerpunkt in dieser Gruppe höher war als in der anderen Gruppe – was zugleich kritisch reflektiert wurde. Abseits von Fachwissen half auch die Topic-inhärente Analyse der Zusammensetzung auf Grundlage von Wortlisten mit 30 oder mehr Top-Keywords. Gegenstand tiefgehender Auseinandersetzung war hier z. B. Topic 6 (vgl. Tabelle 2), wo in Gruppe A1 festgestellt wurde, dass »sehr unterschiedliche Begriffe zu finden sind und gerade bei Fällen, wo der wichtigste Begriff (Arbeit) nicht dominant war, es mir schwer fiel nachzuvollziehen, inwiefern dieses Topic zu Arbeit passt. Es müssen also unterschiedliche kleinere Begriffe dazu geführt haben, dass […] dennoch Topic 6 gewählt wurde.« Hier zeigt sich, dass Topic Modeling auch das implizite Sprechen einfangen kann und aus der Wahrnehmung, das Topic sei ›schwammig‹, bei näherer Betrachtung die Erkenntnis erwuchs, es würde einen bestimmten »Blick auf [ein] Phänomen beschreibe[n]«. Es wird deutlich, wie wertvoll eine intensive Auseinandersetzung mit der Topic-Term-Matrix für den Erkenntnisgewinn sein kann – was mit der Gruppendiskussion von Kategoriensets in der manuellen Annotation korrespondiert. Bemerkenswert ist, dass das Topic 6, das von Gruppe A1 zunächst schwammig und dann als Erweiterung des Blicks auf Arbeit eingeordnet wurde, von B1, die die Quellen bereits kannte, als ›Einstellung zur Arbeit‹ gelabelt wurde, nachdem ›Soziales Leben‹, ›Lebenslauf‹ und ›Berufswahl‹ diskutiert und verworfen worden waren. Die Gruppe hatte scheinbar keine Schwierigkeiten, das Topic in Zusammenhang mit dem Erkenntnisinteresse des Workshops zu bringen und stieg direkt in die Kategorisierung ein.

4.4 Exploration und kritische Reflexion

[47]In der Folge wurden die für die manuelle Annotation im Vorfeld ausgewählten Interviewpassagen betrachtet. Die Gruppen sollten diese beurteilen und überprüfen, ob die Textstellen auf Grundlage der freien Exploration der Topics und der dabei gesammelten Eindrücke von ihnen ebenfalls als relevant für ein Sample eingeschätzt werden. An diese exemplarischen Chunks wurden schließlich in CATMA die Oberbegriffe der drei im Model am stärksten gewichteten Topics annotiert. Die Vergabe der Labels für diese Topics an die jeweiligen Interviewpassagen konnten die Teilnehmenden dem Jupyter Notebook entnehmen, das die gewichteten Topics für jeden Textabschnitt ausgeben kann. Heatmaps der Topic-Document-Listen, die sowohl die Verteilung von Topics über Interviews (vgl. Abbildung 1) als auch die Chronologie und Schichtung der Topics innerhalb einzelner Interviews (vgl. Abbildung 2) darstellen, ermöglichten den kleinteiligen Rückbezug auf die sehr umfangreichen einzelnen Interviewtranskripte und somit ein textnäheres Arbeiten.

Abb. 1: Globale Heatmap mit der Verteilung aller Topics (X-Achse) über alle Interviews (Y-Achse). Zugrunde liegen jeweils die summierten Topic-Weights aller Chunks eines Interviews. [Grafik: Dennis Möbus 2024]

Abb. 2: Die Verlaufsmatrix zeigt die Topics anhand der ersten zehn Wörter (Y-Achse) im chronologischen Verlauf des Interviews, gegliedert nach Chunks (X-Achse). [Grafik: Dennis Möbus 2024]

[48]Der Wunsch, direkt über die visuelle Oberfläche Muster auszuwählen und weiter zu filtern, wurde in den beiden Gruppen geäußert, die erst an Topic Models arbeiteten (A1 und A2). Das zog jedoch die Kritik eines Historikers nach sich, der anmerkte, die »Heatmap lenk[e] den Blick zwangsläufig auf Stellen, die gesuchte Inhalte thematisieren. Dabei geht verloren, was nicht angesprochen wird.« Der Verweis auf Leerstellen im Material ist jedoch kein Alleinstellungsmerkmal dieses Verfahrens und für manuelle ebenso wie für computationelle Ansätze relevant. Interessant ist jedoch seine Erkenntnis, »über die Matrix erschließen sich eher die Randthemen des gesamten Korpus, die in einzelnen Interviews hervorstechen.« Somit kann Topic Modeling zwar den Blick auf die Gewichtung von Themen verzerren, hat aber Potenzial, Ausreißer zu lokalisieren, die unter dem Radar des vordergründigen Forschungsthemas einer Interviewsammlung fliegen.[41] Hier wird die Nutzung als Findeheuristik für spezifische Fragestellungen[42] besonders deutlich – was für Sekundäranalysen relevant ist und von den Forschungsinteressen der Primärforschung deutlich abweichen kann, weshalb Ausreißer interessieren.

[49]Während der Auseinandersetzung mit dem Material in den durch den Workshop vorstrukturierten Schritten wurde eingeräumt, dass sich die Differenzierung der Topics durch wiederholte Lektüre verknüpfter Textpassagen zunehmend erschließe. Man kann entsprechend festhalten, dass ein iteratives Oszillieren zwischen Distant und Close Reading, auch als Scaleable Reading[43] gefasst, eine effektive Methode ist, um die Qualität eines Topic Models zu evaluieren und dieses in qualitative Erkenntnisprozesse einzubinden. Der Perspektivwechsel führte in einer der Gruppen, die bereits mit den Quellen vertraut war (B2), zu einer sehr grundlegenden Diskussion: Einerseits wurde die Anwendung quantitativer Analysen im Rahmen qualitativer Forschung in Frage gestellt. Andererseits wurde argumentiert, dass thematische Häufungen als erste Interpretation genutzt werden können und Topic Modeling somit die Forschungsperspektive auf Quellen ändere. Daran zeigt sich, dass bereits nach kurzer Beschäftigung mit den so veränderten Zugängen grundsätzliche epistemologische Fragen aufgeworfen werden und angenommen werden kann, dass dies besonders durch die enorme Bedeutung des Hinterfragens eigener Methoden in qualitativer und kulturwissenschaftlicher Forschung bedingt ist.[44]

[50]Die Prämisse, die Methode des Topic Modeling verstehen zu müssen, um fundierte Forschung damit betreiben zu können, wurde von mehreren Teilnehmenden der Gruppen geäußert, die zunächst manuell annotiert hatten (B1 und B2). Eine brisante Frage, die vor diesem Hintergrund aufkam, war, ob Machine Learning generell Zusammenhänge erzeuge oder abbilde, was die entscheidende Frage nach sich zog, ob Topic Modeling schon ein Akt der Interpretation sei. Die vorherrschende Meinung der Workshopteilnehmenden war, dass ein statistisches Computerprogramm nicht verstehen könne – was eine Grundbedingung für jede Art von Interpretation sei. Als Gegenargument wurde angeführt, dass eine Selektion von Daten sehr wohl ein Akt der Interpretation sei. Wenngleich nicht sinnstiftend, sondern nach mathematischen Regeln herbeigeführt, handele es sich doch um einen Akt der Kondensierung. Auch hier zeigt sich, wie schnell grundsätzliche Diskussionen um die Handlungsmacht von Algorithmen und Machine Learning[45] aufleuchten und wie relevant diese für die kritische Übernahme der entsprechenden Methoden in neue Forschungskontexte wie die Oral History und qualitative Forschung sind.

5.1 Unterschiede in den Annotationen

[51]Durch die Arbeit in den Kleingruppen stehen insgesamt acht Kategorien-Sets zur Verfügung, die sich auf jeden Chunk hin abbilden lassen: Jede der vier Gruppen hat sowohl manuelle Kategorien erstellt als auch Oberbegriffe für die Topics vergeben. Im Folgenden sollen diese Annotationen, die auch Interpretationen aufzeigen können, vergleichend einem Close Reading unterzogen werden. Es wird in der Übersicht (vgl. Tabelle 2) schnell deutlich, dass ein Topic, basierend auf einer Liste von Wörtern, im Labeling durch die Gruppen zwar unterschiedliche, aber in der Summe recht ähnliche Oberbegriffe evoziert hat. So wurden etwa für das Topic 2 von Gruppe A1 ›Anstellung / Verwaltung‹ vergeben, von Gruppe A2 die Kategorien ›Positionen in einer Firma‹. Gruppe B1 bezeichnete dieses Topic als ›Organisation von Arbeit‹, Gruppe B2 als ›Arbeitsorganisation‹. Ähnlich verhielt es sich mit den manuell vergebenen Kategorien (vgl. Tabelle 1): Gruppe B1 bezeichnete ihre Kategorie als ›Technische Entwicklung‹, Gruppe A1 hingegen als ›Wandel Arbeitstechnik‹. Die durch Gruppe A1 benannten ›Arbeitskonflikte‹ annotierte Gruppe B1 mit ›Arbeitsbedingungen‹, nahm also ebenfalls ähnliche Interpretationen vor, wenn auch in geringerer Deutlichkeit. Insgesamt wurden die computationellen Topics wesentlich allgemeiner annotiert, während die manuelle Annotation zielgenauer erfolgte und bekannte Kontexte (etwa zu historischen Ereignissen) einbezogen wurden.

[52]Um die Unterschiede und Gemeinsamkeiten in der Annotation am Beispiel nachzuvollziehen, werden im Folgenden drei aufeinander folgende Chunks aus einer im Workshop analysierten Textstelle einem Close Reading unterzogen und die von den Gruppen jeweils vergebenen Kategorien genauer untersucht. Es handelt sich dabei um die ersten drei Chunks der vorgelegten Textstelle.

[53]Die Gewichtung der Topics zu dieser Interviewpassage – 22 und 46 dominieren in diesem Abschnitt – bildet den inhaltlichen Schwerpunkt der manuellen Annotation gut ab. Die Labels deuten zwar die Innenansicht der Arbeitenden im Kohlebergbau an, der in diesem Chunk angedeutete Konflikt wird durch die reine Ansicht der Topics allerdings nicht sichtbar. Diese eher statische Perspektive spiegelt sich in den manuellen Annotationen der Gruppen wider, die zuerst Topic Modeling durchgeführt haben (A1 und A2). Ob nach einem Topic Modeling insgesamt auch in der händischen Annotation reduzierter annotiert wird, sollte in weiteren Studien aufmerksam verfolgt werden, um den hier zu erkennenden Trend zu überprüfen.

[54]Auffällig ist, dass der Vorgabe, die jeweils drei am stärksten gewichteten Topics einer Passage zu annotieren, von keiner der Gruppen entsprochen wurde. Das liegt daran, dass im Ranking auf Platz drei eines der verrauschten, opaken Topics (33) lag, das weder im initialen Labeling der Topic-Listen mit dem Phänomen ›Arbeit‹ in Verbindung gebracht werden konnte, noch diesem Chunk eine adäquate inhaltliche Nuance hinzugefügt hätte.[46] Dementsprechend wird deutlich, dass menschliches Verstehen auch durch entsprechend statistische Bewertungen nicht unterdrückt wird, denn die Workshopteilnehmenden interpretierten lediglich jene Topics, denen sie Sinn entnehmen bzw. zuschreiben konnten.

[55]Was durch das Topic Modeling nicht abgedeckt wird und auf die Schwächen der Methode verweist, ist das Nicht-Einfangen dynamischer Prozesse in den genannten Beispielen.[47] Das liegt daran, dass aus lebensgeschichtlichen Erzählungen oft erst im interpretierenden Nachvollzug Dynamiken und Entwicklungen herausgelesen werden. Die Erzählenden verwenden nicht immer analytische Begriffe wie »Prozess«, »Entwicklung« oder »Dynamik«, um Episoden zu kennzeichnen, die von Wandel geprägt sind. Gleichwohl lassen sich Dynamiken einfangen, wenn beispielsweise unterschiedliche Topics zu einem Thema entstehen, die einen Status quo ante und einen Status quo post einer Entwicklung darstellen. In bestimmten Fällen – wenn beispielsweise Interviews zur Untersuchung gesellschaftlicher Transformationen durchgeführt werden – kann die erzählende Darstellung analytischer ausfallen. Gleichzeitig lassen sich immer wieder einzelne Topics finden, in denen Zeigewörter für Dynamiken gruppiert sind, auch wo diese nicht in entsprechend analytischen Begriffen explizit auftauchen. In den wesentlich differenzierteren manuellen Annotationen der Gruppen, die vor dem Topic Modeling händisch ausgewertet hatten, finden sich Bewegungsbegriffe wie ›technische‹ und ›technologische Entwicklung‹, das dynamische Verhältnis ›Leistung / Entlohnung‹ und das analytische Label ›Macht‹. Die manuelle Annotation deutet zudem über die Gruppen hinweg auf Konflikte in den Arbeitsbedingungen hin.

[56]Dies wird auch im weiteren Textverlauf und dessen Annotation deutlich:

[57]Die Vergabe der Topics verändert sich hier im Vergleich zum vorherigen Chunk nicht, noch immer geht es um die Innenansichten von Arbeitenden im Bergbau. Interessant ist, dass die Gruppe A2 als einzige Gruppe das für diese Textstelle computationell ermittelte und nicht arbeitsbezogene Topic 43 gelabelt hat, sogar recht analytisch als ›Erzähleinleitung/Aufrechterhaltungsfragen‹. Hier können wir selbstkritisch mitnehmen, dass in Zukunft – unabhängig von inhaltlicher Fokussierung solcher Workshops – konsequent alle Topics gelabelt werden sollten. Denn anders als im vorherigen Chunk, kann Topic 43 hier Nuancen hinzufügen. Die ersten Keywords ›geschichte‹, ›sachen‹, ›interessant‹, ›zeiten‹, ›sozusagen‹ muten zwar nicht sonderlich konsistent an, verweisen im Kontext der Passage aber auf die historische Bedeutung der Erzählung: Vor dem Krieg wurde das Gedinge, die Bezahlung Untertage, solidarisch für die Gruppe ausgegeben und geteilt, nach dem Krieg wurden die individuellen Meter Kohle, die man Untertage freilegte, für die Abrechnung herangezogen.[48] Diese Erzählung wird durch das Meta-Topic 43 zumindest annäherungsweise eingefangen.

[58]Die manuellen Kategorien differenzieren sich hier zwischen den Gruppen weiter aus. A1, B1 und B2 versuchen, die Konflikte, den Widerstand bzw. die Machtverhältnisse im Betrieb, die in der Erzählung deutlich werden, mit eigenen Kategorien zu greifen. Mit ›Motivation / Identifikation‹ hat Gruppe A1, die zunächst Topic Modeling durchgeführt hat, nun auch eine analytische Kategorie angelegt. Bemerkenswert ist hingegen, dass bei der expliziten Darstellung von unterschiedlichen körperlichen Fähigkeiten nur eine Gruppe (B1) die Körperlichkeit auch als Kategorie vergeben hat, dies also trotz der Thematisierung im Text und unabhängig vom methodischen Zugang nicht als bedeutsam erachtet wurde. Es kann nur vermutet werden, dass dies ggf. am Vorwissen der Workshopteilnehmenden oder an der Fokussierung auf ›Arbeit‹ lag.

[59]Hier ergibt sich außerdem eine weitere Limitierung durch das Topic Modeling: Werden Labels einmal pro Topic vergeben, geht das oft zu Lasten der teils in sich recht differenzierten Topics. Denn während Topic 46 eindeutig auf Strukturen und Organisation im Bergbau fokussiert, treten bei Topic 22 auch persönliche Aspekte, wie eben körperliche Belastung, hervor: ›dick‹, ›hand‹, ›luft‹, ›kaputt‹, ›bohren‹, ›dicke‹, ›hacken‹, ›winter‹, ›rutschen‹, ›kalt‹, ›gas‹, ›schlagen‹ sind Begriffe, die sich unter den 50 häufigsten Keywords befinden und durch die Labels ›Arbeitsvorgänge‹, ›Arbeitspraxis/en‹ und ›Arbeitsbedingungen‹ nur grob eingefangen werden.

[60]Der weitere Textverlauf zeigt eine noch differenziertere Annotation:

[61]Die Gewichtung der Topics bleibt auch in diesem dritten Chunk kontinuierlich: Noch immer geht es um den Bergbau (46) und die Arbeitsbedingungen (22) vor Ort. Die manuellen Annotationen entwickeln sich jedoch wiederum weiter – auch in den Gruppen, die zuerst Topic Modeling durchgeführt haben: ›Gesundheit / Körper‹ wird nun von Gruppe A1 angelegt, ›Werte‹ von Gruppe A2. Dieser Aspekt ist eng verbunden mit dem Konzept ›Solidarität‹ (und ›Kollegialität‹), annotiert von den Gruppen A1 und B2, was im Topic Modeling nicht abgebildet wurde – allenfalls das abgeschlagene Topic 35 liefert hier einen entsprechenden Hinweis.[49] Auch das Thema der Körperlichkeit wurde nun zusätzlich herausgestellt und von Gruppe A1 explizit in Zusammenhang mit Gesundheit gebracht (›Gesundheit / Körper‹). Nachdem im vorherigen Chunk das Thema ›Gesundheit‹ nur von Gruppe B2 gesetzt wurde, ergänzt dies nun A1, sodass die Reihenfolge des methodischen Zugangs auch hier offenbar nicht die entscheidende Rolle spielt. Ebenso wurde das Thema der Solidarität sowohl von Gruppe A1, die sich zunächst mit Topic Modeling auseinandersetzte, als auch von B2, die zunächst manuell annotierte, an diesem Chunk vermerkt. Das für dieses Chunk dominante Topic 49 wurde nicht als relevant für das Thema ›Arbeit‹ erkannt und entsprechend nicht gelabelt.[50]

[62]Wenn man sich die Labels für alle drei Chunks gesammelt anschaut, fallen die Differenzierungsgrade der manuellen Annotation zwischen den Gruppen weniger stark ins Gewicht. Es wäre eine weitere Untersuchung wert, inwiefern die sukzessive Differenzierung und Analyse in den Gruppen, die zuerst Topic Modeling durchgeführt haben, durch eben diese Vorgehensweise bedingt ist. Eine Hypothese ist, dass die über Topic-Listen vergebenen Labels zunächst auch im manuellen Annotieren aus der Erinnerung gerufen und angelegt werden und während der Lektüre – also Chunk für Chunk – um weitere Beobachtungen und analytische Feststellungen ergänzt werden.

[63]In der Summe zeigt sich an diesem Close Reading, dass die manuelle Annotation feinteiliger ist als die Topic-Labels und deutlicher sowie schneller auf Veränderungen in der Erzählung reagiert. Obwohl auch dort eine rein technisch vorgegebene Textpassage (die Chunks) annotiert wurde, die in sich keine geschlossene Erzähleinheit bildet, registrierten alle Gruppen die Veränderung im Bericht von einer sachlichen Darstellung hin zu einer eigenen Einschätzung, die deutlich wertend ist. Dementsprechend verschieben sich die Kategorien weg von ›Arbeitsbedingungen‹ hin zu ›Solidarität‹ und ›Körperlichkeit‹. Letztlich zeigt sich, dass die menschlichen Annotationen tiefgehender sind. Nichtsdestotrotz bilden die computationell erzeugten und manuell gelabelten Topics einen sehr allgemeinen, aber überzeugend korrekten thematischen Überblick.

5.2 Vergleich der Annotationen in den Gruppen: Kategorienbildung in manueller und maschineller Annotation

[64]Es kann festgehalten werden, dass die Gruppen, die erst nach der Beschäftigung mit den Topics an das Material gingen (A1 und A2), differenzierte und analytische Kategorien erst an späteren Chunks angelegt haben. Das korrespondiert mit der Feststellung, dass die Kategoriensets der beiden Gruppen kleiner ausgefallen sind als die Sets der Gruppen, die mit der manuellen Auswertung eingestiegen sind (B1 und B2). Zudem wurden von den Gruppen, die zuerst Topic Modeling angewendet haben, auch insgesamt weniger analytische Kategorien gebildet. Analytische Kategorien sind, bereits im offenen Annotieren, zentral für die weitergehende Interpretation der untersuchten Quellen.[51] In der qualitativen Sozialforschung werden unterschiedliche Annotationspraxen realisiert, die mehr oder weniger analytische Anteile haben, etwa in der Grounded Theory[52], der darauf aufbauenden wissenssoziologischen Diskursanalyse[53] oder der qualitativen Inhaltsanalyse[54]. Gleichzeitig werden auch im qualitativen Annotieren immer beschreibende Kategorien gebildet. Die im Topic Modeling generierten Topics sind rein textimmanent, was zunächst unabhängig von der Art des Zugangs zum Text der Fall ist. Es liegt nahe, dass beschreibende Kategorien durch die Topics beeinflusst wurden: Da im Topic Modeling nur Begriffe aus den Texten selbst verwendet werden, bleiben diese beschreibend. Analytische und damit auch abstrahierende Darstellungen sind hier nicht vorgesehen und müssen von den Forschenden ergänzt werden. Was für die Gruppen ohne vorherige Beschäftigung mit Topic Modeling selbstverständlich in analytische Begriffe gefasst wurde, bleibt bei den Gruppen, die nach dem Topic Modeling annotierten, zunächst eher deskriptiv. Ein Zusammenhang mit dem ersten, beschreibenden Zugang ins Material ist sehr wahrscheinlich, sollte in weiteren Erhebungen allerdings vertieft untersucht werden. Gleichzeitig scheint die Bildung von analytischen Kategorien durch eine vorhergehende Beschäftigung mit Topic Modeling nicht ausgeschlossen zu werden, da die Gruppen im weiteren Verlauf ihrer manuellen Annotation dazu übergingen, ebenfalls analytische Kategorien zu bilden.

[65]Die Anzahl der analytischen Kategorien und deren Abstraktionsgrad hängen zudem stark von der vorhergehenden Intensität der Beschäftigung mit dem Forschungsthema ab und sind auch je nach Forscher*in individuell unterschiedlich: Das Kontextwissen, insgesamt das individuelle Vorwissen der Annotierenden, hat hier einen großen Einfluss. Vergleichende Studien zu solchen qualitativ erstellten Kategoriensets bestehen nicht. Der Unterschied zum Topic Modeling liegt allerdings darin, dass kaum eine qualitative Annotation auf Dauer ohne analytische Kategorien arbeiten wird. Im Laufe der Beschäftigung mit dem Material und der parallelen Rezeption von Sekundärliteratur und theoretischen Konzepten werden die analytischen Perspektiven wachsen und sich auch in der (Re-)Strukturierung von Kategorien widerspiegeln. In der Grounded Theory zeigt sich dies in der Sättigung von Kategorien und Quellenkorpus.[55] Wenn eine qualitative Studie also gründlich am Material arbeitet und die entsprechenden Kontexte berücksichtigt, werden Unterschiede in der Annotation, die auf dem Vorwissen der forschenden Person beruhen, im Laufe der Forschung ausgeglichen werden, was zum in qualitativer Forschung üblichen Qualitätsstandard der intersubjektiven Überprüfbarkeit der Interpretation[56] führt.

[66]Dieser Prozess ist auch auf einer weiteren Ebene sichtbar geworden. Die lokalisierte Statik des Topic Modeling, also die mangelhafte Abbildung zeitlicher Zusammenhänge und historischer Prozesse im Material, ist nicht allein dem statistischen Verfahren geschuldet. Denn in der manuellen Annotation gingen alle Gruppen zwar im Grundansatz chronologisch durch die Texte, sprangen jedoch in verschiedenem Ausmaß dann zurück, wenn sie eine neue Kategorie am Material bzw. in der Diskussion entwickelten und diese auch für vorhergehende Textstellen passend fanden. Auch wurden Kategorien im Laufe ihrer Verwendung immer wieder umgenutzt, also mit fortschreitender Annotation anders verwendet als zu Beginn. Dies zeigt die iterative, aber kontextbezogene Beschäftigung mit dem Material. Diese wird im Topic Modeling zwar auch, aber anders umgesetzt: Der nichtlineare Blick auf das Material ist dort durch die Bayes’sche Wahrscheinlichkeitsermittlung zwar bereits algorithmisch angelegt, jedoch wurden die auf Grundlage der Topic-Listen erstellten Schlagworte während der Lektüre und Annotation der Textpassagen nicht weiter iterativ verfeinert.[57] Und auch bei der manuellen Annotation innerhalb der Gruppen, die zunächst Topic Modeling angewendet hatten, lösten die Annotierenden sich erst sukzessive von den Schlagworten der zuvor gelabelten Topics. In der rein manuellen Annotation entstehen die Kategorien hingegen anlassbezogen und dynamisch direkt am Text und, wie bereits dargestellt, in ihrem Grad der Analytik vom Kontextwissen der Forschenden ebenso abhängig wie vom Stadium der Forschung selbst.

[67]Dabei ist die intersubjektive Nachvollziehbarkeit von Kategorien bei qualitativen Annotationen in der Praxis nicht immer gegeben, selbst wenn die Kategorien durch eine feste Gruppe erstellt und in dieser intersubjektiv ausgehandelt wurden. Ein Beispiel hierfür ist die ausführlich dokumentierte Herangehensweise bei der Entstehung der Kategoriensets zweier Gruppen. So hat B2 in der manuellen Annotation lange Kategorien diskutiert, bevor die konkrete Annotation vorgenommen wurde. Das ist eine mögliche Erklärung dafür, warum die Gruppe ein ausgefeiltes und eher abstrahierendes Kategoriensystem hat. B1 ist viel schneller in die Annotation eingestiegen, hat dementsprechend mehr annotiert und das Kategoriensystem ›on the fly‹ erstellt. Da beide Gruppen erst manuell annotiert haben, liegt der Unterschied hier offensichtlich vielmehr in der jeweiligen Zusammenstellung der Forschendenpersönlichkeiten sowie in deren Erfahrungswissen zu Annotationspraxen als in der Reihenfolge der methodischen Annäherung an das Material begründet: Wer bisher stärker mit der Inhaltsanalyse gearbeitet hat, ist ein vorab erstelltes Kategoriensystem gewohnt, während nach Grounded Theory Kategorien erst im offenen Annotieren entstehen. Ob die unterschiedlichen Ergebnisse der Herangehensweisen nur oder primär dem Einfluss von Topic Modeling geschuldet sind, kann somit nicht in allen Fällen eindeutig belegt werden, zeigt aber unabhängig davon, wie sehr die individuelle Forschungspraxis die Annotation bzw. Entwicklung von Kategorien beeinflusst. Das belegt auch eine weitere Diskussion: In der Gruppe B1 ging es um die Frage, ob mit Nomen oder mit Verben kategorisiert werden solle, da Verben stärker an die Perspektive der Praxistheorie[58] anknüpfen würden. An diesen und an anderen Diskussionsprozessen der Gruppen wird deutlich, dass individuelle Annotationspraxen weiterer Erforschung bedürfen, insbesondere wenn sie im Kontext von Digital Humanities modelliert werden sollen.

[68]Ausgehend von diesen Beobachtungen scheint eine ergänzende, iterative Verzahnung von manueller und maschineller Annotation auf mehreren Ebenen ratsam. Angelehnt an den hermeneutischen Zirkel[59], können sich Weitblick und Einblick, Kontext und Inhalt, Allgemeines und Besonderes im Wechselspiel von Topic Modeling und händischer Annotation gegenseitig stützen – oder wie es eine Teilnehmerin formulierte: Es ermögliche das ›Springen‹ zwischen Nähe und Distanz im Sinne eines Scalable Reading[60].

[69]Insgesamt herrschte die Meinung vor, das Topic Modeling habe das manuelle Annotieren vorbereitet, indem es Anregungen geliefert (B2), erste Kenntnisse vermittelt (B1) und einen Überblick zu unbekanntem Material generiert (A1) habe. Festgehalten werden kann, dass es für die manuelle Annotation durchaus relevant ist, wann sich mit Topic Modeling befasst wird. Ausgehend von unseren Beobachtungen scheint es ratsam, ergänzend und schon zu einem frühen Zeitpunkt der Auseinandersetzung mit unbekannten Korpora via Topic Modeling auch in erste konkrete Textstellen einzusteigen und diese einer textnahen, manuell-qualitativen Analyse zu unterziehen, also etwa offen zu annotieren. Danach kann dann wieder in iterativen Prozessen in die Auseinandersetzung mit den Topics eingestiegen werden, um etwa die weitere Auswahl von Passagen zu leiten. Die Workshopteilnehmenden bestätigten, dass das Oszillieren zwischen Topics und Textpassagen zur Qualität der Kategorien – und damit auch zur Evaluation der Topics während des Trainings – beiträgt, insbesondere aber die Analysekategorien bereichert. In Bezug auf die Reihenfolge der Beschäftigung wurde als zielführend angesehen, zunächst mit Topic Modeling und dann in der Folge mit manueller Annotation nach Grounded Theory zu arbeiten. Dabei werde aus einem unbekannten Korpus eine Vorsortierung vorgenommen, die dann im zweiten Schritt Kategorienbildung evoziere. Anders als DiMaggio[61] schlagen wir also vor, die computationellen Verfahren weniger zum Skalieren auf große Textengen, sondern iterativ in den qualitativen Forschungsprozess verschränkt zu nutzen. Manuelle und maschinelle Annotation können, so ein Ergebnis unserer Vergleichsstudie, also in gegenseitiger Ergänzung genutzt werden.