Das Working Paper untersucht die Anwendung von
This working paper explores the application of
Auch wenn sich manche Historiker*innen mit eher klassischen hermeneutischen Zugängen zur Analyse ihrer Quellen lange Zeit unbeeindruckt von
Dieses Working Paper widmet sich zunächst dem komplexen und zum Teil umstrittenen
Entsprechend beschränkt sich das Working Paper auf zwei Ansätze: den jahrelang gültigen Quasi-Standard LDA und die vektorbasierte Themenextraktion mit Sprachmodellen, hier anhand von BERTopic demonstriert, die zur Zeit einige Popularität genießt. Es existieren auch andere Topic-Modeling-Ansätze, diese werden aber basierend auf dem erarbeiteten Forschungsstand aus unserer Sicht weniger häufig verwendet.
Die abschließenden Ergebnisse nach der Topic Estimation werden in einem Wechsel zwischen
Die Daten, die dieser Analyse zugrunde liegen, sind drei sehr unterschiedliche historische Textkorpora: spätmittelalterliche Sammelhandschriften, Zürcher Regierungsratsbeschlüsse aus dem 19. Jahrhundert und biographische Interviews aus den 1980er Jahren. Durch die Verwendung von drei verschiedenen Korpora soll einerseits gezeigt werden, wie Preprocessing und Topic Estimation zu unterschiedlichen Ergebnissen für die einzelnen Korpora führen. Andererseits ermöglicht der Ansatz eine kritische und vergleichende Betrachtung der Bearbeitung sehr unterschiedlicher historischer Fragestellungen mit Hilfe von Topic Modeling.
Die historische Forschung beschäftigt sich typischerweise mit Quellen, weniger mit Korpora und – außer in der Wirtschaftsgeschichte – selten mit Daten. Diese terminologischen Aspekte zeigen bereits, dass die Transformation von analogen
Topic Modeling ist ein methodischer Ansatz, um Themen aus Texten zu extrahieren. Dabei handelt es sich jedoch nicht um eine feste Methode, die in einem einzigen Algorithmus abgebildet wird, sondern es haben sich in den letzten 20 Jahren zahlreiche Ansätze etabliert, um Topic-Modelle zu berechnen. Diese reichen von
Lange Zeit galt LDA als Quasi-Standard-Algorithmus für Topic Modeling. LDA ist eine probabilistische Methode des maschinellen Lernens, die zur Identifizierung und Extraktion von Themenfeldern in großen Textkorpora verwendet werden kann. Durch die Berechnung von Wahrscheinlichkeitsverteilungen werden Hypothesen generiert und iterativ verfeinert und verifiziert. Um genau zu sein: Annahmen über die Verbindungen zwischen Wörtern (
Der Schlüssel zum Verständnis von LDA ist das
Anhand der Topics kann analysiert werden, welche Teile des Korpus – d. h. welche Dokumente oder Abschnitte von Dokumenten – einen Anteil an bestimmten Topics haben. Eine große Errungenschaft der LDA ist in dieser Hinsicht, dass, anders als beim klassischen
Angetrieben durch neuere Entwicklungen in der Generierung und Anwendung von
Derzeit werden in den digitalen Geisteswissenschaften und der Informatik hauptsächlich drei Programmiersprachen für Topic Modeling verwendet: Python, das mit Gensim und BERTopic eine ›traditionelle‹ und eine vektorbasierte Bibliothek anbietet, Mallet, eine JAVA-basierte Implementierung für Topic Modeling, sowie spezielle R-Pakete. Alle drei Sprachen und die damit verbundenen Pakete sind in der Informatik und in den Geisteswissenschaften weit verbreitet. Es gibt ausgezeichnete Tutorials (z. B. Programming Historian)
Die Regierungsratsbeschlüsse des Kantons Zürich stellen eine umfangreiche serielle Quelle dar, die durch Close-Reading-Verfahren kaum bewältigt werden kann. Die Einblicke in die Prozesse der Exekutive einer geographisch umfangreichen Verwaltungseinheit versprechen vielfältige Erkenntnisse zur ganzen Schweiz und des nahen Auslands während des 19. Jahrhunderts. Darüber hinaus legt der Blick in die Regierungs- und Verwaltungstätigkeit drängende Probleme und Aushandlungsformen offen und macht das Korpus so zu einem optimalen Untersuchungsgegenstand. Die Texte liegen bereits seit längerer Zeit als digitale Dokumente in maschinenlesbarer Form vor.
Die Reihe beginnt nach dem Ende der französischen Besatzung und der Helvetischen Republik 1803 und wurde handschriftlich bis 1898 fortgeführt. Sie enthält die schriftlichen Entscheide der Regierungsexekutive und deckt viele verschiedene Themen ab: von Infrastrukturprojekten über Entscheide zu Einbürgerungen und Ausweisungen einzelner Menschen bis hin zu Glückwünschen zur Geburt von königlichen Nachkommen in Nachbarstaaten. Insgesamt liegen mehr als 150.000 Entscheidungen vor. Die Dokumente sind alle in deutscher Sprache verfasst, wobei sich die Sprache im Laufe der Zeit verändert und nach und nach einer Norm zu folgen beginnt. Im Vergleich zum heutigen Deutsch lassen sich daher mehr Schreib- und Wortvarianten (›hujus‹ für ›diesjährig‹) finden, und bestimmte Schreibweisen unterscheiden sich immer noch (›bey‹ / ›bei‹, ›Theil‹ / ›Teil‹). Aus diesem Grund können bestehende Stopword-Listen für das Preprocessing (mehr dazu weiter unten) nicht verwendet werden. Gleichzeitig ist die Sprache stark formalisiert, sodass bestimmte Begriffe sehr häufig vorkommen (etwa ›Regierungsrat‹).
Dank der Aufbereitung durch das Staatsarchiv Zürich stehen der Forschung Tausende von Zürcher Regierungsratsbeschlüssen über Volltextsuche zur Verfügung. Die wichtige Frage, welche Themen wann diskutiert wurden, lässt sich aufgrund der schieren Größe des Korpus nicht einfach beantworten. Sie ließe sich allenfalls umständlich durch die Suche nach den Häufigkeiten von Schlüsselwörtern klären, die vor einer solchen Analyse ermittelt werden müssten.
Mit dem Korpus wird exemplarisch aufgezeigt, wie die immer umfangreicher werdenden Dokumentenserien der Frühen Neuzeit und des 19. Jahrhunderts thematisch bearbeitet werden können. Eine manuelle Durchsicht ist bei diesen Reihen nicht nur erschwert, sondern eigentlich unmöglich. Die naheliegende Konsequenz ist die Hinwendung zur computergestützten Informationsanalyse. Die Regierungsratsbeschlüsse des Kantons Zürich stellen eine solche Reihe dar, welche die Abläufe in der Exekutive einer Verwaltungseinheit im Verlauf des 19. Jahrhunderts zu erhellen verspricht.
Eine Laufzeit von bis zu acht Stunden pro Interview bedeutet zum einen eine enorme Textmenge, zum anderen enthalten die Stegreiferzählungen der Interviewten Abschweifungen in die unterschiedlichsten Lebensbereiche – und damit Themen. Ein kursorischer Überblick oder eine einfache Suche nach Schlagwörtern ist aussichtslos, sodass Topic Modeling das Potenzial bietet, Inhalte aufzudecken, die manuell kaum wahrnehmbar sind, etwa Mikroerzählungen über Freizeittrends der 1950er Jahre oder erste Erfahrungen mit Computern im Büro. Solche thematischen Ausreißer sind zwischen den dominierenden Interviewpassagen zu ›Industriearbeit‹ und ›Faschismuserfahrungen‹ leicht zu übersehen.
Vormoderne Handschriften (gebundene Bücher) bestehen selten aus nur einem Werk, sondern enthalten oft mehrere Texte, die mitunter von verschiedenen Schreiber*innen und / oder Besitzer*innen über mehrere Jahre oder Jahrzehnte hinweg eingefügt wurden. Dabei wurden Texte nicht immer originalgetreu abgeschrieben, sondern oft gekürzt, ergänzt, sprachlich angepasst oder auf andere Weise verändert, sodass Forscher*innen mit zahlreichen Herausforderungen auf mehreren Ebenen konfrontiert sind, wenn sie versuchen, die Überlieferung eines bestimmten Werkes zu rekonstruieren: Nicht nur sind manche Textveränderungen so radikal, dass sich die Frage stellt, ob eine solche veränderte Abschrift nicht bereits ein eigenständiges Werk ist, das einer gesonderten Analyse bedarf. Auch die Kombination verschiedener Texte in einer Handschrift hat Einfluss auf die jeweilige Lesart, sodass Gattungszuordnungen möglicherweise neu überdacht werden müssen – ein Bericht über Alexander den Großen erfüllte in einer Textgemeinschaft mit Heldensagen vermutlich eine andere Funktion als in seinem ursprünglichen Kontext als Teil einer Weltchronik. Solche Anpassungen deuten auf interessante Kopiervorgänge hin, können aber nur durch zeitaufwändiges Close Reading aufgedeckt werden, das selbst bei kleinen Korpora einen enormen Aufwand bedeutet. Laufende Fortschritte in der
Die spätmittelalterliche Chronik des Straßburger Klerikers Jakob Twinger von Königshofen ist in knapp 130 Handschriften überliefert.
Berechnet man ein Topic-Modell auf einem Korpus, das lediglich
- 4 [-, Mhh., habe, nich., es, Ja, dINT_AVPe, du, sicherlich, Lager, (...)., man, also,, [räuspert, [hustet], d. h., Nö,, INT_AVPch, nich,, Äh,, dort, nö,, –, hab, Ja,, wurde, INT_AVPn, [—], Mal, ne, nämlich, zunächst, nö., IG, sich], gewählt, habe,, Essen, äh, SPD., Amerikaner, Metall, Kollegen, Kontakt, versucht, Mensch,, Anfang, Er, Also,, diskutiert]
Interpunktion, die an den Wörtern ›klebt‹, muss ebenso entfernt werden wie nichtssagende Wörter (Partikel, Pronomen etc.) und disziplinspezifische Funktionswörter (hier etwa Sprecherkürzel wie ›INT_AVP‹). Groß- und Kleinschreibung sowie Flexion führen zu Redundanzen in den Topics.
Alle drei Korpora müssen entsprechend – unabhängig davon, welchen Zeitraum sie abdecken oder wie umfangreich sie sind – aufbereitet werden, damit die Topic-Modeling-Algorithmen mit den Texten umgehen können. Diese Schritte werden als Preprocessing bezeichnet. Da es sich dabei um eine Manipulation der historischen Quellen handelt und im eigentlichen Sinn eine Anpassung des
Die für unsere Analysen durchgeführten Schritte sollten daher nicht als standardisierte Abfolge verstanden werden, die immer auf diese Weise ablaufen muss. Im Gegenteil sollte jeder Schritt des Preprocessings immer reflektiert und auf den Anwendungsfall angepasst werden.
Folgende Schritte werden traditionell bei Topic Modeling zum Preprocessing gezählt:
- Entfernung von Satzzeichen,
- Umwandlung aller Zeichen in Kleinschreibung,
- Entfernung von Stopwords,
- Reduktion von Wortformen auf ihre Grundform (Lemmatisierung).
Bei sehr langen Dokumenten kann es zudem sinnvoll sein, diese in kleinere Teile aufzuteilen, da zumindest LDA lange Texte nicht optimal verarbeiten kann und Dokumente mit ungleicher Länge die Analyse verzerren. Der dafür notwendige Schritt wird Chunking genannt.
Die Konsequenzen dieser einzelnen Schritte lassen sich am einfachsten am konkreten Beispiel, das heißt, an den drei vorliegenden Korpora demonstrieren. Um die Auswirkungen der beschriebenen Preprocessing-Schritte nachvollziehbar zu machen, wird im Folgenden nicht nur aufgezeigt, welche Ergebnisse mit Topic Modeling bestenfalls erzielt werden können, sondern auch, inwieweit die Verfahren zu ›lesbareren‹ und vor allem interpretierbaren Ergebnissen führen. Alle Modelle zur Beurteilung der Preprocessing-Schritte wurden mit Mallet berechnet. Hierbei wurde zunächst von 20 Topics ausgegangen. Anschließend wurden 50 Optimierungsdurchläufe mit jeweils 500 Iterationen durchgeführt (dazu ausführlich in Kapitel 4). Mallet wurde gewählt, weil es zum einen die erste LDA-Implementierung war, zum anderen hat eine Vorstudie gezeigt, dass es auf historischen Korpora eine bessere Performance bietet als Gensim.
Verfahren, die – wie LDA – ohne Sprachmodelle arbeiten, verfügen über kein Sprachwissen und können Wörter nicht selbst identifizieren. Das heißt, was ein Wort ist, muss im Preprocessing für den Algorithmus eindeutig sein. Hingen Satzzeichen an Wörtern, weil diese üblicherweise in digitalen Texten nicht durch ein Leerzeichen getrennt werden, würden etwa alle Wörter, die an einem Satzende stehen, als andere Wörter gewertet werden als ihr Pendant ohne anhängendes Satzzeichen (›Ein schönes Erlebnis.‹ / ›Ein schönes Erlebnis war das.‹). Für eine vollständige Entfernung und nicht etwa ein Lösen der Satzzeichen vom davorstehenden Wort spricht, dass die isolierten Satzzeichen im Topic Modeling als eigenes Wort gezählt und nachher eigene Topics bilden oder andere verrauschen würden.
Die Entfernung von Interpunktion und sämtlichen Sonderzeichen im Interviewkorpus ergibt zwar ein optisch, aber nicht auch inhaltlich besseres Bild. Die einzige Spur deutet auf das Thema ›Arbeit‹ hin:
- 15 [der, war, ich, die, da, nicht, den, hab, waren, noch, von, ein, auch, und, mit, im, Ja, jetzt, dem, Ich, Da, weiß, bei, mehr, das, Der, ist, irgendwie,
Betrieb, hat,Betriebsrat, wie, hatte, alles, oder, Essen, er, später, mal,Kollegen, worden, mich, für, damals, schon, Die, als, dabei, wieder, haben]
Die Umwandlung aller Zeichen in Kleinschreibung gehört zu den gängigen Preprocessingschritten. Topic-Modeling-Algorithmen, insbesondere LDA, funktionieren wie ein Vergleichsalgorithmus, der zwischen Groß- und Kleinschreibung unterscheidet: Das gleiche Wort, einmal groß- und einmal kleingeschrieben, würde als zwei unterschiedliche Wörter gewertet werden. Aus den drei Beispielsätzen ›Das wäre schön.‹, ›Wäre das schön?‹, ›Schön wäre das!‹ würde nicht ein Vokabular mit drei Wörtern erstellt, sondern mit sechs: ›Das, das, Wäre, wäre, Schön, schön‹.
Die Kehrseite des Lower Casing ist, dass zwei unterschiedliche Wörter, von denen eines ein Nomen ist, nachher nicht mehr unterschieden werden können (›Die Kriege des 20. Jahrhunderts.‹ / ›Ich kriege die Krise.‹). Es ist letztlich eine Frage von Gewinn und Verlust und ggf. am Anwendungsfall zu prüfen, ob Lower Casing im jeweiligen Falle sinnvoll ist oder nicht.
Bei Topic-Modeling-Ansätzen, die auf Sprachmodellen basieren, wie dies bei BERT der Fall ist, kann auf das Lower Casing verzichtet werden, weil die Groß- und Kleinschreibung in Sprachmodellen repräsentiert wird. Wie überall gibt es auch hier Ausnahmen; bei manchen Ansätzen mit Sprachmodellen wie z. B.
Lower Casing ist insbesondere bei Wörtern hilfreich, deren Groß- bzw. Kleinschreibung diachron oder anderweitig im Korpus variiert. Aufgrund der fehlenden Normalisierung der deutschen Sprache kommt dies im Korpus der Regierungsratsbeschlüsse relativ häufig vor. Mit dieser Vorgehensweise werden auch Satzanfänge nicht separiert. Da im Korpus wenige Wörter sehr häufig vorkommen, reduziert und verbessert das Lower Casing somit die Anzahl der sehr häufigen Token.
Nach Anwendung von Lower Casing (und der Entfernung der wenigen Satzzeichen) ergeben auch die Topics für die Chronikhandschriften noch ein sehr vages Bild:
- 4 [und, der, die, er, das, den, von, dem, mit, des, uff, im, als, nit, es, nach, man, sich, dar, sin, ander, ir, ist, wider, umb, sant, wie, kam, alle, noch, ich, da, sprach, tag, vil, aber, wol, gen, oder, gar, selben, hie, wan, stat, durch, doch, wolt, gottes, allen, disen]
- 17 [von, vnd, zu, sie, die, das, unnd, auch, der, den, da, vnnd, man, mit, vor, wart, wan, anno, dem, ine, bey, ein, viel, weyssenburg, widder, nit, eyn, des, din, gem, es, hett, uff, dag, warent, dan, statt, de, stat, im, doch, sein, als, wie, uf, alle, alles, wardt, sich, andern]
Bei den Interviews bringt das Lower Casing eine minimale Steigerung angedeuteter Themenfelder, weil Redundanzen herausgefiltert werden und so Platz für sinntragende ›Nachrücker‹ schaffen. Neben dem wenig veränderten Topic ›Arbeit‹ (11) zeichnet sich ein Topic zum ›Bergbau‹ (12) ab:
- 11 [der, ich, die, da, hmm, wir, den, sie, mal, jetzt, im, haben, bei, wie, sagen, wenn, dass, damals, ist, man, war, äh, zu, dann,
betriebsrat,betrieb, kann, mich, mehr, waren, bin,kollegen, hier, als, sind, worden, gesagt, noch, auf, wieder, mit, ein, natürlich, heute, uns, wo, nur, zeit, dabei, muss] - 12 [wir, man, das, die, dann, ja, und, der, haben, jetzt, da, wenn, ist, du, hat, es, sind, mal, dass, den, auch, immer, uns, war, oder, mit, aber, damals, noch, von, wieder, wo,
zeche, auf, gesagt, heute, kann,bergbau, im, wie, waren,steiger, ich, gemacht, dort, oben, gehabt, diese,kohle, eigentlich]
Ein Schritt im Preprocessing, der umstrittener ist als die bislang behandelten Verfahren, ist das mögliche Entfernen von Stopwords. Da beim Topic Modeling nicht nur das gemeinsame Wortvorkommen, sondern auch die Worthäufigkeit gemessen wird, erscheinen hochfrequente Wörter auch häufig in Topics. Dies erschwert die Interpretation und das Verständnis von Topics als thematische Felder, da es sich bei den hochfrequenten Wörtern meist um Funktionswörter handelt, die allenfalls bedingt bedeutungstragend sind. Durch deren Entfernung wird eine höhere Konsistenz der Topics und damit auch eine Erleichterung bei der inhaltlichen Analyse angestrebt. Der Ausschluss wird am zuverlässigsten über eine Auflistung der Wörter in einer sogenannten
Aus einer erkenntnistheoretisch-hermeneutischen Perspektive stellt sich die Frage, wie die Bedeutung von Textelementen identifiziert wird und welche Kriterien man dabei anwendet, d. h. auf welche Annahmen man das Data Cleaning stützt. Hier ist die Forschungsfrage von großer Bedeutung, denn sie beeinflusst die Entscheidung, ob eine Zeichenkette a priori als Stopword zu betrachten ist oder ob ihre Bedeutung erst im Nachhinein durch den Kontext sichtbar wird. Begriffe wie ›Mann‹ und ›Frau‹ sind äußerst häufig und sehr allgemein, können aber auf Gender-Aspekte aufmerksam machen, wenn sie im Korpus enthalten bleiben. Entsprechend können beide Begriffe, je nach Forschungsfrage, hochgradig aussagekräftig oder obsolet sein für die Interpretation der Topic-Cluster.
Für viele moderne Sprachen existieren spezifische Stopword-Listen, die für das Preprocessing genutzt werden können. Für das hier behandelte Korpus lebensgeschichtlicher Interviews waren vorhandene Listen jedoch nicht geeignet, da die Quellen dialektale Wortformen enthalten. Ebenso wie für Dokumente mit formelhaftem Charakter, wie die Regierungsratsbeschlüsse, sind hier gut kuratierte Listen sinnvoll. Bei vormodernen Quellen ist die Situation noch schwieriger, da es keine einheitliche Schreibweise für Wörter und Wortformen gibt, entsprechend werden die Zeichenketten häufig mehrfach in ähnlicher Schreibung (jedoch als distinkt, unterschiedlich verstandene Wörter) in ein Topic aufgenommen.
Die Stopword-Bereinigung erfolgt in einem einfachen Vorgang. Die Wörter in den Stopword-Listen werden in den zugrundeliegenden Korpora in einer iterativen Schleife automatisch gesucht und für die weitere Verarbeitung entfernt.
Dennoch ist die Anwendung problematisch, da die Listen, wie oben beschrieben, individuell auf die Korpora angewendet werden. Dieser Filterprozess greift für die nachfolgende Generierung der Topics massiv in den Inhalt der Quellen ein. Im Sinne einer transparenten und reproduzierbaren Forschung sollten Stopword-Listen daher ebenfalls separat oder mit dem Paper veröffentlicht werden. Nur so wird hinreichend nachvollziehbar, wie die Ergebnisse zustande gekommen sind und inwieweit dadurch in die Quellen bzw. in die Datengrundlage, die eine Quelle repräsentiert, eingegriffen wurde. Die hier verwendeten Listen sind zusammen mit zwei der drei Korpora zugänglich und können bearbeitet, wiederverwendet oder für eine eigene Analyse ignoriert werden.
Neben dem Ausschluss bestimmter Wörter über die Listen gibt es die Möglichkeit, sehr häufig vorkommende Wörter über einen
Ein letzter, artverwandter Eingriff, der mit beiden Herangehensweisen kombiniert werden kann, ist die Definition von Mindest- und Maximalwortlängen, um Partikel, Indizes von Aufzählungen oder Fehler in den Transkripten auszuschließen. Gerade im Umgang mit automatisch prozessierten Texten, die beispielsweise aus der Texterkennung kommen, finden sich häufig Relikte und falsch identifizierte Zeichen. Um nicht ein einzelnes Topic bestehend aus solchen eher zufälligen Zeichen zu generieren, können diese gelöscht werden. Im Korpus der mittelalterlichen Handschriften führt dies dazu, dass alle ›Wörter‹, die nur aus einem Zeichen bestehen, entfernt werden. Das ist semantisch nicht ganz ungefährlich, da etwa das Wort ›ê‹ entfernt wird, das als Substantiv (›Ehe‹) und in adverbialer Bedeutung vorkommt.
Die Entfernung von Stopwords hat sich nicht zuletzt wegen begrenzter Rechenkapazitäten als gängiges Vorgehen etabliert. Seit wenigen Jahren können unsupervisierte maschinelle Lernverfahren aufgrund von höherer Rechenleistung aber verbessert unterstützt und entsprechend reibungsloser durchgeführt werden; dies hat die Diskussion um die Entfernung von Stopwords neu entfacht und Alexandra Schofield, Måns Magnusson und David Mimno (letzterer einer der ›Erfinder‹ von LDA) argumentieren mittlerweile für die Beibehaltung von Stopwords und ein ›Ausblenden‹ erst bei der Interpretation der Resultate.
Das Stopword Removal ist essentiell für die Auswertung der Regierungsratsbeschlüsse, unabhängig davon, ob eine Lemmatisierung erfolgt (die Lemmatisierung wird weiter unten behandelt). Eine Vielzahl von Wörtern (man denke an ›Zürich‹, ›Regierungsrat‹ oder ›Beschluss‹) tritt in praktisch jedem der Dokumente auf. Dementsprechend sind die Token auch in fast jedem Topic zu finden, was die Identifikation der Dokumentencluster merklich erschwert. Auch nach Entfernung von Stopwords finden sich noch diverse Token, die in einer Vielzahl von Beschlüssen auftauchen. Dadurch wird es schwierig, den Themenfeldern eine inhaltliche Ausrichtung zuzuschreiben.
- 48 [
bericht, beschloßen, hoch, derselbe, anhörung,behörde, welch, mein, erstatten, weisung, seyn, beauftragen, laßen, obern, antrag, seye, commißion, zwey, klein, anzeigen, statt, gegenwärtig,regierung,berichtes, deßen, hingegen, erforderlich, rath, uhherren, beschluß]
Ein zusätzliches Problem entsteht durch das Vorkommen von Verben oder anderen Wortformen, die nicht mehr gebräuchlich sind (v. a. aus der ersten Hälfte des Korpus bis etwa 1850). Damit sind zwei Konsequenzen verbunden, wenn diese nicht entfernt werden. Erstens werden die Themen faktisch zweigeteilt, da die veraltete Verbform als zugehörig identifiziert wird. Zweitens entstehen mehrfache Cluster mit ähnlichen Inhalten, jeweils mit neuer und alter Form. Die Aussagekraft der Resultate ist damit reduziert.
- 37 [danken, mein, alle, allgemein, wichtig, bezeugen, sorgfältig, regierung, kräftig, bemühungen, krankheit, viel, sorgfalt, besonders, zufriedenheit, unterstützung, sämtlich, kanton, lieb, eifer, gut, kantons, öffentlich, unsers, ich, treue, verordnung, vergnügen, thun, august]
Im Vergleich zwischen der Entfernung hochfrequenter gegenüber spezifischer Stopwords schwingt wiederum die zielgerichtete Stopword-Liste oben aus, da die Verteilung der unterschiedlichen Token noch konzentrierter ist als in anderen Korpora: Ganz wenige Token treten enorm häufig auf. Auch nach der Entfernung der 0,5 % häufigsten Token findet sich entsprechend eine Vielzahl von Wörtern, die als bedeutungslos für die historische Auswertung verstanden werden müssen. In jedem Fall wurde entsprechend mit manuellen Stopword-Listen gearbeitet.
Auf den mittelalterlichen Handschriften wurden beide Vorgehen – Threshold und Stopword-Liste – getestet. Während auch bei Texten in standardisierter Sprache bestehende Stopword-Listen nicht unbesehen genutzt werden sollten, stellen sie Forscher*innen bei der Analyse vormoderner bzw. dialektal geprägter Texte vor ein weiteres Problem: Hier existieren einerseits auch Listen,alle, allem, allen, aller, alles
steht beispielsweise al, all, alle, allem, allen, aller, alles, allez, alleȥ, elliu
gegenüber, wobei weitere Formen wie ›alliu‹ oder ›elle‹ nicht abgedeckt sind.
Das Topic bezüglich der
stat/
stattfür ›Stadt‹ und
annoals Hinweis auf datierte Einträge, wie sie für Chroniken typisch sind:
-
Stopwords < 0,5
19 [vnd, zu, sie, unnd, auch, da, man, vnnd, nit, des, vor, wan, wart, es, im,
anno, ine, als, sich, ein, bey, viel, alle,weyssenburg,widder, wie, eyn, gem, hett, din, warent, doch,stat, dag, dan,statt, aber, nach, de, alles, sein, wol, ander, umb, uf, wardt, inn, wurdent, andern, sant]
Setzt man den Threshold auf < 0,25 (wodurch Wörter mit einem Vorkommen von mindestens 0,25 % entfernt werden), fehlt das Topic; ebenfalls bei einem Threshold < 0,05. Bei einem Wert von < 0,01 (bei dem nur Wörter in das Topic Modeling einbezogen werde, die weniger als 0,01 % Anteil am Korpus haben) hingegen wird das Topic etwas deutlicher, das neu hinzugekommene »ite[m]« verweist auf ein chronikalisches Element, die »stat« / »statt« hingegen fiel heraus:
-
Stopwords < 0,01
2 [vnd, sie, unnd, vnnd,
anno, ine, bey, viel,widder,weyssenburg, eyn, gem, hett, din, dag, warent, dan, alles, uf, wardt, andern, wurdent, abt,ite, vff,herren, hette, darumb, inn,landt, syn, sagt, darinn, wurden,herr, juncker, leut, synen, namen,weyssenbung, gemacht, drey, vom, gefangen, darnach, dis, hetten, ob, keyser, kament]
Am besten sieht das Ergebnis nach Anwendung der spezifischen Stopword-Liste aus, das in Topic 4 nicht nur die chronikalischen Elemente wie anno
/ anne
, ite[m]
/ it₎
und dannach
/ arnach
enthält, sondern auch auf Auseinandersetzungen zwischen Personen und Gruppierungen (widder
– gegen, gefangen
, gewonnen
, pferden
, herren
, burger
, manne
, leut
) und auf einzelne Personen (keyser
, ludwig
, juncker
, abt
, herr
, jacob
, sant
) und Orte / Regionen (weyssenburg
/ weyssenbung
/ weissenburg
, baden
, pfaltz
) hinweist:
- 4 [
anno,weyssenburg,widder, gem,statt, dag,stat,abt,ite, landt, sagt,herr,juncker,gefangen,leut, drey,weyssenbung, babst,stett,herren,keyser,ludwig, kament,burger,manne, inen, auß,dannach, eynen,pfaltzgraue,gewonnen, darzu,sant,jacob,it₎,arnach, lag,baden,weissenburg,pfaltz,anne,vitter›vitter‹ ist ein konsistenter, systematischer Texterkennungsfehler für ›ritter‹. Das Wort kommt in dieser Schreibung 36 Mal in der Transkription der Heidelberger Handschrift 116 [Hei2] vor. In solchen Fällen, wo es sich nicht um einzelne, sondern systematische Falscherkennungen handelt, wäre zu überlegen, die Textgrundlage, also das Korpus, entsprechend zu korrigieren, um die Topic-Listen auch für diejenigen verständlich zu machen, die mit den Inhalten nicht vertraut sind und die Verbindung von ›vitter‹ zu ›ritter‹ nicht machen können. , gulden, nechst,graue,hertzog,pfaltzgrauen, vonn,pferden, vber]
Ein anderes Topic beinhaltet die Legende des heiligen Ulrich, die ebenfalls nur in einer Handschrift im Korpus vorkommt [Mue5]. Hier gibt es kaum inhaltliche Verbesserungen beim Herabsetzen des Thresholds, die Unterschiede zwischen < 0,5 % und < 0,05 % sind minimal:
-
Stopwords < 0,5
0 [vō, auch, sein,
babst, un̄, sol, het, ist, seinen, sind, hat, zu,heren, de, auf,bischoff,uolrich, hand, recht,rome, wann, ge, dir, ich,frawen, unser,reich, tuon, bey, hundert, vo, bis,lande, seiner, mocht,vater,orden,item, hab, dy, min, ussz, oder, wolt, dann, zechen, ein, ward, inn, vnd] -
Stopwords < 0,05
7 [seinen, auf,
uolrich, wann,orden,frawen, werden, recht, vo, bis, tuon,reich,kind, unser, bey, dann, seiner, vater, dy,item, ussz,zechen, denne, jare, hab, sey, dab, ware,kaiser, hann, kament,cristen, ame, acht, grosse, nicht, tet, seine, fast,ulrich,priester, gesait,ee, innen, dn, hetten, zitten,haiden, lassen, usser]
Nach Herausfiltern mittels der Stopword-Liste ergeben sich zwei Topics, die um die Heiligenlegende kreisen; beide allerdings mit Einsprengseln aus anderen Topics (Fremdbegriffe orange eingefärbt):
- 8 [vō,
heren,frawen, dy, sey,ee, monat, acht, seine, dn,ulrich, kaiser, zeitten,pfaffen, gesait,tansent, drey, fraw, seinem, zeit, ausz, wō,strasspurg, leib, spch,consily, grossz, innen,uolrichs, nichs, niemant, soelt, woelte, liessz, gelt, weil, ewer,streit, bischoff, syben, gelauben, wan̄,gaistlich, babst, seyen,meyses,bruder, gueter, den̄, vber] - 10 [hand,
recht, uolrich, orden, reich, machet,zechen, gottes, vater, mocht,bischoff, priester, ame, fast, zitten,hailigen, muter, cristen, kind, nacht,franckrich, stund, soellent, nū, bracht, wenn, sond, zwaintzig, viertzig,hertzog, dick, zwan, sechs,knecht, ye, gesechen, gnad, mem, um̄, siben, stet, schickt, sechen, werb, selbs, stetten, ans, drin, fand, stuck]
Auch für die Interviews wurden beide Verfahren getestet. Als erste Methode wird das Entfernen von Stopwords mit Hilfe eines Thresholds angewendet. Zunächst werden alle Wörter entfernt, die einen Anteil von mehr als 0,5 % am Gesamttext haben. Die Auswirkungen gegenüber beiden ungefilterten Topics oben (Thema ›Arbeit‹ und Thema ›Bergbau‹) sind deutlich:
- 9 [
krupp, er, jetzt, für, bei,betrieb, im,betriebsrat, später, eine, irgendwie, hatte, dat, essen, wo, auf, damals,kollegen, alles, dem, gewesen, worden,firma, wieder, dabei, mich, weil, praktisch, vielleicht, denn, kam, vorher, nix, paar,arbeit, bisschen, weiter, einmal, kann, tun,heimaterde, chef, kurz, wat, durch,aeg, ihm, namen, wohnung, hmh] - 11 [jetzt, er, du, wenn, auf, mhh,
bergbau, zeche, steiger, gehabt,kohle, wo, damals, uns, eine, son, immer, weil, se, sich, de, dort, wieder,arbeit, für,tage, um, gab, drin, diese, anderen,schicht, dem, beispiel, musste, kam, sind, im, hast,betriebsrat, als,unter, oben, wurden, muss,bergmann, meter, bergleute, zum,mark]
Senkt man den Threshold auf 0,25 % Anteil am Gesamttext (nur Wörter, deren Anteil am Korpus kleiner als 0,25 % ist, werden im Topic Modeling berücksichtigt), treten die Themenfelder deutlicher hervor – und das Thema ›Arbeit‹ entwickelt sich mehr in Richtung ›Arbeiter*inneninteressenvertretung‹. Allerdings fällt ›Krupp‹ raus, weil das Unternehmen in den Transkripten sehr häufig genannt wird:
- 5 [kam, später, herr,
betrieb, alle, weiß, frau, wurde, dat, einen, sagte,spd, essen, einer, irgendwie, hieß,gewerkschaft, drin, dortmund, heißt, hmh, leute, jahre,betriebsrat, viele, durch, vorher,kollegen, gesagt,partei, ihm, nix, büchler, steht, namen, doktor, dabei, du, wat, direkt,kammer, franz, wollte,metall, chef, kommen, ordner,aeg, sag, damals] - 7 [ähm, du, einmal, sage, naja,
bergbau, etwas, damals, gab,steiger, zeche, dort, nichts, aus,mark, kohle, tage, hast, konnte, nun, einen, anderen, oben, kannst, kam,schicht, unter, bekamen, um, usw, bekam, heute, über, wurden, bekommen, wird, wäre, jahre, geld, viel, einer, weil, einem,arbeiten, wurde, darin,bergleute, viele,kumpel, jedenfalls]
Auch wenn bereits nicht hinnehmbare Verluste im Wortschatz ausgemacht werden konnten, wurde der Threshold zur Demonstration weiter abgesenkt. Ab einem Anteil von 0,1 % am Gesamttext werden erstmals einigermaßen geschlossene Themenfelder erkennbar:
- 4 [bergbau, dort, gab, zeche, kohle, steiger, usw, menschen, mark, bekam, tage, hast, unter, 2, hause, bekamen, bekommen, schicht, 3, bergleute, geld, kumpel, selbst, meter, zur, jaja, wohnung, beim, bergmann, schachtanlage, alt, walsum, hauer, herne, kannst, nö, robert, 6, des, oben, 5, wäre, arbeiten, bruder, alten, jedenfalls, gedinge, bist, zechen, heimat]
- 11 [betriebsrat, betrieb, kollegen, des, essen, nee, gewerkschaft, spd, beispiel, gab, krupp, nochmal, worden, dinge, dabei, aeg, betriebsräte, frage, gewählt, ig, denen, hmh, vorhin, grunde, gewerkschaften, sogar, metall, heißt, belegschaft, unheimlich, mitglied, politische, wollen, zur, eh, kpd, cdu, kommunisten, beim, gefangenschaft, gerade, gewerkschaftlich, schwierig, praktisch, sagten, wäre, diskutiert, entsinnen, beiden, innerhalb]
Wenn man den Threshold auf 0,05 % Anteil am Gesamttext senkt (alle Wörter, deren Anteil größer als 0,05 % ist, werden entfernt), fällt auf, dass auch die in den Interviews so zentrale Stadt Essen und die Partei SPD verschwindet, ohne dass die Topics weiter an Konsistenz gewinnen:
- 12 [steiger, zeche, bergbau, kohle, son, de, dort, schicht, tage, naja, arbeiten, meter, bergleute, bergmann, betriebsrat, kumpel, usw, hauer, unter, kumpels, dabei, bekamen, ah, beispiel, manchmal, betriebsführer, franzosen, meinetwegen, bekam, hast, streb, nö, wagen, gewerkschaft, 2, verdienen, gedinge, ihn, schacht, welche, kohlen, leistung, bruder, schachtanlage, robert, kommunisten, verdient, stempel, menschen, gearbeitet]
- 17 [krupp, betrieb, betriebsrat, dabei, kollegen, firma, och, partei, gewerkschaft, wer, kommunisten, vorher, sogar, herr, hieß, ihn, direkt, heißt, spd, nazis, nix, namen, mai, meister, wat, 1, soll, wegen, sa, erzählen, arbeiter, chef, gearbeitet, gegen, mülheim, gewählt, ihm, komm, nebenbei, jeder, kpd, keiner, deutschen, wahrscheinlich, verboten, kollege, mitgemacht, gabs, praktisch, bloß]
Nach wie vor sind die Topics verrauscht von nicht bedeutungstragenden Wörtern, während gleichzeitig bedeutsame Wörter aus den Topics verschwinden. Es muss also ein gezielteres Verfahren angewendet werden: die Arbeit mit einer kuratierten Stoplist. Die verwendete Stoplist wurde ursprünglich von Github heruntergeladen, kritisch geprüft und maßgeblich ergänzt. Wendet man diese Stoplist beim Preprocessing an, erhält man als Ergebnis 20 größtenteils konsistente Themenfelder. Auch wurde der optionale Schritt, Wörter mit weniger als zwei Buchstaben herauszufiltern, zur weiteren Straffung eingesetzt (eine Anhebung der Mindestbuchstabenzahl wäre fatal, da historisch relevante Abkürzungen wie NS, KZ, SS oder SA aus den Topics herausfallen würden).
Topic 0 zum Thema ›Bergbau‹ soll für die weiteren Optimierungsschritte als Referenz herangezogen werden, wenngleich sich ein zweites Thema – die ›Heimatvertriebenen‹ – in das Topic hineinmischt. Das ist ein erster Hinweis darauf, dass die Anzahl der Topics erhöht werden muss, um diese beiden Themen zu trennen oder ein Bergbau-Topic zu ermöglichen, das nicht mit dem Schicksal der Heimatvertriebenen verknüpft ist.
- 0 [steiger, bergbau, zeche, kohle, schicht, kumpel, meter, bergleute, bekamen, hauer, bergmann, kumpels, betriebsrat, kohlen, menschen, walsum, betriebsführer, gedinge, geld, schachtanlage, wagen, lager, verdienen, robert, verdient, heimat, stempel, gefangenschaft, lohn, knappschaft, nu, schlesien, schacht, vertriebene, tonnen, zechen, leistung, ruhrgebiet, ruhrkohle, vertriebenen, nachtschicht, revier, pütt, bergschule, kameradschaftsgedinge, schichten, arbeiter, helmut, kollegen, ernst]
Stopwords werden verwendet, um den potenziellen Einfluss von sehr häufig vorkommenden Wörtern zu beseitigen. Eine weitere Herausforderung bei der Anwendung von Topic Modeling besteht darin, dass die für die Verfahren verwendeten Algorithmen nicht mit Sprachwissen ausgestattet sind und sie stattdessen das bloße Vorkommen von Wörtern in Form von Zeichenketten zählen. Das bedeutet, dass unterschiedliche Flexionsformen als unterschiedliche Wörter betrachtet werden. Dies führt dazu, dass relativ häufige Wörter in einem (oder mehreren) Topic(s) in verschiedenen flektierten Formen vorkommen.
Um die durch Flexion entstehende lexikalische Heterogenität zu minimieren, können Texte lemmatisiert werden, d. h. die verschiedenen Formen eines Wortes können auf die Grundform reduziert werden. Das bedeutet, dass die Texte (bereits ohne Stopwords, um Ressourcen zu schonen) so modifiziert werden, dass nicht die flektierten Wortformen, sondern die Lemmata das zu untersuchende Korpus bilden. Bei der
Über die reine Lemmatisierung hinaus geht das
Bereits ohne POS-Filter fällt auf, dass Lemmatisierung im Deutschen fehleranfällig ist. Das verwendete spaCy löst den Plural von ›Menschen‹ nicht zum Singular auf, das gleiche gilt für die ›Kumpels‹ – könnte man Letzteres noch damit erklären, dass es als Teil eines regionalen Soziolekts in vortrainierten Sprachmodellen unterrepräsentiert sein könnte, trifft das auf das erste Beispiel nicht zu. Bei dem Begriff ›Kohlen‹ scheint die Zusammenführung funktioniert zu haben, da sich hier nur der Singular findet. Darüber hinaus ändert sich die Gesamtbeschaffenheit des Topics allerdings nicht signifikant – der dialektale Begriff ›Pütt‹ für den sogenannten ›Kohlenpott‹ Ruhrgebiet ›rückt nach‹:
- 1 [steiger, zechen, kohle, bergbau, mensch, schicht, verdienen, betriebsführer, meter, arbeit, hauer, geld, kumpels, vertrieben, kumpel, bergleute, betriebsrat, wagen, bergmann, gedinge, lager, welch, robert, lohn, stempel, deutsch, menschen, schacht, bentheim, nachtschicht, abhauen, gewerkschaft, wohnen, strecken, nu, schichten, schlesien, 50, kameradschaft, tonnen, bergschule, verbinden, draht, revier, kameradschaftsgedinge, kaufen, schnaps, helmut, pütt, ernst]
Filtert man alle Wortformen bis auf Nomen heraus, trägt das nicht zur weiteren Konsistenz des Topics bei. Nun rücken weitere Wörter aus dem Zusammenhang Vertreibung und einige semantisch fremde Wörter nach:
- 19 [zechen, steiger, bergbau, kohle, schicht, geld, meter, kumpel, kumpels, bergmann, bergleute, hauer, schacht, arbeit, betriebsrat, robert, gedinge, lager, königsberg, ruhrgebiet, vertrieben, wagen, knappschaft, stempel, gefangenschaft, polen, heimat, schlesien, mensch, schnaps, jungs, lohn, woche, kameraden, hats, betriebsführer, nachtschicht, menschen, revier, monate, schichten, bergschule, steine, strecken, ostpreußen, bauern, helmut, kameradschaft, gewerkschaft, kameradschaftsgedinge]
Gleiches gilt für die Kombination von Nomen und Verben:
- 4 [bergbau, steiger, zechen, kohle, verdienen, schicht, meter, kumpel, bergmann, kumpels, bergleute, wagen, hauer, arbeit, geld, kohlen, schachtanlage, menschen, betriebsrat, robert, vertrieben, walsum, herne, gedinge, leistung, schacht, lager, heimat, betriebsführer, gewerkschaft, stempel, bauen, lohn, schaffen, strecken, gefangenschaft, schichten, kameradschaft, fördern, recklinghausen, bergschule, schlesien, tonnen, reden, ruhrkohle, kaufen, helmut, revier, schnaps, türken]
Bzw. für die Kombination von Nomen und Adjektiven:
- 14 [steiger, zechen, bergbau, kohle, schicht, meter, kumpel, bergleute, geld, kumpels, betriebsführer, hauer, bergmann, vertrieben, betriebsrat, schacht, kohlen, gedinge, walsum, schachtanlage, lager, wagen, robert, stempel, tonnen, leistung, menschen, schlesien, lohn, kameradschaft, russen, heimat, steine, ruhrkohle, revier, arbeit, ruhrgebiet, bergschule, deutsch, nächst, helmut, pütt, nachtschicht, kameradschaftsgedinge, kameraden, einheimisch, schnaps, gewerkschaft, ostpreußen, schachtanlagen]
Entsprechend bringt auch die Kombination von Nomen, Verben und Adjektiven keine weitere Verbesserung:
- 8 [bergbau, zechen, kohle, steiger, vertrieben, walsum, kumpel, verdienen, bergleute, herne, schicht, bergmann, kohlen, meter, bevölkerung, schachtanlage, ruhrkohle, gedinge, ruhrgebiet, kontakt, wohnung, recklinghausen, schaffen, gefangenschaft, schlesien, heimat, hauer, kollegen, bergschule, thyssen, leistung, duisburg, soldat, zimmermann, lager, kameradschaftsgedinge, ansehen, gesamt, schachtanlagen, böse, tonnen, sogenannt, bauen, studieren, fördern, industrie, kumpels, schnaps, wohnungen, möglichkeit]
Insgesamt strafft die Lemmatisierung – ob mit oder ohne POS-Filter – das Topic noch einmal minimal. Der Ertrag ist allerdings als ambivalent zu betrachten, die Eingrenzung auf Wortformen kann zu stringenteren Topics, aber auch zu einer Glättung führen. Was im Beispiel deutlicher hervorgetreten ist, ist die Vermischung der Themenbereiche ›Lebenswelt Kohlebergbau‹ und ›Heimatvertriebene‹.
Ziel dieses Unterkapitels war es, zu zeigen, dass für jedes Korpus jeweils unterschiedliche Entscheidungen getroffen und unterschiedliche Schritte durchgeführt werden müssen, um die Daten für eine Analyse weiterzuverarbeiten. Das bedeutet, dass nach unserem Verständnis die Anwendung von Topic Modeling eine Vertrautheit mit den technischen (Vor-)Bedingungen erfordert, um verständliche und reproduzierbare Ergebnisse zu erzielen.
Unsere Erkenntnisse über die verschiedenen Preprocessing-Schritte für die einzelnen Korpora sind dabei das Ergebnis längerer Phasen des Ausprobierens und Experimentierens, im Sinne eines
Dabei stellte sich heraus, dass die Schritte des Preprocessing unterschiedlichen Einfluss auf die Ergebnisse des Topic Modeling haben. Je nach Korpus werden ganz unterschiedliche Resultate erzielt, weshalb die Methode nicht eine Vorgehensweise erlaubt, sondern mehrere evaluierende Schritte benötigt, um sie produktiv zu machen.
Das sogenannte
Die Aufteilung in Chunks kann auf der Basis einer festen Chunkgröße, also Anzahl von Wörtern oder Sätzen, erfolgen. Die Entscheidung über die Chunkgröße hängt von verschiedenen Faktoren ab, nicht zuletzt von der Forschungsfrage und der Größe des Korpus bzw. der zu untersuchenden einzelnen Dokumente. Mit lebensgeschichtlichen Interviews und mittelalterlichen Handschriften liegen zwei sehr unterschiedliche Anwendungsfälle vor, bei denen Chunking erforderlich ist. Die Regierungsratsbeschlüsse hingegen sind so kurz und bleiben in den meisten Fällen thematisch recht eng gefasst, dass das Chunking bei diesen problemlos entfallen kann.
Beim Ermitteln der optimalen Chunkgröße für das Topic-Training handelt es sich um ein komplexes Verfahren: Topic-Anzahl und Chunkgröße sind reziprok und oft wird erst in einem iterativen Verfahren eine Annäherung an ein Optimum möglich. Während man bei den Handschriften auf Grundlage der für das Preprocessing festgelegten 20 Topics Unterschiede zwischen den verschieden gechunkten Korpora feststellen kann, wirken sich die unterschiedlichen Chunkgrößen mit 20 Topics bei den Interviews nicht merklich aus. Das ist auf die für dieses Korpus wesentlich zu niedrige Topic-Anzahl im Preprocessing-Szenario zurückzuführen. Deshalb greifen wir an dieser Stelle im Arbeitsprozess etwas vor und legen das finale Modell mit 50 Topics für die Analyse des Chunkings zugrunde. Allerdings sind auch bei optimaler Topic-Anzahl die Unterschiede graduell, weshalb durchaus pragmatisch vorgegangen werden und eine für das Forschungsvorhaben angemessene Chunkgröße gewählt werden kann. Für die Repräsentation der Topics in den lebensgeschichtlichen Interviews haben sich im Close Reading etwa 50 Sätze als gute Chunklänge herausgestellt. Dieses Chunking bildet den Default-Wert für die spätere Schätzung der optimalen Topic-Anzahl.
Der
Für das wissenschaftliche Arbeiten ist das von großer Bedeutung: Ohne gesetzten Random Seed ist auch unter vollständig gleichen Rahmenbedingungen, mit denselben Daten und Parametereinstellungen, das Ergebnis jedes Mal ein anderes. Der Ausgangspunkt der Berechnung (
Der Umfang der 7 Handschriften unterscheidet sich stark und reicht von 78 [Hei2] bis 287 Blättern [Mue5], was nach der Texterkennung einem Umfang von rund 190.000 bzw. 1,1 Millionen Zeichen entspricht. Auch auf inhaltlicher Ebene gibt es größere Unterschiede: Manche Handschriften enthalten neben der Chronik Jakob Twingers nur wenig andere Inhalte (wie [Fre1]), andere hingegen vereinen viele verschiedene (und umfangreichere) Texte (wie [Mue5] oder [Wol2]). Um diese Unterschiede auszugleichen, kann das Korpus in kleinere Einheiten unterteilt werden. Da auch die Zeichensetzung sehr uneinheitlich ist, lassen sich Sätze nicht zuverlässig abgrenzen, sodass diese als Einheit wegfallen und auf wortbasierte Chunks zurückgegriffen wurde. Trainiert wurden Modelle für Chunks zu 5.000, 2.500, 1.000, 500 und 250 Wörtern.
Für das Topic um die
- 3 [
anno, widder, weyssenburg,gem,stat, statt, dag,ite, abt, herren, landt, sagt,gefangen, sant, herr, leut, drey,juncker, weyssenbung, lag,manne, kament,schaden, pfaltzgraue, babst,ludwig, darzu,keyser, auß,arnach, baden, inen,it₎, eynen,jacob, bischoff,graue, pferden, vonn, gulden,gewonnen, pfaltz, pfaltzgrauen, nechst,burger, bischof, vber, hundert,stett, gewan]
Kleinere Chunks führen zu minimalen Unterschieden. Hier beispielsweise eine Topicliste für 500er-Chunks:
- 12 [
anno, widder, weyssenburg, gem, dag,statt, stat, ite, abt, herren, landt, gefangen, sagt,herr, leut, weyssenbung, drey,juncker, keyser, lag,manne, baden, stett, pfaltzgraue, inen,ludwig, auß, eynen,it₎, arnach, kament,gewonnen, anne, schaden, darzu,weissenburg, dannach, burger, vitter, jacob, nechst,pfaltz, bischof, dorff,hans, gulden,pfaltzgrauen, vmb, thun,graue]
Anders verhält es sich bei der
-
chunking 5.000
13 [
sant, uolrich, dy,bischoff, ulrich, grab, uolrichs, selbs, mocht,kirchen, ausz,hailigen, menschen, ad,angspurg, ulrichs, stund,frawen, est, tags,priester, adelbero, selbig,graff, sagt, grosz,gesund, pald, seinem,capitel, pfaffen, ut,hailig, ansz, liesz, tem, volbracht,leichnam, yederman, pruder, ant, arnach, solichs,closter,costentz, qui, wolten, nō,altar, weil] -
chunking 2.500
18 [
sant, uolrich, vō, dy,ulrich, bischoff, spch, wō, mocht,grab, dier,uolrichs, dn, um̄,frawen, kind,wib, rich,kirchen, angspurg, ulrichs, bist, ausz, bald, selbs, ad,hailigen, liesz, ansz, mā, soch, pald, grosz,adelbero, sagt, dù, tags,gesund, volbracht,fraw, berait, ais,leichnam, stund, ser,pruder, fast,graff, mesz, spcht] -
chunking 1.000
9 [
sant, bischoff, uolrich, dy,closter, peter, grab, ulrich, kirchen, ant, statt,hans, peters, mocht,leben, selbs,uolrichs, alten, grosz,eren, hailigen,gesellen,priester, hann, heren,hertzog,florentz, volbracht,begraben, stund, ge¬,ritter, angspurg, liesz,ulrichs,arbogast, ausz,volk,bekert,frawen, graff, mesz, zaichen, lieben, stifft, hilff, machet, ere,gesund, adelbero] -
chunking 500
14 [
sant, bischoff, uolrich, closter, peter, dy,grab, ant, ulrich, kirchen, peters,leben, statt, selbs, mocht, grosz, alten, stund,eren, uolrichs, hailigen, priester, pfaffen, volbracht,frawen, stifft, wasser, lieben,gesellen, florentz, arbogast, ausz,angspurg, liesz,ulrichs, hann,altar, begraben, capitel, volk, gesund, machet,kloster, burg, zaichen, seinem,menschen, wolten, tags,bekert] -
chunking 250
0 [
sant, bischoff, uolrich, closter, peter, dy,grab, kirchen, ant, ulrich, peters,statt, selbs,leben, mocht,priester, stifft, hailigen, alten,uolrichs, stund,florentz,begraben, wasser, lieben, grosz, ausz, gestifft, liesz, volbracht,eren, ere,arbogast, tags,gesund,strasspurg,ulrichs,gesellen,pfaffen, angspurg, frawen,bekert,hertzog, altar, seinem,dienst, hann,hailig, gant,mùnster]
Ein Topic, das in vier Handschriften vertreten ist ([Dre1], [Fre2], [Hei4], [Mue5]), umfasst Begriffe um Alexander den Großen und erstreckt sich über etwa 35 Unterkapitel im ersten Kapitel der
-
chunking 2.500
0 [
adam,darins, allexander, wasser, hast,engel, alt,lebendig, noe,persa, welt, alepander,silvester, ersten, welte, aler, ena, gebar, erste,helena,brieff, gott, ding,philippus,stier,alexander, bilde,turn, paradis, jung, gestalt,dario, menschen, ist,,beschuff,allexand,tier, vatter, dinen, erden, hymel,verbotten, geschriben,kinden, usser, wissen, essen, hoch,alerander, tieren] -
chunking 1.000
14 [
bern, dietrich,darins, allexander, persa, hast, gochen,alepander,hunen, silvester, berne,lebendig, brieff,helena,philippus, aler, mals, wort,botten, mers,stier,allexand, alexander, alt, bucher, guldin,dario, gestalt, meres, menschen, todes, enpfangen, ist, bilde, bosen, gechen, dù, xxxi, wissen,welt, werden,darius,cristus, eren, gang,alerander, begraben, sternen,porten,allex] -
chunking 500
10 [
vatter, brieff, darins, allexander, persa, hast,botten,lebendig, ding,alepander,silvester, aler, sprachent, wort,allexand,stier,alexander, philippus, sun, grab,helena,ritter, tempel, leben,gestalt, zeichen,guldin, fùrsten, alten, sas, bilde,dario, ist,,welt, zoch,palast, wunder, tragen, enpfangen, tot, sachen, helle, grabe,begraben, dinen, dn,cristus,betten, todes, sternen]
Für dieses sehr heterogene Korpus stellen 500er-Chunks die beste Größe dar, um Topics zu erhalten, die ausreichend aussagekräftig sind und dabei die wenigsten Fremdbegriffe aufweisen. Bei einer Textgrundlage mit besserer Texterkennung ließen sich hier womöglich Verschiebungen beobachten, da Doppelungen, die auf Erkennungsfehlern beruhen, wegfallen würden.
Die Transkripte lebensgeschichtlicher Interviews sind äußerst umfangreiche und komplexe Textdokumente. Neben der Optimierung für das Topic Modeling dient das Chunking auch der besseren inhaltlichen Erschließung, weil Topics damit über den Interviewverlauf errechnet werden und Themenwechsel dargestellt werden können. Bei 20 Topics zeigen sich mit Blick auf die Konsistenz der Topics allerdings wenig Auswirkungen durch das Chunking. Verwendet wurden Korpora mit Chunks zu 10, 25 und 50 Sätzen. Insgesamt sind die Ergebnisse der gechunkten Modelle leicht konsistenter, allerdings fällt bei diesen der wichtige Terminus ›Gedinge‹ raus.
Interessant ist weiterhin, dass bei Random Seed 100 im Modell mit 25 Sätzen zunächst gar kein Topic zur Arbeit Untertage entsteht (vgl. Abbildung 1). Zur Verdeutlichung der Auswirkungen des Random Seeds zeigt folgende Heatmap abschließend die Ähnlichkeiten und Unterschiede zweier Topic-Modelle – hier 20 Topics, 25 Chunks und Random Seed 123 (RS123) auf der X-Achse bzw. Random Seed 100 (RS100) auf der Y-Achse (je heller, desto höher die Übereinstimmung). Insgesamt haben die Modelle eine Übereinstimmung von gerade einmal 55 %. Für die Heatmap wurde jede Wortliste von RS123 (X-Achse) mit jeder Wortliste von RS100 (Y-Achse) verglichen und automatisch berechnet, wie hoch die prozentuale Übereinstimmung der in den Listen enthaltenen Wörter (n=20) ist. Man kann erkennen, dass das Bergbau-Topic von RS123 (Topic 4) in RS100 zu 50 % in Topic 18 und zu 35 % in Topic 4 enthalten ist. Topic 0 von RS123 ist beispielsweise in keinem der Topics von RS100 enthalten, Topic 16 von RS123 zum Thema ›Familiengründung‹ korrespondiert demgegenüber mit 95 % auf Topic 2 von RS100 (vgl. Abbildung 1).
Da Chunking und Topic Estimation sich gegenseitig beeinflussen, soll an dieser Stelle kurz vorgegriffen und gezeigt werden, wie sich das Chunking in Modellen mit 50 Topics – der von uns als optimal bestimmten Topic-Anzahl – auswirkt. Denn im Gegensatz zu den Modellen mit 20 Topics hat das Chunking bei der höheren Topic-Anzahl einen deutlicheren Einfluss. Vergleicht man die Bergbau-Topics des ungechunkten und des gechunkten Modells, fällt die deutlich höhere Konsistenz des zweiten auf. Im Modell ohne Chunking gibt es zwei Topics zur ›Arbeit Untertage‹, in beiden vermischt sich erneut das Phänomen der Heimatvertriebenen und viele nicht unmittelbar relevante Begriffe tauchen weit oben in der Liste auf (Tabelle 2, Zeilen 1 und 2). Das eine Untertage-Topic des gechunkten Modells liest sich hingegen annähernd wie ein semantisches Feld (Tabelle 2, Zeile drei).
Die Berechnung des finalen Modells erfolgt nun im folgenden Kapitel. Festgehalten werden kann, dass Chunking und Topic Estimation reziprok sind und beim Training immer beide Variablen im Blick behalten werden müssen.
Nachdem das Preprocessing abgeschlossen ist, muss für die Berechnung der Topic-Modelle die Anzahl der Topics bestimmt und eingestellt werden. Dieser Wert repräsentiert die erwartete Anzahl der Themen bzw. der Topics in den zu untersuchenden Dokumenten. Unsere Untersuchungen haben gezeigt, dass es selbst bei Dokumenten, deren Inhalt bekannt ist, sehr schwierig ist, diesen Wert zu schätzen.
Quantitative Evaluationsroutinen mithilfe von automatischen Metriken oder Scores können dabei helfen, verschiedene Topic-Modelle vermeintlich auf einen Blick zu bewerten und so die ideale Anzahl an Topics zu bestimmen. Wir schlagen folgendes Vorgehen vor: In einem ersten Schritt sollten Modelle automatisiert mit einer ansteigenden Topic-Anzahl in großen Schritten über einen weiten Bereich trainiert werden – beispielsweise 50 bis 1.000 Topics in Fünfziger-Schritten. Die verschiedenen Metriken, mit denen jedes Modell anschließend evaluiert wird, werden weiter unten genauer vorgestellt. Wie bereits dargestellt, reagieren die verschiedenen Korpora unterschiedlich auf die einzelnen Schritte des Preprocessing. Ein ähnliches Verhalten wird auch bei den Metriken erwartet, weshalb verschiedene miteinander verglichen werden. Dadurch können aussagekräftige Ergebnisse erkannt werden, wenn mehrere Metriken bei gleichen Punkten durch Maximierung oder Minimierung in Form einer Plateau- oder Talbildung ausschlagen und so auf eine Sättigung der Optimierung hinweisen. Möglich ist auch, dass die Werte eher linear in eine Richtung verlaufen. Durch den Vergleich mehrerer Metriken können wir erkennen, welche Metriken aussagekräftige Ergebnisse liefern. Andererseits validieren sich Metriken gegenseitig, wenn ihr Verhalten korrespondiert. Auf diese Weise kann im Optimalfall ein
Keli Du gibt in seiner Dissertation einen guten Überblick über die verschiedenen Ansätze, Topic-Modelle und ihre Topics zu evaluieren.
Eine weitere Evaluationsmethode ist die Dokumentenklassifikation. Mithilfe der Dokument-Topic-Verteilung werden die einzelnen Dokumente anhand der Topics, die für diese am höchsten gewichtet wurden, bestimmten Kategorien zugeordnet. Bei Zeitungsartikeln wären das beispielsweise die Rubrik (z. B. Sport, Politik, Gesellschaft) oder bei literarischen Texten das jeweilige Genre. Anschließend wird diese Kategorisierung mit Hilfe von Klassifikationsmodellen überprüft. Diese Klassifikationsmodelle werden zuvor anhand der Metadaten und Labels der jeweiligen Dokumente mithilfe von Machine-Learning-Algorithmen berechnet. Die Ergebnisse der jeweiligen Topic-Modelle werden anschließend mit den Klassifikationsmodellen analysiert, um die Genauigkeit der Modelle abschätzen zu können.
Schließlich berechnet das Topic-Kohärenzmaß das Vorkommen zweier Wörter aus einer Topic-Liste in einem Referenzkorpus und gibt so Aufschluss über die Qualität der Modelle. Die Idee ist, dass es ein Hinweis auf die semantische Relation beider Wörter ist, wenn sie in einem anderen Datensatz zusammen vorkommen.
Die Gensim-Pipeline besitzt vier implementierte Metriken zur Berechnung eines Kohärenzmaßes: Segmentation, Wahrscheinlichkeitsrechnung, Confirmation Measure und Aggregation.
Segmentation: Das Verfahren, in dem die einzelnen Wörter systematisch zu verschiedenen Wortpaaren zusammengesetzt werden.
Wahrscheinlichkeitsrechnung: Um die Wahrscheinlichkeit eines Wortpaares zu bestimmen, wird betrachtet, wie oft beide Wörter in einem Szenario vorkommen, dividiert durch die Anzahl aller Szenarien. Dies kann auf Basis der Dokumente (
Confirmation Measure: Beschreibt die Berechnungsart, auf deren Grundlage die abhängige Wahrscheinlichkeit von zwei Wörtern zueinander festgelegt wird. Dabei wird zwischen einer direkten und indirekten Berechnung unterschieden. Die direkte Berechnung berücksichtigt jeweils nur das unmittelbare Verhältnis von zwei Wörtern zueinander und berechnet demnach die Wahrscheinlichkeit direkt. Die indirekte Berechnung vergleicht das Verhältnis der beiden Wörter jeweils zum gesamten Wortschatz und vergleicht Ergebnisse miteinander. Je ähnlicher sich diese Ergebnisse sind, desto stärker ist die Abhängigkeit der beiden zu untersuchenden Wörter.
Aggregation: Berechnungsart, um die Kohärenzwerte aller berechneten Wortpaare zu einer Topic-Kohärenz und zu einer Modellkohärenz zusammenzufassen. Da dieser Schritt bei allen vier Metriken gleich erfolgt, wird er nicht weiter thematisiert.
Der C_UCI basiert auf der log_ratio_measure benannt. Ein PMI-Wert von 0 beschreibt, dass zwei Wörter unabhängig voneinander auftauchen. Je größer der PMI-Wert ist, desto kohärenter ist das Topic Model.
Der C_NPMI basiert auf dem log_ratio_measure. Die Segmentierung bleibt gegenüber dem UCI gleich und bildet Wortpaare, indem jedes einzelne Wort der Liste mit jedem anderen einzelnen Wort verbunden wird. Das Sliding Window hat ebenfalls eine Größe von zehn Wörtern. Je näher der Wert des Scores an 1 ist, desto kohärenter ist das Modell.
Der C_UMasslog_conditional_probability genannt. Die Wortpaare werden gebildet, indem jedes Wort der Topic-Liste nur mit jedem höher gewichteten Wort der Liste kombiniert wird. Die Wahrscheinlichkeit wird mit boolean documents berechnet.
Die systematische Gliederung der einzelnen Kohärenzmaße erlaubt es, die vier einzelnen Komponenten Segmentation, Wahrscheinlichkeitsrechnung, Confirmation Measure und Aggregation neu zu kombinieren. Röder et al. entwickeln in ihrem Aufsatz eine neue Metrik, den C_V
Alle hier vorgestellten Metriken verwenden in ihrer ursprünglichen Form Wikipedia als Referenzkorpus – was aufgrund der unterschiedlichen Sprachstufen (Mittelhochdeutsch, Deutsch des 19. Jahrhunderts und gesprochene Sprache) sowie der inhaltlichen Gattung (Enzyklopädie gegenüber unterschiedlichster Themencluster) die Probleme bei der Applikation deutlich macht.
Um die optimale Topic-Anzahl für die drei hier behandelten Korpora zu ermitteln, haben wir eine Evaluationsroutine durchgeführt, die auf den vier vorgestellten Metriken in Gensim basiert. Dabei wurden verschiedene Modelle mit unterschiedlichen Topic-Anzahlen und die vier Metriken berechnet sowie in eine Grafik zur visuellen Auswertung übertragen. Dies ermöglicht es, über den Verlauf der Diagramme Annäherungen von optimalen Topic-Einstellungen zu finden. Die Modelle wurden auf der Grundlage der Ergebnisse der Preprocessing-Untersuchungen berechnet:
- LUSIR: Stopwords entfernt, Chunks von jeweils 50 Sätzen, lemmatisiert
- Spätmittelalterliche Chronikhandschriften (SMCH): Stopwords entfernt, Chunks von jeweils 500 Wörtern
- Zürich Regierungsratsprotokolle (ZRRP): Stopwords entfernt, kein Chunking
Für keines der Korpora wurde ein separates Referenzkorpus verwendet. Röder et al. kommen zwar in ihren Untersuchungen zu dem Ergebnis, dass die Metriken mit Wikipedia als Referenzkorpus optimal funktionieren, jedoch lässt sich das auf die hier verwendeten Quellen nicht übertragen. Bei LUSIR handelt es sich um gesprochene Sprache, die sich stark von geschriebener Sprache unterscheidet. Die anderen Korpora bestehen aus historischen Quellen mit Sprachstufen, die in Wikipedia nicht repräsentiert sind. Deshalb wurden die Korpora selbst als jeweilige Referenzkorpora verwendet.
Wie bereits erwähnt, ist das Sliding Window für den C_V standardmäßig auf 110 Wörter eingestellt. Die einzelnen Chunks des LUSIR-Korpus bestehen allerdings nur aus jeweils 50 Sätzen, die nach dem Preprocessing eine Länge von durchschnittlich 98 Wörtern ergeben. Da die Chunks als eigenständige Dokumente vom C_V zur Erstellung der neuen Dokumente durch das Sliding Window verwendet werden, entstehen hier natürlich deutlich kürzere Dokumente als von der Metrik gewünscht. In einem Testdurchlauf wurden anstatt der Chunks die kompletten Interviews als Referenzkorpus verwendet; allerdings haben die Ergebnisse keine relevanten Unterschiede gezeigt, weshalb die Standardeinstellungen für die Evaluation beibehalten wurden.
In einem ersten Schritt wurden Topic-Modelle zwischen 50 und 1.000 Topics in 50er-Schritten berechnet.
Alle vier Metriken zeigen jedoch einen konstanten Abfall der Kohärenzwerte bei steigender Topic-Anzahl, der sich einem Minimalwert annähert. Lediglich der C_UMass des LUSIR-Korpus scheint auch nach 1.000 Topics weiter abzufallen, der C_UCI des SMCH-Korpus zeigt eine leichte Steigung nach 400 Topics. Anhand dieser Ergebnisse können wir keine Aussage darüber treffen, welche Topic-Modelle mit welcher Topic-Anzahl besser sind, da keiner der Kohärenzwerte den Anfangswert übersteigt und somit keine Optimierung der Metriken stattfindet. Die Schlussfolgerung ist, dass alle Modelle mit mehr als 50 Topics schlechter sind und keine Verbesserung stattfindet.
Da die Schritte von 50 Topics pro Modell sehr groß sind und der Bereich von 50 bis 1.000 sehr weitreichend, zoomen wir im nächsten Analyseschritt weiter in die Topic-Modelle hinein. Es werden Modelle mit einer Topic-Anzahl von 20 Topics bis 500 Topics in 20er-Schritten berechnet.
Die Ergebnisse der feingranularen Analyse zeigen weiterhin einen konstanten Abfall der Metriken, ohne dass eine eindeutige Optimierung erkennbar wird. Zwar findet im Anfangsbereich des C_V bei allen drei Korpora ein leichter Anstieg statt, jedoch ist der Ausschlag sehr gering und liefert somit keinen eindeutigen Hinweis auf die optimale Topic-Anzahl.
In einem letzten Schritt haben wir in einer Feinanalyse die Metriken in einem noch kleineren Bereich von 5 bis 300 Topics mit 5er-Schritten berechnet.
Auch diese feinste Analyse bestätigt die Erkenntnisse, die sich schon in der ersten Analyse abgezeichnet haben: die Metriken fallen – auf den Gesamtverlauf bezogen – konstant ab. Am deutlichsten ist dies bei den Graphen von C_NPMI, C_UCI und C_UMass zu sehen. Zwar befindet sich der Graph für das LUSIR- und ZRRP-Korpus im C_NPMI zwischen 0 und 130 Topics im positiven Bereich. Jedoch ist der Kohärenzwert mit 0,05 sehr gering und so wenig aussagekräftig, dass daraus kein Hinweis für gute Topic-Modelling-Ergebnisse abgeleitet werden kann.
Die Werte des C_V verhalten sich ähnlich. Die Kohärenzwerte für das ZRRP- und das LUSIR-Korpus zeigen einen kurzen Anstieg nach dem Anfangswert, fallen danach aber konstant ab, unterbrochen von einzelnen Ausreißern. Das SMCH-Korpus bildet zwischen 5 und 70 Topics ein Plateau, jedoch bewegt sich der Ausschlag in einem Bereich von 0,02 Unterschied im Kohärenzwert. Insofern ist hier die Frage, wo der qualitative Unterschied liegt, wenn sich die Werte selbst so minimal unterscheiden. Hinzu kommt, dass die Werte bis zum Maximum sehr schwanken. Dieses Phänomen ist bei allen drei Korpora zu beobachten. Die Schwankungen in den Werten selbst zeigen eine gewisse Inkonsistenz, die keine eindeutige Entscheidung für die Topic-Anzahl mithilfe des C_V zulässt. Die einzelnen Werte des C_V folgen keinem nachvollziehbaren System, sodass die minimalen Schwankungen zwischen den verschiedenen Werten zufällig erscheinen und nicht für eine qualitative Evaluation genutzt werden können.
Leider gibt es keinen objektiven Schwellenwert, mit dem wir arbeiten können. Voruntersuchungen haben gezeigt, dass Modelle für lebensgeschichtliche Interviews, die nach qualitativer Auswertung gute Ergebnisse darstellen, einen C_V Wert von um 0,45 hatten. Wenn wir diesen Schwellenwert auf alle Korpora anwenden, erhalten wir für das ZRRP-Korpus 60 Modelle, für das SMC-Korpus um die 40 und für das LUSIR-Korpus 20 Modelle, die quantitativ gute Topic-Modelle ergeben sollen. Das sind aber zu viele Modelle, um anhand der Ergebnisse eine eindeutige Entscheidung zu treffen. Letztendlich können wir die Ergebnisse des C_V nicht zur Beurteilung der optimalen Topic-Anzahl nutzen. Die anderen drei Metriken können dafür ebenfalls nicht herangezogen werden, da sie einen konstanten Abfall anzeigen. Die schlechte Performance dieser drei Metriken lässt sich auf die Berechnungsart zurückführen: Alle drei Metriken berechnen die Werte für jedes einzelne Topic und bilden dann einen durchschnittlichen Gesamtscore. Keli Du hat ebenfalls mithilfe des C_NPMI die verschiedenen Topic-Anzahlen verglichen und auf dieser Grundlage einen Boxplot erstellt. Darin ist gut zu erkennen, dass der Durchschnittswert bei steigender Topic-Anzahl sinkt:
Zwar steigt bei wachsender Topic-Anzahl die Menge an qualitativ hochwertigen Topics (hoher C_NPMI). Jedoch wird die Menge an schlechten Topics ebenso größer, sodass der Durchschnittswert insgesamt immer schlechter wird. Somit müsste für den Mallet-Wrapper der Gensim-Pipeline erst eine solche Box-Plot-Variante geschrieben werden, um zu testen, ob dieser Ansatz für unsere Daten möglich wäre.
Diese Ergebnisse bestätigen Positionen aktueller Forschungsdebatten, die die Relevanz von Kohärenzmaßen infrage stellen.
Über die Beurteilung der Ergebnisse eines Topic-Modells – die unmittelbar mit der Schätzung der optimalen Topic-Anzahl verbunden ist – wird seit langem intensiv interdisziplinär debattiert.
Betrachtet man die oben im Preprocessing exemplarisch herangezogenen Modelle mit 20 Topics auf nicht gechunkten Transkripten in der Breite, fällt auf, dass dominante Themen mehrere Topics in Anspruch nehmen, während kleinere Themen miteinander vermischt oder anderen Topics beigemischt werden. Beispielsweise finden sich 5 Topics, die verschiedene Facetten der Montanindustrie im Ruhrgebiet behandeln, wohingegen Schule und Studium vermischt werden, obwohl Schule ein bedeutender Teil aller Biographien ist und das Studium eine Ausnahme darstellt:
- 4 [studieren, abitur, semester, schwester, fulda, münchen, schrecklich, praxis, bonn, professor, godesberg, richtung, studium, freundin, medizin, patienten, bevölkerung, blum, wattenscheid, münster, paris, münsterland, verwandt, krankenhaus, doktor, köln, ge, kaputt, positiv, französisch, examen, wuppertal, amerikanisch, luftschutzkeller, arbeitsdienst, kontakt, arzt, freiheit, kollegen, bein, staatsexamen, schülerinnen, sommer, eng, feiern, vorlesungen, halle, schwestern, flak, wesentlich]
Das spricht einerseits deutlich dafür, dass 20 Topics zu wenig sind, um die komplexen Themengebiete lebensgeschichtlicher Interviews zu repräsentieren. Dafür spricht auch, dass 5 Topics kein klares Thema repräsentieren, sondern Zusammenstellungen verschiedener Aspekte sind:
- 10 [schreiben, zeitung, handelsblatt, politik, wahnsinnig, vogel, scholven, nazis, heut, kollegen, redaktion, fußball, politisch, buer, freiheit, düsseldorf, schlagen, münchen, menge, melchers, pfarrer, lehrer, ha, link, lindau, waz, chefredakteur, verhaften, sport, schwester, franzosen, lernen, geschichte, kpd, technisch, kruse, redakteur, arbeitsdienst, moers, wissen, lizenz, bauen, berlin, lyceum, ständig, ge, gewerkschaft, hund, mim, kennenlernen]
Andererseits kann dieses Rauschen ein Hinweis auf einen zu großen Umfang der einzelnen Dokumente sein und der Blick in die Topic-Liste den Sinn des Chunkings unterstreichen. Tatsächlich sind die 20 Topics im gechunkten Modell wesentlich konsistenter. Die Topics mit Bezug auf die Ruhrgebietsindustrie haben sich auf 3 reduziert und sind inhaltlich klar differenziert in die Bereiche ›Fabrikarbeit‹ (Topic 4), ›Untertage‹ (Topic 9) und ›Arbeiter*inneninteressenvertretung‹ (Topic 15) (vgl. Tabelle 3).
Schule (Topic 7) und Studium sind nach dem Chunking gut getrennt, allerdings wird das Studium nun einem Topic beigemischt, das Ausbildung und Büroarbeit repräsentiert (Topic 19). Dieses Topic sowie ein Topic, das Freizeit, Urlaub und Kultur vermischt (Topic 6), legen nahe, dass mehr Topics erforderlich sind, um die Interviews gut zu repräsentieren (vgl. Tabelle 4).
Die Erhöhung der Topic-Anzahl auf 50 führt zu einer wesentlichen Differenzierung, die eine ganze Reihe konsistenter Topics hervorbringt. So spaltet sich das Topic zu Freizeit und Kultur in mehrere, semantisch kohärente Topics (vgl. Tabelle 5).
Die Themen ›Schule‹, ›Studium‹ und ›Büroarbeit‹ werden nun sauber getrennt und auf 3 Topics verteilt (vgl. Tabelle 6).
Auch die Topics mit Ruhrgebietsbezug gewinnen noch einmal an Schärfe. Darüber hinaus entstehen historisch interessante Topics, die auf den immensen Themenpluralismus der Lebensgeschichten hinweisen – etwa zu ›Mobilität‹ (Topic 23), ›Wohnen‹ (Topic 28) und dem ›Rechtswesen‹ (Topic 48) (vgl. Tabelle 7).
Erhöht man die Topic-Anzahl auf 100, kann man eine deutliche Zerfaserung feststellen. Zwar kommen einzelne interessante Topics hinzu, wie ›Familienfeiern‹ (Topic 22), ›Photographie und Malerei‹ (Topic 26), ›Genussmittel‹ (Topic 45), ›Feldpost‹ (Topic 46), ›Arbeitslosigkeit‹ (Topic 59), ›Judenverfolgung‹ (Topic 75) oder die ›1950er Jahre‹ (Topic 98). Dafür enthält das Modell 6 Topics, die stark verrauscht sind, und 15 weitere, die auch bei näherer Betrachtung keinen Sinn ergeben. Darüber hinaus werden starke Themen in der Interviewsammlung auf sehr viele Topics gesplittet und verwaschen damit zusehends: Etwa 3 Topics, in denen Gewerkschaftsarbeit repräsentiert wird, und 9 Topics zu Industriearbeit (davon eins ausschließlich mit Bezug zum Unternehmen Krupp). Für die weitere Suche bedeutet das, den Sweetspot zwischen 50 und 100 Topics zu finden, indem beispielsweise ein Modell mit 75 Topics berechnet wird. Des Weiteren kann auch die Chunkgröße noch variiert werden, beispielsweise ein Modell mit 25 Sätzen pro Chunk und 75 Topics. Den gesamten Prozess hin zu einem finalen Modell, das mittlerweile produktiv auf der Plattform Oral-History.Digital genutzt wird, dokumentieren Bayerschmidt und Möbus in einem Aufsatz in der Zeitschrift
Der abschließende Schritt der Evaluation ist ein Close Reading von Textstellen, die einem bestimmten Topic zugeordnet werden. Dazu können entweder deduktiv zu einem gewünschten Topic repräsentative Textstellen oder induktiv eine beliebige Interviewpassage mit den zugeordneten Topics ausgegeben werden.
Wir wählen die deduktive Methode und ziehen als Beispiel das Bergbau-Topic des finalen Modells mit 50 Topics heran:
- 26 [zechen, bergbau, steiger, kohle, arbeiten, kohlen, schicht, meter, arbeit, wagen, bergleute, verdienen, bergmann, hauer, betriebsführer, schacht, kumpel, kumpels]
Dieses Chunk ist mit einem
- 20 [kino, tanzen, radio, fernsehen, musik, erinnern, filme, film, theater, hören, spielen, interessieren, abends, lieb, spät]
Mit einem Gewicht von 0,7 schlägt auch dieses Topic deutlich durch und steht stellvertretend für die Vermischung von Sport und Kultur. Mit Topic 20 korreliert in dieser Passage (Tabelle 9) Topic 11, das ›Familie und Heirat‹ zum Thema hat, mit einem Gewicht von 0,11.
Protokolle sind ein weitverbreitetes Genre und eine häufig genutzte Quelle der Geschichtswissenschaft, eine Vielzahl von Themen und Debatten werden in solchen Protokollen mehr oder minder ausführlich vorbereitet und schließlich als Entscheid festgehalten. Gerade für den Nachvollzug von Entscheidungen sind solche Dokumente entsprechend eine unerlässliche Quelle. Gleichzeitig gibt es eine Vielzahl von Themen, die wiederholt behandelt werden müssen und etwa jährlich wieder traktandiert und thematisiert werden. Als Konsequenz werden die Beschlüsse nur selten als Quellenkorpus ausgewertet, sondern traditionell sehr selektiv bearbeitet. Der hier beschriebene Ansatz versucht die Analyse eines Korpus, das in vielen Bereichen stark repetitiv und zudem einem semantischen Wandel unterworfen ist, der berücksichtigt werden muss.
Aufgrund der repetitiven Sprache und einiger extrem hochfrequenter Wörter sind v. a. die wenig umfangreichen Topic-Listen, d. h. wenn ›nur‹ 20 oder 50 Topics errechnet wurden, redundant. Anhand des Themas ›Finanzen‹ lässt sich das aufzeigen, wobei der Begriff eben nicht immer gleichbedeutend genutzt wurde und der ›Finanzrath‹ (vor 1848) eine andere Rolle einnahm als die ›Finanzdirektion‹ (nach 1848, als eigenes Departement) oder die ›Finanzcommißion‹ (nach 1848 als Kommission der Legislative). Obwohl der
Gerade bei 200 Topics lassen sich somit ausgesprochen saubere Themenkomplexe fassen, die beispielsweise zur Filterung eines Korpus zwecks Erstellung von Subkorpora genutzt werden können:
- 6 [gefangen, anstalt, aufsichtsbehörde, sträflinge, direktor, strafanstalt, inquisiten, täglich, tit, sträflingen, direktors, bediensteten, beamten, lassen, zellen, sorgen, sträfling, aufseher, hauses, kleidung, arzt, arbeit, krank, schaffner, lang, halten, etwas, entlassung, sich, verantwortlich]
Das Themenfeld der ›Strafanstalt‹ ist dabei interessant, da es über den gesamten Zeitraum im Hoheitsgebiet des Kantons bleibt und entsprechend auch Themen kombiniert, die vor und nach der Gründung des Bundesstaates zentral waren.
Wenn nur mit 20 Topics operiert wird, vermengt sich der Themenkreis mit zwar ähnlichen, jedoch klar abgrenzbaren Stichwörtern:
- 15 [anstalt, lehrer, dr, erziehungswesens, erziehungsrath, hochschule, erziehungsdirektion, schule, gefangen, direktor, erziehungsrathe, spitalpflege, schulgenossenschaft, schüler, sträflinge, aufsichtsbehörde, professor, prof, erziehungsrathes, aufsichtskommission, strafanstalt, zimmer, erforderlich, unterricht, krank, mein, zahl, derselbe, stunden, betreffend]
Die gewonnene Verzweigung von Themen in den umfangreicheren Topics erscheint sinnvoller, wenn Topic Modeling als heuristisches Verfahren genutzt wird, um umfangreiche und auch nur teilweise interessante Korpora zu analysieren und gegebenenfalls zu verkleinern.
Die Resultate wiederholen sich für alle Themen. Unter 50 Topics lassen sich aus den gewonnenen Wortlisten keine sinnvollen Einheiten mit mehr oder minder scharf trennbaren Themenbereichen gewinnen. Erst mit 50 oder besser noch 70 bis 100 Topics lassen sich Themenfelder eruieren, die thematische Abtrennungen vornehmen. Damit widerspricht der Distant-Reading-Ansatz den gewonnenen Resultaten der Metriken.
Für ein exemplarisches Close Reading betrachten wir aus dem Modell mit 50 Topics jenes zum Erziehungswesen, das sich recht konsistent ausnimmt:
- 2 [schulgenossenschaft, schule, schulgemeinde, gemeinden, erziehungsrath, neu, erziehungsrathe, bezirksschulpflege, rafz, erziehungsrathes, schulhauses, schulpflege, erziehungsdirektion, kosten, schulhaus, erziehungswesens, beschließen, schulgenoßenschaft, schulhausbaute, schulgenossenschaften, dortig, lehrer, trennung, bisherig, unterstützung, besoldung, staatsbeitrag, schulen, vertheilung, fällen]
Die Resolution mit der deutlichsten Ausprägung dieses Topics liest sich im Close Reading entsprechend einschlägig und belegt die Qualität des Modells:
trennung d sek schulkreises wylrafz u erricht v zwei neuen kreisen betreffend trennung des bisherigen sekundarschulkreises wylrafz und errichtung einer sekundarschule in rafz hat sich ergeben a die gemeindsschulpflege rafz stellt mit zuschrift vom 8 l märz sic namens der dortigen schulgemeinde das gesuch um errichtung einer eigenen sekundarschule in rafz auf 1 mai 1873 und begründet dasselbe [...].
Die für eine erste Übersicht erstellten 20 Topics auf nicht gechunkten Dokumenten, die nicht mittels Stopwords oder Thresholds bereinigt wurden, sind für die spätmittelalterlichen Quellen nicht sehr aussagekräftig. Zwar lassen sich auch hier schon Themen erkennen, die mit den prozessierten Texten deutlicher hervortreten, wie die
Eine Erhöhung der Topic-Anzahl auf 30, 50 und 100 auf den ungechunkten Texten führte zu stellenweise kohärenteren Topics, wie das Topic zur
Da auf den prozessierten Dokumenten 500er-Chunks als beste Größe erschien, wurden auch hierfür 30, 50 und 100 Topics erstellt und die Listen evaluiert. Eine eindeutige Aussage zur optimalen Anzahl Topics für dieses Korpus lässt sich dabei nicht treffen. Zwar kamen durch Erhöhung der Topic-Anzahl Themen hinzu, die bei 20 Topics nur erahnt werden können oder gar nicht erst auftauchen, wie beispielsweise zur biblischen Geschichte von Esau und Jakob und von dessen Sohn Joseph und seinen Brüdern (25). Auch das Topic um eine Rezeptsammlung tritt viel deutlicher hervor (3), und in manchen Topics sind weniger Fremdbegriffe (orange markiert), wie bei der
Andererseits spalten sich manche Topics in mehrere auf, wie beispielsweise die
Zum anderen verrauschen manche Topics, die bei geringerer Topic-Anzahl sehr konsistent waren, und einzelne Themen teilen sich auf mehrere Topics auf.
Ähnlich wie bei den lebensgeschichtlichen Interviews könnten noch Listen mit 60, 70, 80 oder 90 Topics evaluiert werden, um den besten Kompromiss zwischen inhaltsstarken, aber auch differenzierten Topics ohne zu viel Rauschen zu finden, wobei die optimale Topic-Anzahl sicher auch von der Forschungsfrage bzw. vom geplanten Nutzen der Methode abhängt: Falls bereits Kontextwissen zur Textgrundlage vorhanden ist, erlaubt die Arbeit mit einer Liste von 20 Topics eine schnelle Orientierung und inhaltliche Einblicke. Bei vornehmlich unerschlossenen Dokumenten werden durch eine Erhöhung der Topic-Anzahl auch kleinere Themenfelder und damit auch Einzeltexte präziser aufgespürt, was eine gute Übersicht über die Inhalte bietet, aber durch die hohe Anzahl, die Zunahme der Nonsense-Topics und die Überschneidungen bzw. Verrauschungen in den einzelnen Topics sehr viel mehr Zeit in Anspruch nimmt.
Der Wechsel von einem Distant in ein Close Reading von Textstellen, denen ein bestimmtes Topic zugewiesen wurde, stellt für (mitunter recht voluminöse) vormoderne Sammelhandschriften eine ganz neue Möglichkeit zur Erschließung und zur Arbeit mit der textuellen Überlieferung dar. Während in Handschriftenbeschreibungen Angaben zu Anfang und Ende von einzelnen Texten oder Textteilen enthalten sind, lassen sich konkrete Stellen nur mit größerem Suchaufwand finden. Wollte man beispielsweise den Umfang und die Ausgestaltung der
disen brieff hies allexander lese vor sineer dienern de herschreckent su so sprach allernder zuo inen ir sollent uch nit forchtten von disem frouwende wissent ir nit das die hunde die all meist bellet die bissent aller muernest.
Ihr sollt euch nicht fürchten vor dieser Drohung. Wisst ihr nicht, dass die Hunde, die am meisten bellen, am wenigsten beißen.
disen brieff hiesz allexander vor sinen dienern lesen do erschrakent sy so sprach allexander zuͦ in ir sùllent ich nit fùrhten von desen trowen wissent ir nit dz die hunde die vil bellend aller minst byssent.
disem brieff hiefs seler ander vor inen dieneren besen, do er schukent si do spnrach aleranden zo innen irsond ûch nit fûrchten von disem trowean wissent nt die hunde sie aber meist bellent, dz die aber mwust bu.
isen brieff hieflesen ward wale ander vor seinen diener lesen so erschrackent sy do sprach ale pander zuo innen ir sond ouch nit frrechten von disen trowen wissent ir nit die hund die aller maist bellent das die aller minst byssent.
Trotz zahlreicher Fehler in der Texterkennung, Unterschieden im Satzbau und in der Schreibsprache – [Dre1] ist wohl im Straßburger Raum entstanden, [Fre2] und [Hei4] in Konstanz und [Mue5] in Augsburg – lässt sich ein Unterkapitel aus dem ersten Kapitel der
persaund ein
philippusvorkommen, ohne dass es sich um die
der was der pourern lieb und werd er tzweig die von perse und hielt dz rich in groszer er […] der strent mit den voi perse und gesiget und fide wider gen rom und do er nach zuo der statt kom do truog der hertzog philippo an mit verraterschafft dz der kayser erschlagen ward und er an dz rich ka hilippus richs not un jar und hett amen sun, der hiesz ouch phil ppus und tett der vetter der sun, mit im kayser sin, dz si beid richsnotent in dem ersten.
Anhand des Interview-Korpus soll abschließend noch ein weiterer Parameter in den Blick genommen werden, die Iterationen, also Trainingsdurchläufe beim Topic-Modeling-Prozess. Ein Blick auf unterschiedlich hohe Iterationen (also wiederholte Durchläufe des Trainings) bringt keine klaren Erkenntnisse – bereits bei einem
In LDA können zwei weitere Parameter Alpha und Beta, sogenannte Hyperparameter, eingestellt werden. Dabei beeinflusst Alpha die Verteilung der Wahrscheinlichkeit der Topics in den Dokumenten und Beta die Verteilung der Wahrscheinlichkeit der Wörter in den Topics.
Abschließend sollen die aktuell gängigsten Topic-Modeling-Implementierungen begutachtet werden: Dabei beschränken wir uns auf LDA in JAVAs Mallet sowie BERTopic als vektorisierte Methode. Beide Methoden basieren auf der Idee, dass Wörter, die in ähnlichen Kontexten vorkommen, zugrundeliegende Themen in Texten repräsentieren. Vergleiche innerhalb der LDA-Umsetzungen existieren bereits, und unserer Ansicht nach ist die Mallet-Implementation überlegen.
LDA berechnet die Ähnlichkeit zweier Wörter in einem Dokument, indem an einem zufälligen Punkt (vgl. oben Kapitel 4.2) begonnen und die Wahrscheinlichkeit ihres gemeinsamen Auftretens vorausgesagt wird. In weiteren Iterationen werden ›bessere‹ (im Sinne von häufigeren) und entsprechend ›sinnvollere‹ Kombinationen von Wortpaaren ermittelt. Wörter werden in diesem Kontext als Zeichenketten verstanden und nur identische Ketten verglichen.
Wie oben beschrieben, unterscheidet sich BERTopic grundlegend von LDA. Über das Verfahren werden auch ähnliche oder synonyme Wörter als ähnlich, jedoch nicht identisch verstanden und als Vektoren in naher Umgebung ausgedrückt. Dadurch wird der Kontext berücksichtigt: Homonyme (›Bank‹ als Sitzgelegenheit oder Geldinstitut) werden disambiguiert, indem dem einzelnen Wort je nach Kontext unterschiedliche Vektorwerte zugewiesen werden. Das bedeutet, dass die Dokumente nicht aus einzelnen Wörtern bestehen, sondern aus individuellen Vektoren, die in mehreren Dimensionen näher oder weiter voneinander entfernt sein können und damit die Verwandtschaft von Wörtern numerisch ausdrücken. Für den hier vorliegenden Vergleich mit BERTopic wurde sich weitestgehend an der Standardpipeline der offiziellen BERTopic-Dokumentation orientiert.
In diesem ersten Schritt wird eine Vektorrepräsentation des zugrundeliegenden Korpus erstellt. Dafür stehen verschiedene Verfahren und vortrainierte Modelle zur Verfügung – z. B. die für BERT und andere LLMs genutzten Transformer-Modelle oder
Im nächsten Schritt werden die vektorisierten und dimensionsreduzierten Dokumente geclustert. Hierzu nutzt BERTopic als Standard
Was in der Theorie komplex und voraussetzungsvoll klingt, liefert in der Anwendung dank guter Implementierung in der Programmiersprache Python recht schnell konsistente Ergebnisse. Entgegen der Annahme, man benötige beim vektorisierten Topic Modeling kein Stopwordremoval, werden wir aber zeigen, dass das Entfernen der Stopwords auch im vektorisierten Topic Modeling einen entscheidenden Unterschied macht.
Wie schon im LDA, ergibt ein Topic Modeling mit BERTopic ohne Stopwordremoval keine sinnvollen Ergebnisse, wie die folgenden vier Topics mit Spuren der Themen ›Ruhrgebietsindustrie‹ (14) und ›Bergbau‹ (32) zeigen:
- 14 [ja, krupp, die, der, das, nicht, da, war, und, man, dann, sie, äh, auch, ist, ich, haben, bei, aber, den, wenn, ne, nech, noch, von, hat, denn, hm, ein, wir]
- 32 [die, und, der, dann, war, ich, das, bergbau, ja, da, nach, auch, zu, sie, wir, für, haben, im, hatte, von, dem, waren, noch, hatten, gewesen, hat, hier, aber, gemacht, ein]
Eine erste Kuriosität bei der Anwendung von BERTopic nach dem Stopwordremoval ist der Zusammenhang von Chunkgröße und automatisch bestimmter Topic-Anzahl. Nimmt man Chunks von 50 Sätzen, bekommt man 45 Topics – halbiert man die Chunks auf 25 Sätze, verdoppelt sich die Anzahl der Topics auf 90. Und der Trend setzt sich fort: reduziert man die Chunks auf 10 Sätze, erhält man 224 Topics. Dieses geradezu lineare Verhalten stellt die Zuverlässigkeit der Topic Estimation ohne weiteres Parametertuning – eine viel gepriesene Stärke von BERTopic – infrage.
Um die Anzahl der Cluster zu beeinflussen, gibt es zwei entscheidende Parameter: min_topic_size und min_cluster_size (HDBSCAN-Parameter). In einem Versuchsaufbau mit einem auf 1.000 Dokumente reduzierten LUSIR-Korpus mit 50er-Chunks wurde zunächst der Parameter min_topic_size verändert. Eine Erhöhung um das Zehnfache (von der Standardeinstellung 10 auf 100) brachte genauso wenig Veränderung, wie die Halbierung des Standardwerts (von 10 auf 5). Zum Vergleich das Topic mit Spuren zur Ruhrgebietsindustrie – Standardeinstellung:
-
min_topic_size= 10:0 [krupp, betrieb, betriebsrat, kommunisten, gewerkschaft, partei, gewählt, arbeit, kollegen, essen, gearbeitet, heißt, krieg, firma, 33]
-
min_topic_size= 100:1 [krupp, betrieb, betriebsrat, kommunisten, partei, arbeit, gewählt, heißt, kollegen, krieg, akkord, gewerkschaft, gearbeitet, geld, mensch]
-
min_topic_size= 5:1 [krupp, betrieb, betriebsrat, kommunisten, partei, gewerkschaft, gewählt, kollegen, arbeit, krieg, heißt, gearbeitet, 50, metall, essen]
In einem nächsten Schritt wurde die min_topic_size wieder auf 10 gesetzt, dafür der Standardwert der min_cluster_size in der HDBSCAN-Instanz zunächst von 15 auf 30 verdoppelt, was zu einer Halbierung der Topic-Anzahl von acht auf vier führte. Entgegen der Erwartung, nun Topics zu erhalten, die allesamt extrem heterogen sind, bleibt das Topic zur Ruhrgebietsindustrie nahezu unverändert:
- 2 [krupp, betrieb, betriebsrat, arbeit, krieg, heißt, kommunisten, partei, gewählt, kollegen, gewerkschaft, gearbeitet, metall, geschichte, mensch]
Eine Drittelung des min_cluster_size-Werts von 15 auf 5 führte zu einer Erhöhung der Topic-Anzahl von 8 auf 27. Wieder ist, entgegen der Erwartung, eine inhaltliche Straffung nicht festzustellen:
- 0 [krupp, betrieb, betriebsrat, arbeit, gewählt, partei, gearbeitet, heißt, essen, kollegen, firma, kommunisten, gewerkschaft, urlaub, krieg]
Verändert man nun die min_topic_size, wird der Einfluss auch dieses Parameters deutlich: Erhöht man diese bei gleichzeitiger Absenkung der min_cluster_size, erhalten wir die größte Anzahl Topics, nämlich 32. Mit der Veränderung der reziproken Parameter min_topic_size und min_cluster_size (in der HDBSCAN-Instanz) ließe sich also, wenn man z. B. die Chunkgröße variieren möchte, die Topic-Anzahl in BERTopic anpassen. Dabei ist zu beachten, dass eine hohe (!) min_cluster_size die min_topic_size limitieren kann. Allerdings funktioniert die Verteilung der tatsächlichen Themen auf die Anzahl der Topics anders als bei der LDA: Anstatt mehrere Themen in einem Topic zusammenzufassen, fallen weniger dominante Themen aus dem Modell heraus. Eine mögliche Erklärung ist, dass das Clustering, im Gegensatz zum LDA-Verfahren, harte Grenzen zieht. Für eine systematische Estimation eines eigenen Modells verweisen wir auf Kapitel 5, die dort etablierte Methode kann ebenso auf die BERTopic-Parameter min_cluster_size und min_topic_size angewendet werden. Zur Reproduzierbarkeit kann auch bei BERTopic ein Randomseed gesetzt werden, und zwar in der UMAP-Instanz (random_state).
Da die 45 BERT-Topics des gesamten LUSIR-Korpus dem LDA-Modell sehr nahekommen, kann der Vergleich beider ›großer‹ Modelle ohne weiteres Parametertuning erfolgen. Beim Vergleich mit den 50 Topics des finalen LDA-Modells fallen verschiedene Dinge auf. Viele Topics beider Modelle haben keine Entsprechung im anderen (vgl. Abbildung 6). Für die Heatmap wurde jede Wortliste des LDA-Modells (Y-Achse) mit jeder Wortliste der BERTopic-Modells (X-Achse) verglichen und automatisch berechnet, wie hoch die prozentuale Übereinstimmung der in den Listen enthaltenen Wörter (n=20) ist. Bei besonders hohen Ausschlägen ist eine Übereinstimmung in der Heatmap an hellorangen bis gelben Punkten zu erkennen. Zum Beispiel stimmen LDA-Topic 3 und BERTopic-Topic 10 zu 93 % überein (vgl. Abbildung 6):
- 3 [studieren, semester, abitur, studium, professor, universität, bonn, examen, köln, münchen, münster, studenten, berlin, medizin, praxis, fulda, godesberg, wuppertal, aachen, freiburg]
- 10 [semester, studieren, studium, studiert, examen, professor, semestern, medizin, münchen, schule, universität, studenten, freiburg, sohn, berlin, klasse, abitur, vorlesungen, volkswirtschaft, geschrieben]
Die zweithöchste Übereinstimmung findet sich beim Bergbau-Topic mit 50 % (LDA-Topic 39, BERTopic-Topic 20):
- 39 [betriebsrat, betrieb, kollegen, gewerkschaft, betriebsräte, aeg, belegschaft, vorsitzend, angestellt, gewerkschaften, wählen, aufsichtsrat, betriebsverfassungsgesetz, mitbestimmung, arbeitgeber, gewerkschaftlich, firma, vertreten, prozent, freistellen]
- 20 [betriebsrat, betrieb, kollegen, betriebsräte, betriebsverfassungsgesetz, gewählt, firma, krupp, belegschaft, betrieben, aufsichtsrat, gewerkschaft, vorsitzende, betriebsräten, geschäftsleitung, wirtschaftsausschuss, vertreten, betriebsrates, betriebsrats, aeg]
Allerdings fällt insbesondere auf, dass die letzten Topics des BERT-Modells (38–45, mit Ausnahme von 43) keine Entsprechungen im LDA-Modell haben. Bei näherem Hinschauen zeigt sich, dass es teils überspezifische Topics sind (so gibt es eins, das sich nur türkischen Gastarbeitern widmet und eins, in dem es um Kaffee geht), teils durch diffuse Wortsammlungen verrauschte Topics. In anderer Richtung fällt auf, dass viele LDA-Topics keine Entsprechung im BERT-Modell haben (z. B. Topics 8, 17 und 22), andere haben redundante Gegenstücke (z. B. LDA-Topic 4 matcht auf BERT 14 und 16, LDA-Topic 20 auf BERT 8 und 9). Der qualitative Blick in die Listen bestätigt, dass wir es mit zwei sehr verschiedenen Modellen zu tun haben. Zwar finden sich die großen Themen (›Bergbau‹, ›NS‹, ›Familie‹, ›Schule‹ etc.) in beiden Modellen, doch während LDA diese konsequent auflistet, zerfasert das BERTopic-Modell ins Überspezifische.
Die Nutzung eines grossen Sprachmodells wie BERT für Dokumente aus dem 19. Jahrhundert scheint auf den ersten Blick eher kontraproduktiv. Die Bedeutung diverser Begriffe hat sich in der Zwischenzeit verschoben und die Variabilität in der Schreibung dämpft die Erwartungshaltung. Allgemein wird angenommen, dass BERT aufgrund des
Das Resultat mit 65 generierten Themen ist dennoch brauchbar und zeigt ein Bild ähnlich wie zuvor schon mittels LDA generiert, mit einigen Themen, die sich in allen ausdifferenzierten Topic Models, die auf dem Korpus basieren, finden, etwa zum Militärwesen (Topic 1) oder zum Ausbau der Eisenbahnen (Topic 7).
- 1 [militärs, hauptmann, militarcommißion, infanterie, direktion, militärcommißion, regierungsrath, oberst, 1sten, 2ten, dienste, kriegsrathe, militärdirektion, oberlieutenant, zürich, entlaßung, kriegsrath, kriegsrathes, quartier, landwehr, mannschaft, major, militärpflichtersatz, stelle, herren, mittheilung, bataillon, eidg, französischen, freycompagnie]
- 7 [nordostbahn, station, direktion, bahn, eisenbahn, linie, winterthur, arbeiten, bundesrath, zuschrift, öffentlichen, schweiz, regierungsrath, expropriationen, nationalbahn, genehmigung, zuggoldau, präsidialverfügungen, mts, tößthalbahn, eisenbahngesellschaft, erledigung, projekt, js, winterthurweiach, eingabe, ii, straße, st]
Einige der Topics sind jedoch schwierig zu interpretieren und es ist nicht nachvollziehbar, wie das Clustering zum entsprechenden Resultat geführt hat (etwa Topic 15). Insbesondere die unterschiedlichen Ebenen führen zu Verwirrung. ›Vorort‹ bezieht sich auf die Rolle Zürichs vor der Gründung des Bundesstaats im alten Staatenbund. Die Orte sind zwar kantonal von Interesse, haben aber darüber hinaus nur wenig Ausstrahlung (beispielsweise ›Bülach‹). Und der Verweis auf Gesuche und Gemeinden (›metzgretchsgesuch‹ oder ›gemeindsstelle‹) ist nur auf kommunaler Ebene verständlich.
- 15 [rrb, fortsetzung, bezirksrathes, datirte, winterthur, eingesandte, beilagen, prüfung, verrichtungen, niederlaßungsgesuche, statthalteramtes, jahresbericht, ms, belaßung, bülach, hünikon, überwiesen, knonau, innern, barbou, greiffensee, bericht, gemeinden, gem, eingabe, statthalteramt, gesuch, rathe, begutachtung, recurs]
Das Experiment mit BERTopic bleibt somit für die Regierungsratsbeschlüsse unentschieden und wird aufgrund der schwierigen bzw. fehlenden Nachvollziehbarkeit für historische Sprachformen nicht empfohlen. Die Nutzung von BERT und anderer LLMs für die Extraktion von Themenfeldern – insbesondere wenn spezifische Modelle für die Sprachstufe genutzt werden könnten – muss natürlich weiterhin und vertieft ausgetestet werden.
Insgesamt und abschließend muss festgehalten werden, dass eine Übereinstimmung von Topics zwar anzeigt, dass qualitativ als gut evaluierte Themenfelder über beide Methoden gefunden werden und beide Ansätze nützlich sind. Das bedeutet indes nicht, dass dies die einzige Metrik sein kann. Wie die Auseinandersetzungen um Topic Modeling in den Geisteswissenschaften seit Jahren zeigen, ist es eine Herausforderung aufzuzeigen, was ›sinnvolle‹ von ›unbrauchbaren‹ Themenextraktionen unterscheidet.
Das BERT-Modell gibt für die spätmittelalterlichen Sammelhandschriften auf 500er-Chunks 16 Topics aus; inhaltlich sind diese dabei ähnlich geschlossen wie die Mallet-Topics auf 500er-Chunks mit 20 Topics (Fremdbegriffe orange eingefärbt):
Bereits für die 500er-Chunks mit BERT fällt auf, dass einzelne Themen z. T. sehr spezifisch und trennscharf sind, wie Topic 14 zur biblischen Erzählung von Esau und Jakob, dessen Sohn Joseph und seinen Brüdern. Dieser Befund verstärkt sich für die 250er-Chunks, die mit 32 Topics doppelt so viele wie die 500er-Chunks erhalten. Hier tritt beispielsweise der Sündenfall in der Schöpfungsgeschichte in Topic 19 sehr deutlich hervor:
- 19 [adam, noe, ena, gebar, abel, alt, welte, arch, welt, paradis, fluch, smertzen, archen, enoch, verbotten, slangen, wasser, gottes, frowen, essen, opfel, warumb, jaret, adams, tier, erste, hundert, vo, caym, arche]
Allerdings finden sich in beiden BERT-Modellen mehr überlappende Topics – das Topic um die Stadt Weißenburg kommt auf 250er-Chunks in 3 Topics vor, die
Für die Arbeit mit umfangreichen vormodernen Quellen empfiehlt sich in Abhängigkeit von der spezifischen Fragestellung womöglich eine Kombination aus beiden Implementierungen. Die Anwendung von Mallet mit 500er-Chunks hat im Fall der spätmittelalterlichen Sammelhandschriften die lesbarsten und sinnvollsten Topics geliefert; je nach Wahl der Topic-Anzahl können hier auch unterschiedliche Interessen verfolgt werden: Bei eher unbekannten Textkonvoluten bietet sich eine höhere Anzahl Topics an, um auch kleinere Einzeltexte zu erkennen, bei bereits gut erschlossenen Quellen bieten weniger Topics eine gute Orientierung im Text. Die kleineren Themen, die mit BERTopic sichtbar geworden sind und die in verschiedensten Mallet-Modellen mit größeren oder kleineren Chunks und verschiedenen Topic-Anzahlen nicht enthalten waren, sind beispielsweise die Erzählung um die beiden rivalisierenden Trierer Stadtherren Dulcimer und Signator, die um 50 v. Chr. um die Vorherrschaft in der Stadt kämpften. Je nach Forschungsinteresse kann also auf eine der beiden Implementierungen oder auf eine Kombination zurückgegriffen werden, um bestmögliche Resultate für die eigene Arbeit zu erzielen.
In diesem Working Paper wurden drei historische Korpora mit verschiedenen Topic-Modeling-Verfahren untersucht. Ziel war eine systematische Dokumentation und Bewertung der Auswirkungen von Preprocessing (Kapitel 3), Parametertuning (Kapitel 5.3) und Topic Estimation (Kapitel 5.1 und 5.2) bei der Anwendung von Latent Dirichlet Allocation sowie ein Vergleich der Ergebnisse mit BERTopic, einem Verfahren, das auf Vektorisierung von Texten aufbaut.
Es konnte festgestellt werden, dass die verschiedenen Korpora vor allem beim Preprocessing ausgesprochen unterschiedliche Anforderungen stellen und dass einzelne Preprocessing-Schritte für bestimmte Quellenarten gar nicht umsetzbar sind. Insbesondere der Nutzen der Lemmatisierung ist ambivalent und hängt stark von den zugrundeliegenden Daten und verfügbaren Sprachmodellen ab (Kapitel 3.4).
Die Zürcher Regierungsratsbeschlüsse aus dem 19. Jahrhundert standen nicht nur im Preprocessing vor spezifischen Hürden, da die Verteilung der Wörter noch ungleicher ist als bei anderen Korpora und entsprechend individualisierte Stopword-Listen entworfen werden mussten (Kapitel 3.3). Aufgrund des Umfangs und der thematischen Breite war es dann vor allem die Anzahl der Topics, die erst ab 50 und mehr les- und nutzbare Cluster zeigte (Kapitel 5.2.2). Erst wenn aufgrund der hohen Topic-Zahl eindeutige Zuordnungen zu thematisch mehr oder minder geschlossenen Themen erzielt wurden, konnte die Stärke des Ansatzes für diese Quelle aufgezeigt werden. BERTopic führte zwar zu teilweise aussagekräftigen Themenfeldern (Kapitel 6.2.2), jedoch nur bedingt zu nachvollziehbaren Resultaten für das gesamte Korpus.
Für die lebensgeschichtlichen Interviews, die der Gegenwart(ssprache) am nächsten sind, konnten die meisten Schritte durchgeführt (Kapitel 3.1–3.4) und repräsentativ weitere Parametertunings vorgenommen werden (Kapitel 5.3, 6.2.1). Es hat sich herausgestellt, dass für diese zeitgeschichtlichen Dokumente ein Topic Modeling mit LDA auch nach dem Aufkommen von LLMs eine adäquate Methode zur Inhaltserschließung darstellt (Kapitel 5.2.1). Als beinahe kurios ist das Verhalten von BERTopic bei der Anwendung auf dieses Korpus mit unterschiedlichen Chunkgrößen zu bewerten (Kapitel 6.2.1), das darüber hinaus eine der größten Stärken von LDA vermissen lässt: das Zuweisen aller Topics zu allen Dokumenten (bzw. gechunkt: Textpassagen) (vgl. Kapitel 4.1 und 4.3). Dadurch sind mit LDA Korrelationen, Themenüberlagerungen und Themenwechsel wesentlich präziser einzufangen als mit BERTopic.
Die Ergebnisse der Analyse für die spätmittelalterlichen Sammelhandschriften legt eine Anwendung von Topic Modeling mit LDA und mit BERTopic auf vormoderne Quellen für verschiedene Zwecke nahe: Umfangreiche Manuskripte mit mehreren Texten können mithilfe von LDA genauer erschlossen werden (Kapitel 5.2.3), wenn die Texte gechunkt (vgl. Kapitel 4.1 und 4.3) und die Anzahl der Topics erhöht wird. Bei größtenteils unerschlossenen Quellen mit fehlender oder nur grober Inhaltsbeschreibung ermöglicht eine Erhöhung der Topic-Anzahl eine Übersicht auch über eher marginale Themen und Inhalte. Eine Absenkung der Topics reicht bei besser bekannter Textgrundlage aus, da weniger Begriffe in einem Topic ausreichen, um von der Forscherin erkannt zu werden, was eine große Zeitersparnis beim Durcharbeiten der Topic-Listen bedeutet. Durch ein Zurückverfolgen der Topics in die einzelnen Dokumente wird die Orientierung im Gesamttext einer umfangreichen Sammelhandschrift deutlich erleichtert und ein Vergleich von verwandten Textstellen über mehrere Manuskripte hinweg um ein Vielfaches vereinfacht. Die Anwendung von BERTopic empfiehlt sich je nach Forschungsinteresse als zusätzlicher Ansatz, um kleine, spezifische Topics nicht zu übersehen (Kapitel 6.2.3).
Insgesamt kann festgehalten werden, dass die Anwendbarkeit von Topic Modeling von den Quellen und deren Aufbereitung, der Fragestellung und der methodischen Herangehensweise eines Forschungsvorhabens abhängt. Zunächst einmal muss bei nicht standard- und / oder gegenwartssprachlichen Texten eine gewisse Mindestmenge an Daten vorhanden sein, um ein eigenes Modell trainieren zu können. Es bedarf keiner weiteren Erläuterung, dass die Fragestellung eine quantitative Perspektive begünstigen sollte. Die Forschung der letzten Jahre hat gezeigt, dass quantitative Ansätze und hermeneutisches Arbeiten sich keinesfalls ausschließen, sondern maschinelles Lernen beim Filtern, Samplen und Spurensuchen wichtige vorbereitende, begleitende oder validierende Schritte leisten kann. Auf diese Weise können sich Methoden – analog zu klassischen Mixed-Methods-Ansätzen der Sozialwissenschaften – ergänzen: Eine Outlieranalyse von lebensgeschichtlichen Interviews mit einem hochspezifischen Topic Model kann beispielsweise historische Phänomene sichtbar machen, die sonst schwierig zu finden sind.
Unser Ziel war es, das für viele Methoden des maschinellen Lernens unabdingbare Preprocessing (Kapitel 3) und insbesondere die Aus- und Wechselwirkungen der vielen Variablen (vgl. auch Kapitel 4, 5.2, 5.3 und 6.2) ausführlich zu testen und zu untersuchen. Zum Teil unterschieden sich die Ergebnisse nach zwei verschiedenen Preprocessing-Schritten nur in subtilen Nuancen, wie die Lemmatisierung mit und ohne POS-Filter (Kapitel 3.4) oder die Veränderung der Anzahl der Iterationen (Kapitel 5.3). Sehr viel größer hingegen ist der Einfluss der Stopword-Entfernung auf die resultierenden Topic-Listen (Kapitel 3.3). Hier konnte gezeigt werden, dass eine bloße Entfernung der häufigsten Wörter über einen Threshold riskant sein kann und sich für die drei sehr unterschiedlichen Beispielkorpora als wenig zielführend erwiesen hat. Daher kamen eigens angelegte Stopword-Listen zur Anwendung, die die sprachlichen Eigenheiten der einzelnen Korpora berücksichtigen. Solche kuratierten Listen bieten sich für die meisten historischen Quellen an und sollten zur Nachvollziehbarkeit der erzielten Ergebnisse stets dokumentiert und mitveröffentlicht werden.
Die kontrovers debattierte Thematik der Identifikation der optimalen Anzahl von Topics war ein weiterer Fokus des Papers, und überraschenderweise stellte sich keine der etablierten quantitativen Metriken als zielführend heraus (Kapitel 5.1). Alle Metriken führten zu mehr oder minder schwer nachvollziehbaren Resultaten, die durch die qualitative Evaluation nicht gestützt werden konnten (Kapitel 5.2). Das bestehende Problem, dass für Korpora, die mit Topic Modeling behandelt werden, eine Anzahl von Themen vorgegeben werden muss, konnte entsprechend nicht durch Evaluationsmetriken gelöst werden. Eine weitere Diskussion über quantitative Ansätze zur Messung von Topic-Modeling-Resultaten ist demnach nötig.
Mit der Notwendigkeit qualitativer Evaluation ist auch Wissen um die Spezifik von Korpora gefragt. Das sogenannte
Auch 20 Jahre nach der Einführung der Methode in den Geisteswissenschaften ist es weiterhin notwendig, methodologisch über Topic Modeling nachzudenken und den Ansatz reflektiert einzusetzen. Auch im Zeitalter von LLMs ist es hilfreich, wenn reproduzierbare Resultate aus statistischen Methoden gewonnen werden, die jederzeit Imitation oder Reproduktion erlauben. Des Weiteren ergeben sich aus der Anwendung von LLMs zwei weitere Probleme: Zeitgeschichtliche Quellen, insbesondere hochsensible Interviews, können aus Datenschutzgründen nicht ohne Weiteres über Schnittstellen an High-Perfomance-Cluster oder Cloudanbieter gesendet werden. Die Möglichkeiten, LLMs lokal zu betreiben, nehmen zwar zu, weisen aber auf das zweite Problem hin: dass wir es mitunter mit enorm großen Dokumenten (z. B. Transkripte mehrstündiger Interviews) zu tun haben, für die entsprechende Rechenkapazität benötigt wird. Es gibt also noch immer genügend Gründe, in der Geschichtswissenschaft mit LDA zu arbeiten. Eine Symbiose mit aktuellen KI-Ansätzen wäre aber zum Beispiel, LLMs zur Evaluation von Topic-Modellen heranzuziehen.
Aus Gründen der Transparenz und Nachvollziehbarkeit votieren wir dafür, bei der Anwendung von Topic Modeling auf ein Korpus die genutzten Parameter der Algorithmen zu veröffentlichen. Die Prinzipien des FAIRen Publizierens
thInternational Conference on Computational Semantics. Long Papers (IWCS 2013, Potsdam, 19.–22.03.2013). Kerrville, Texas 2013, S. 13–22. PDF. [online]
thPacific-Asia Conference. Conference Proceedings (PAKDD 2010, Hyderabad, 21.–24.06.2010). Berlin u. a. 2010, S. 391–402. PDF. DOI: 10.1007/978-3-642-13657-3_43
ndConference Proceedings (NIPS 2009, Vancouver, 07.-10.12.2009). La Jolla, US-CA 2009. PDF. [online]
thAnnual Meeting of the Association for Computational Linguistics (ACL 2019, Florenz, 28.07.–02.08.2019). Florenz 2019, S. 1614–1619. PDF. DOI: 10.18653/v1/P19-1157
thConference on Neural Information Processing Systems 2021. Conference Proceedings (NeurIPS 2021, Online, 06.–14.12.2021). 2021. PDF. [online]
ndConference of Open Innovations Association FRUCT (FRUCT’32, Tampere, FI, 09.–11.11.2022). 2 Hefte. Helsinki 2022. Heft 2 (2022), S. 128–134. PDF. [online]
thConference of the European Chapter of the Association for Computational Linguistics (Göteborg, SE, 26.-30.04.2014). Göteborg 2014, S. 530–539. PDF. DOI: 10.3115/v1/E14-1056
thConference of the European Chapter of the Association for Computational Linguistics (Valencia, 03.–07.04.2017). 2 Bände. Valencia 2017. Band 2 (2017): Short Papers, S. 432–436. PDF. [online]
ndInternational Conference on Artificial Intelligence and Statistics (Naha, JP, 16.–18.04.2019; = Proceedings of Machine Learning Research, 89). 2019, S. 816–826. PDF. [online]
thInternational Conference on Machine Learning (Montreal, 14.–18.06.2009). New York 2009, S. 1105–1112. PDF. DOI: 10.1145/1553374.1553515