Version 2.0 (21.03.2023)

Es wurden folgende Änderungen vorgenommen: Inhaltliche und strukturelle Anpassungen, wie sie von den Gutachten angemerkt worden sind. Aktualisierung und Ergänzung der Fußnoten und der bibliografischen Angaben. Formale Korrekturen.

• 1. Einleitung
• 2. (Open) Peer Review
• 2.1 Begriffe, Methode und Öffnungsmöglichkeiten
• 2.2 Probleme im Peer Review und offene Lösungsformate
• 3. Qualität im Labor
• 3.1 Digitales Labor und die Methode der Öffnung
• 3.2 Spekulative Anmerkungen
• 4. Fazit
• Bibliographische Angaben

2.1 Begriffe, Methode und Öffnungsmöglichkeiten

[11]Peer Review, die Begutachtung durch themenkundige Fachkolleg*innen, gilt als die wichtigste Methode der Qualitätssicherung, ist aber auch eine kontrovers diskutierte Methode[17] mit einer langen Geschichte.[18] Zunächst sollen die gebräuchlichen Ausdrücke differenziert werden: Im Deutschen gibt es die Rezension, eine (zumeist in einer Fachzeitschrift) von einer fachkundigen Person publizierte kritische Diskussion einer (in der Regel kürzlich erschienenen) längeren Arbeit: einer Monographie, eines Sammelbandes, Handbuchs etc. Die Rezension fasst die wichtigsten Thesen bzw. Beiträge der Arbeit zusammen und gibt eine umfassende Beurteilung ihrer argumentativen Stringenz, Überzeugungskraft, Relevanz, Aktualität etc. Durch die begründete Einordnung der Arbeit als Beitrag zum Diskurs empfiehlt eine Rezension sie als lesenswert oder rät davon ab, sie weiter zur Kenntnis zu nehmen. Das Gutachten legt weitere Kriterien an, um Arbeiten (aber auch Personen, Projekte, Anträge, Bewerbungen etc.) hinsichtlich eines externen Ziels (z. B. Publikation, Förderentscheidung, Stellenvergabe) zu bewerten. Das Gutachten beurteilt die Eignung der Arbeit für das Erreichen dieses externen Ziels. Der englische Review ist weniger eng bestimmt hinsichtlich seiner Funktion und des Stils. Er schließt die Rezension und das Gutachten ein sowie weitere, mehr oder weniger strukturierte Formen der begründeten Stellungnahme, z. B. als Sammlung einzelner Kommentare ohne allgemeine Bewertung des Gesamttexts. Ich verwende ›Review‹, wenn ich diese nicht eindeutig bestimmte Form meine, hinter der sowohl strukturierte Gutachten (review report) als auch einzelne Kommentare zu Texten im Sinne der open participation (auf die ich weiter unten eingehe) stehen können. Der passendere deutsche Ausdruck wäre vielleicht die (wissenschaftliche) Stellungnahme.

[12]Die sorgfältige und begründete kritische Stellungnahme zu einer Arbeit innerhalb des eigenen Spezialgebiets ist eine wissenschaftliche Kernkompetenz. Dazu gehört auch die wissenschaftsethische Forderung,[19] für die Objektivität und Belastbarkeit der Stellungnahme mit der eigenen wissenschaftlichen Reputation zu bürgen. Dahinter steht der Anspruch, den wissenschaftlichen Anforderungen nach bestem Wissen und Gewissen[20] entsprochen zu haben. Das impliziert auch die Verpflichtung, eigene Urteile und Thesen bei Bedarf zu verteidigen und sie maximal transparent, nachvollziehbar und objektiv zu formulieren. Es kann gute Gründe geben, diese Verpflichtung im Einzelfall auszusetzen und Stellungnahmen zu anonymisieren oder geheim zu halten, z. B. um repressives oder diskriminierendes Verhalten innerhalb asymmetrischer Machtstrukturen zu verhindern. Aber das sind begründungspflichtige Ausnahmen zu einer wissenschaftlichen Grundhaltung der Transparenz und Nachvollziehbarkeit.

[13]Peer Review bezeichnet als Terminus die Praxis der Begutachtung durch Fachkolleg*innen.[21] Diese Stellungnahme unterstützt Institutionen bzw. Gremien, die über die Publikation, aber auch die Bewilligung von Drittmitteln oder auch Beförderungen und Stellenvergaben entscheiden, bei ihrer Auswahl. Üblicherweise findet der Review-Prozess geschlossen statt, ohne dass Namen von Personen, die entstandenen Reviews, die Erstversionen der im Review-Verfahren veränderten Arbeiten oder weitere interne Kommunikations- oder Entscheidungsprozesse publiziert werden.[22] Am häufigsten sind Anonymisierungen der Reviewenden gegenüber den Autor*innen (single blind) oder die beidseitige Anonymisierung zwischen diesen Parteien (double blind), wobei in der Regel Herausgeber*innen die Zuweisung zwischen der Arbeit und qualifizierten Reviewenden übernehmen. Erfolgt auch diese Zuteilung anonymisiert, handelt es sich um ein Review-Verfahren in triple blind.

[14]Werden einzelne Schritte dieses Prozesses bekannt gegeben, in Form einer Rückmeldung an Autor*innen oder durch Veröffentlichung, wird von Open Peer Review gesprochen, häufig jedoch ohne weitere Differenzierung. Ross-Hellauer[23] untersucht multidisziplinär verschiedene Definitionen des Open Peer Reviews in der Literatur. Seine sehr aufschlussreiche Arbeit enthält leider nur 13 (10,7 %) Quellen aus den Geistes- und Sozialwissenschaften und ist damit im Vergleich zur Betrachtung der STEM-Disziplinen (51,6 %) und des interdisziplinären Bereichs (37,7 %) weniger aussagekräftig.[24] Er findet unter 122 Definitionen sieben Merkmale, die als charakteristisch für den Aspekt der Öffnung gelten und jeweils Lösungen für Probleme der geschlossenen Review-Praxis bieten. Die sieben Merkmale sind, in absteigender Gewichtung:[25]

• open identities – Beteiligte sind einander namentlich bekannt
• open reports – Reviews werden zusammen mit der Arbeit veröffentlicht
• open participation – die Fachcommunity kann sich am Review beteiligen
• open pre-review manuscript – die Erstversion einer Arbeit wird vor einem Review verfügbar gemacht, z. B. über einen Preprint Server
• open interaction – Beteiligte, sowohl Autor*in und Reviewende als auch Reviewende untereinander, können in Austausch treten
• open final version commenting – die publizierte finale Version kann kommentiert werden[26]
• open plattforms – Review-Services unabhängiger Anbieter

[15]Ross-Hellauer schlussfolgert, dass Open Peer Review ein Sammelbegriff (umbrella term) ist. Das heißt, dass es keine eindeutige Kombination aus Merkmalen gibt, die für Open Peer Review notwendig ist; einige Merkmale scheinen allein hinreichend zu sein. Verschiedene Kombinationen aus den erkannten sieben Merkmalen sind möglich, wobei Ross-Hellauer aus der untersuchten Literatur 22 relevante Eigenschaftskombinationen (unique combinations) destilliert.[27] Besonders häufig (über 95 % der Definitionen in allen untersuchten Disziplinen) werden laut Ross-Hellauer open identities und open reports – einzeln oder in Kombination – als Kennzeichen von Open Peer Review verwendet.[28] Open participation, das interdisziplinär zweithäufigste Merkmal, »should perhaps be considered a core trait«[29] der Geistes- und Sozialwissenschaften. Ich werde mich im weiteren Verlauf auf die von Ross-Hellauer präzisierten Merkmale beziehen und von Open Peer Review im Sinne der allgemeinen Nutzung offener Formate sprechen.

2.2 Probleme im Peer Review und offene Lösungsformate

[16]Zu zentralen Problemen aktueller Review-Praxis zählen insbesondere in den Geisteswissenschaften gerade solche Faktoren, die sich sowohl schwer eliminieren lassen, weil sie als funktionaler Teil des Review-Prozesses selbst gelten, als auch – paradoxerweise – zu seinen Stärken gezählt werden. Dazu gehören die Geschlossenheit der internen Abläufe, vor allem der Gutachten, Entscheidungsprozesse und die (asymmetrische)[30] Anonymisierung. Dadurch sollen möglichst objektive und unabhängige Urteile erreicht werden, was jedoch aus verschiedenen Gründen gegenteilige Effekte hat, z. B. hinsichtlich impliziter wie expliziter Vorurteile, subjektiver Beurteilungen oder intransparenter, langwieriger Verfahren.[31]

[17]Ross-Hellauer[32] bündelt die Literatur zu Problemen der geschlossenen Review-Praxis in sechs Kategorien. Die ersten drei Kategorien betreffen problematisches Verhalten der Reviewenden: Unzuverlässigkeit und Inkonsistenz, mangelnde Verantwortlichkeit und Manipulationsgefahr im Prozess, unterschiedliche Formen von Voreingenommenheit (social / publication bias). Die restlichen Kategorien beziehen sich eher auf Probleme im Prozess: unnötig lange Wartezeiten und ›Schleifen‹ im Einreichungszyklus, weil Texte wiederholt gleiche Vorgänge bei verschiedenen Publikationsorganen durchlaufen; Fehlen entsprechender Anreize im akademischen Belohnungssystem, wodurch Wissenschaftler*innen die aufwändige und zeitintensive Review-Arbeit selten priorisieren können; Verschwendung interner Wissenschaftskommunikation, die vor allem für Nachwuchswissenschaftler*innen sehr aufschlussreich und wertvoll sein kann. Diesen Problemen stellt Ross-Hellauer die jeweils relevanten Arten der offenen Verfahren als Lösungsmöglichkeiten gegenüber,[33] vor allem open identities, open report und open participation. Seine Untersuchung zeigt eindeutig die Vorteile der offenen Review-Verfahren.

[18]Die Wirksamkeit der Öffnung einzelner Verfahren misst Ross-Hellauer empirisch, u. a. anhand der Aufdeckungsquote von Fehlern durch Reviews und Angaben zur Review-Bereitschaft unter offenen Bedingungen. Für die Geisteswissenschaften sind jedoch andere Kriterien - argumentative Stringenz, Originalität der Gedankenentwicklung, explanative Stärke oder gründliche Auseinandersetzung mit Einwänden - relevanter, die zum einen nicht in der gleichen Weise empirisch mess- und nachweisbar sind wie im STEM-Bereich[34]. Zum anderen geht es um normative Überlegungen, also wie eine Praxis sein bzw. geändert werden sollte. Es bedarf einer spezifisch geisteswissenschaftlichen Differenzierung der Funktionen der Review-Praxis bzw. der Anforderungen an sie. Eine wichtige Funktion ist das sogenannte Gatekeeping mit dem Anspruch, durch Selektion nur die besten Arbeiten zur Publikation zuzulassen. Genauso wichtig ist auch, dass Peer Review der tatsächlichen Verbesserung der Arbeiten dient, indem es konkretes Feedback zur Überzeugungskraft und Konsistenz der Argumentation gibt, alternative Blickwinkel bietet, Literatur empfiehlt oder auf explikationsbedürftige Passagen hinweist.

[19]Gerade in dieser zweiten Funktion zeigt sich das Potenzial digitaler Technologien, um die bisher ›analoge‹ und geschlossene Praxis des Peer Reviews als kollaborative, offene Methode in qualitativer Hinsicht zu erweitern. Das geschieht zum einen durch die Entwicklung und Bereitstellung von Review-Plattformen bzw. weiterer Open Source Software[35], die eine breite Partizipation am Review-Prozess erlauben. Dadurch wird sowohl die Publikation von Reviews gleichzeitig mit dem Text selbst möglich als auch der Post-Publication-Review, der keine Gatekeeping-Funktion mehr hat. Zum anderen würde eine Veränderung innerhalb der anonymisierten, versteckten und nicht kreditierten Review-Arbeit dazu führen, sie genauso zum Teil der wissenschaftlichen Debatte zu machen wie den begutachteten Text selbst. So können Wissenschaftler*innen mehr Ressourcen in die weitere Verbesserung von Texten (der Reviews und der Arbeiten selbst) investieren. Wie kann das aussehen?

3.1 Digitales Labor und die Methode der Öffnung

[20]Digitale Peer-Review-Portale funktionieren in mehreren Hinsichten als ein Labor für die qualitative Verbesserung der bisherigen Praxis und ihrer Ergebnisse. Mir geht es weniger darum, für eine konkrete Plattform oder ein einziges Modell des Open Peer Reviews zu argumentieren. Ich schließe mich dem Urteil Ross-Hellauers[36] und dem von Fitzpatrick / Santo[37] an, dass es kein einzelnes Passpartout-Modell gibt bzw. geben kann, das allen Formaten und Ansprüchen an die Praxis optimal gerecht wird.[38] Für die Verbesserung der Ergebnisse des Review-Verfahrens, d. h. der begutachteten geisteswissenschaftlichen Arbeiten, gehe ich auf das von Ross-Hellauer als Kernmerkmal geistes- und sozialwissenschaftlicher Definitionen bezeichnete Merkmal open participation ein. Es impliziert die weiteren Merkmale open pre-review manuscript und open report,[39] scheint aber mit der Anonymisierung der Reviewenden kompatibel. Inwiefern kann bei open participation von Laborbedingungen die Rede sein, insbesondere in Anbetracht der nicht-empirischen Natur meiner Argumentation?

[21]Eine Lesart von Labor besteht im Experimentieren mit der Vielfalt digital-technischer Optionen, z. B. mit dem Working Paper der AG Digitales Publizieren,[40] das über Hypothes.is kommentiert werden konnte, dem offenen Post-Publication-Review-Format für den Band Fabrikation von Erkenntnis,[41] zu dem auch dieser Beitrag gehört. Zum Verständnis als Labor gehören auch die emergenten Erkenntnisse, die durch den Einsatz und die Kombination computergestützter Technologien entstehen (Versionierung, Hypertext, Durchsuchbarkeit, Transparenz, simultaner Zugang / Bearbeitung / Interaktion einer sehr großen Community, Überprüfbarkeit und nicht zuletzt freier Zugang zu Quellen).

[22]Eine weitere Lesart hängt mit der Tradition wissenschaftlichen Arbeitens in den Geisteswissenschaften zusammen, zu der wesentlich die Entwicklung und Veränderung von Ideen gehört. Im STEM-Bereich gilt häufig, Ergebnisse zuerst zu erzielen und durch die Publikation zu sichern, d. h. an den eigenen Namen und die eigene Institution zu binden; eine Entdeckung bringt der ersten Forschungsgruppe das meiste Renommee und weitere Verwertungsmöglichkeiten wie Patente und Förderungen. Diese Sorge in Bezug auf die Schnelligkeit der Veröffentlichung gibt es im geisteswissenschaftlichen Publizieren nicht, auch weil die Konstellation viel seltener ist, dass mehrere Wissenschaftler*innen in Bezug auf die Forschung am selben Gegenstand (um erwartbar gleiche Ergebnisse) konkurrieren.

[23]Zeit spielt in einer anderen Hinsicht eine wichtige Rolle für die Qualitätssteigerung eines geisteswissenschaftlichen Textes. Diese Hinsicht kann metaphorisch als ›Reifung‹ bezeichnet werden. Geisteswissenschaftliche Texte haben den Anspruch, relevante Beiträge zu komplexen, synchronen und diachronen Diskursen zu sein, bei denen es um innovative und kreative Blickwinkel auf Probleme geht, um die Entwicklung neuer Argumente, konsistenter Narrative und Interpretationen.[42] Diese Ideen, Argumente und Interpretationen werden von verschiedenen Seiten betrachtet, durchdacht, mit anderen diskutiert, gegen mögliche Einwände abgewogen. Sie ›gären‹ eine ganze Weile im diskursiven Raum, werden verschriftlicht, überarbeitet, besprochen, revidiert, geschärft etc.[43] Dieser Reifungsprozess erfolgt selten hermetisch abgeschlossen ›in‹ einem Einzelindividuum[44] – weder ist das ein adäquates Verständnis des Bewusstseins noch der Ideengeschichte. Der Austausch mit anderen – im Forschungsbereich meist Kolleg*innen –, die Präsentation als Vortrag in Kolloquien, Lesekreisen oder Seminaren, die Rückmeldung zu Entwürfen, die möglichst vielen hilfsbereiten Peers gegeben werden, prägen die Entwicklungsstufen eines Textes.[45] Im bisherigen Publikationsprozess kommt ein Text erst zu einem viel späteren Zeitpunkt zur Veröffentlichung, in einer häufig gegenüber dem Erstentwurf stark veränderten Form.[46]

[24]Open Peer Review stellt die technische und methodische Fortsetzung und Erweiterung dieser Praxen dar, leistet aber auch durch die Nutzung der Interaktionsmöglichkeiten einen Beitrag zur Erweiterung des Autorschaftskonzepts[47] und der kollaborativen Wissensproduktion. Die Involvierung einer breiten, hinsichtlich ihrer Zusammensetzung offenen Community hat noch einen weiteren Vorteil. Dieser Vorteil besteht in der Mischung heterogener Perspektiven innerhalb der Teilnehmenden am Review-Prozess. Das können durchaus auch Perspektiven sein, die außerhalb des eigenen Denkkollektivs[48] liegen bzw. jenseits der bereits bekannten Alternativen. Das heißt natürlich nicht, dass jeder Kommentar anregend und sinnvoll sein muss. Aber gerade solche Fragen, Kritiken und Kommentare, die aus vorher nicht erwogenen oder präsenten Perspektiven kommen, können – ganz im Sinne der Serendipität – hilfreich dabei sein, neue Verbindungen zu sehen, in andere Richtungen zu denken oder zumindest eine klarere Darstellung der eigenen Position zu formulieren.[49]

[25]Digitale Plattformen bieten die Möglichkeit, asynchron umfangreichen, detaillierten und nachverfolgbaren Austausch mehrerer Personen zu punktgenau identifizierbaren Textpassagen zu initiieren; zwischen beinahe beliebig vielen Interessierten. Zudem bietet die digitale Aufarbeitung verschiedener Ressourcen an einem Ort (Einbindung von Quellen, multimediale Formate, Nebeneinander von Text und Kommentar, schnelle Orientierung durch Durchsuchbarkeit etc.) einen wichtigen pragmatischen Überblick, der mit gedruckten Exemplaren in dieser Weise nicht möglich ist.[50]

[26]Open participation auf digitalen Plattformen erweitert die lange Tradition gemeinsamer, kritisch-kontroverser Textdiskussion um die Ablösung von der Kopräsenz. Die involvierten Personen müssen nicht mehr zur gleichen Zeit am gleichen Ort sein, es gibt keine durch das Format der Veranstaltung (von Lesekreis bis Vorlesung im Stil von Michael Sandell) bestimmte Mindest- oder Maximalzahl. Damit werden limitierende Faktoren wie Termin- und Ortsbindung, die persönliche kognitive und motivationale Tagesform sowie der einmalige Ereignischarakter der Diskussion erheblich gemildert. Interessierte können die Dauer des Reviewprozesses auf der entsprechenden Plattform für die Entwicklung ihrer eigenen Kommentare und Kritikpunkte nutzen.[51] Für Autor*innen bedeutet das eine effektivere Zeitnutzung, wenn ihr Text gleichzeitig von allen Interessierten gelesen und kommentiert[52] werden kann. Die kommerzielle Plattform academia.edu[53] ist ein Beispiel dafür, aktuelle Arbeiten zugleich von einer großen Menge an Kommentator*innen dialogisch mit dem*der Autor*in und anderen Interessierten zu diskutieren.

3.2 Spekulative Anmerkungen

[27]Die Öffnung einzelner Bereiche der Wissenschaftskommunikation, insbesondere Open Access, steht im Kontext komplex ineinandergreifender Faktoren, u. a. globaler ökonomischer und wissenschaftspolitischer Entwicklungen, multinational agierender Großverlage und der fortschreitenden Digitalisierung. Mittel- und langfristige Folgen der Interaktions- und Rückkopplungsfunktionen des »Web 2.0«[54] und der diversen Technologien zur Bearbeitung geisteswissenschaftlicher Themen, wie Kirschenbaum[55] die Digital Humanities beschreibt, sind noch nicht absehbar. Zu künftigen Entwicklungen im Publikationsprozess möchte ich abschließend einige spekulative Bemerkungen machen. Der Review-Prozess könnte durch die Öffnung für breite Partizipation seine Funktion verändern und weniger auf Gatekeeping konzentriert sein, sondern auf die gemeinsame Verbesserung und Entwicklung von Arbeiten. Diese Transformation betrifft auch einen wissenschaftlichen Kernbegriff, die wissenschaftliche Arbeit (als Produkt), der bisher an die Publikation in einem bestimmten Format und damit verbundene implizite wie explizite Voraussetzungen gebunden war.

[28]Ein Beispiel für eine solche Voraussetzung ist die Materialität des Drucks.[56] Mit dem Wegfall der Notwendigkeit, eine Arbeit zu einem bestimmten Zeitpunkt für ›fertig‹ zu erklären, um sie als gedruckte Publikation verbreiten zu können, werden dauerhaft bearbeitbare Formate möglich, wie sie schon in Form von Wikis, Blogs und Living-Books bzw. Reviews existieren. Sie bilden nicht nur ›unfertige‹, aktualisierbare, dynamische Wissensquellen, die durch Versionierung so etwas wie die Dokumentation der Ideengeschichte darstellen. Sie explizieren zudem interne Funktionsweisen der Wissenschaft und zeigen, durch welche Faktoren – Argumente, Kommunikationsprozesse, soziale und wissenschaftspolitische Einflüsse, wissenschaftliche Moden und Paradigmen – sich Diskussionen entwickeln. Diese Zusammenhänge sind nicht nur durch die Offenbarung einer irreduziblen Kontingenz im Wissenschaftsgeschehen spannend, einem zentralen Thema der Wissenschaftssoziologie.

[29]Die zahlreichen digitalen Möglichkeiten – insbesondere Versionierung, Langzeitverfügbarkeit, Auffindbarkeit – machen es möglich, auch jene Prozesse systematisch zu beobachten, in deren Entstehen und Wirken wir uns selbst befinden. Wissenschaftshistorische und -soziologische Arbeiten sind aus einer gewissen zeitlichen Distanz zum Untersuchungsgegenstand entstanden;[57] ihr Gegenstand wurde oft erst retrospektiv als solcher konstituiert. Wir haben diesen Abstand des Blicks ›nach hinten‹ nicht, wir befinden uns mitten im Geschehen und beeinflussen es in verschiedene – absichtlich-erwünschte oder unbewusst-unerwünschte – Richtungen. Wir haben jeweils eigene Interessen in der wissenschaftspolitisch geförderten Transformation hin zu Open Science, auf die es auch kritische Perspektiven gibt.[58] Die Möglichkeit, den gesamten Prozess nachverfolgbar und für die spätere Untersuchung und Analyse nachhaltig verfügbar zu halten, bietet eine wertvolle Ergänzung zur Position der unmittelbar am Geschehen und seinen Kommunikationsprozessen Beteiligten. Digitale Technologien machen damit die Dokumentation der kommunikativen und extrakommunikativen Perspektiven[59] und ihrer Überlappungen möglich.

[30]Neben der Metaperspektive sind noch zwei Dinge interessant. Digitale Technologien versetzen uns in die einzigartige Situation, die Daten über alle Schritte und Regungen dieser Transformation in bisher unerreichter Genauigkeit erheben und bei Bedarf direkt verfügbar machen zu können. Das befördert die wissenschaftliche Kollaboration für eine umfassende, gründliche Analyse eher als die Konkurrenz um schnelle Ergebnisse.

[31]Der zweite Punkt betrifft den disziplinären Gegenstand. Science and Technology Studies, Laboratory Studies, die klassischen wissenschaftshistorischen Untersuchungen stehen schon seit geraumer Zeit im wissenschaftssoziologischen Fokus. Die Digital Humanities machen diese Art akribischer Untersuchung für die Geisteswissenschaften möglich. Die Pointe liegt also weniger darin, für die Existenz unterschiedlichster soziologischer Faktoren in der Wissenschaft zu argumentieren, sondern im neuartigen, digital erweiterten Einblick in den geisteswissenschaftlichen Arbeitsprozess. Die bereits heute technisch möglichen Formen von Open Peer Review lassen diesen Einblick und die methodologischen, kommunikations- und wissenschaftstheoretischen Implikationen mit Spannung erwarten.