• 1. Evaluation von digitalen Forschungsergebnissen
• 2. Evaluation von digitalen Editionen
• 3. Kriterien zur Bewertung digitaler Editionen
• 4. Rezensionen als Evaluationsform
• 5. Fazit
• Bibliographische Angaben
• Abbildungslegenden und -nachweise

» Evaluation – Das Unwichtige läßt sich am genauesten messen. Aber wie stellt man fest, was wichtig ist? – Es ist das, was übrigbleibt, wenn alles gemessen wurde.«
Rainer Kohlmayer in Die Schnake 15/16 (2000).

Das Rezensieren wissenschaftlicher Veröffentlichungen und die Publikation von Rezensionen in wissenschaftlichen Zeitschriften haben eine lange Tradition. Das gilt jedoch nicht in gleicher Weise für Rezensionen zu digitalen Forschungsergebnissen. Die Bewertung digitaler Arbeiten wirft allgemein viele Fragen auf: Wann hat ein digitales Produkt einen Bearbeitungsstand erreicht, der evaluiert werden kann? Haben Bewertungen digitaler Projekte und Ressourcen andere Funktionen und Ziele als bei gedruckten Publikationen? Wer sollte und kann eine Evaluation durchführen? Welche Aspekte und Bestandteile digitaler Forschung sind sinnvollerweise zu evaluieren?

Da die Evaluation digitaler Ressourcen insgesamt noch nicht ausgereift ist, werden im ersten Teil dieses Beitrags allgemeine Problemfelder aufgezeigt und diskutiert. Bestehende Ansätze werden in den Blick genommen. Der Beitrag geht im zweiten Teil auf digitale Editionen ein und untersucht, inwiefern ein Bedarf an Evaluation besteht und welche Aspekte für diese Art von digitaler Ressource im Hinblick auf die Bewertung spezifisch sind. Anhand zweier Beispiele werden im dritten Teil Bewertungskriterien von digitalen Editionen daraufhin untersucht, inwieweit sie auf der einen Seite auf digitale Forschungsergebnisse im Allgemeinen anwendbar sind und auf der anderen Seite auf wissenschaftliche Editionen, unabhängig von deren medialer Realisierung. So kristallisieren sich Kriterien heraus, die sich nicht in einen digitalen und einen Editionsbestandteil auflösen lassen und Hinweise darauf geben, wo das ›Zentrum‹ der Bewertung digitaler wissenschaftlicher Editionen liegt. Im vierten Teil wird auf Rezensionen als Bewertungsform für digitale Editionen eingegangen und diskutiert, inwieweit Reviews eine für digitale wissenschaftliche Editionen geeignete Evaluationsform sind.[1]

1. Evaluation von digitalen Forschungsergebnissen

Es ist darauf hingewiesen worden, dass digitale Forschungsergebnisse bei der Einschätzung wissenschaftlicher Leistungen noch nicht in gleichem Maße berücksichtigt werden wie traditionelle, gedruckte Publikationen.[2] Dafür gibt es verschiedene Gründe: Die Ergebnisse digitaler geisteswissenschaftlicher Forschung münden nicht immer in einen Text, mit dem sie vollständig und ausschließlich dargelegt werden. Sie können ganz unterschiedliche Formen annehmen, z. B. ein durchdachtes digitales Datenmodell, ein gut aufbereitetes und dokumentiertes digitales Korpus, parametrierte Skripte und programmierte Werkzeuge, die auf Theorien aufbauen, Forschungsmethoden implementieren, Forschungsprozesse digital unterstützen und somit auch selbst Ergebnisse sind, sowie Anwendungen und Präsentationen von wissenschaftlichen Inhalten im Web.

Obwohl Publikationen in Online-Zeitschriften und ausschließlich digital publizierte Monographien und Sammelbände wegen der Nähe zu gedruckten Publikationen noch den einfachsten Fall darstellen – es sind Forschungsergebnisse, die in linearer Textform dargestellt und fixiert werden – gibt es wie bei allen digitalen Forschungsergebnissen Zweifel und Unsicherheiten hinsichtlich der Qualität, der Verlässlichkeit und dauerhaften Verfügbarkeit. Die Erstellungs-, Bewertungs- und Publikationsprozesse für wissenschaftliche Veröffentlichungen und ihre Sicherung sind im Digitalen noch nicht so etabliert und erscheinen dadurch unsicher. Das Magazin für digitale Editionswissenschaften beispielsweise versteht sich als »offenes Forum zur Vorstellung von ›best practises‹ für Online-Editionen«.[3] Einreichungen werden von einem Redaktionsteam geprüft und die Artikel dann »sofort eingestellt«. Die Aussagen auf der Webseite des Magazins vermitteln den Eindruck von größerer Offenheit hinsichtlich des Inhalts und der Form der Beiträge und den Veröffentlichungsprozess betreffend. Bei Druckpublikationen wird dagegen zumeist von einem dahinter stehenden Wissenschaftsverlag ausgegangen, bei dem eine inhaltliche Begutachtung, ein Lektorat, die Vergabe einer ISBN oder ISSN und eine professionelle Distribution als prinzipiell gesichert angenommen werden. Auch die potentielle Unabgeschlossenheit digitaler Ergebnisse spielt bei der Skepsis gegenüber digitalen Veröffentlichungen eine Rolle: sie können leicht verändert, überarbeitet oder erweitert werden. Dazu kommt noch, dass digitale Forschungsergebnisse aufgrund ihrer möglichen Vielschichtigkeit, Komplexität und des großen Umfangs oft durch die Zusammenarbeit mehrerer Personen entstehen, die auf einzelne Bereiche spezialisiert sind. Das erschwert ihre Bewertung, wenn es um die Feststellung der Leistung Einzelner geht.

Wer sollte evaluieren?
Die Evaluation von Forschungsergebnissen, die digital publiziert werden, stellt spezifische Anforderungen an die bewertende Person: Es braucht Erfahrung im Umgang mit den vielfältigen Formen, die solche Ergebnisse annehmen können, also eine methodische Kompetenz, die über die fachlich-inhaltliche Expertise hinausgeht und die noch nicht selbstverständlich geworden ist. Die Schwierigkeiten und Herausforderungen, die sich durch das digitale Medium für die Praxis des Evaluierens ergeben, werfen nicht nur Fragen zu den Produkten digitaler Wissenschaft auf, sondern auch zum Evaluieren selbst: Wer soll bewerten? Was soll bewertet werden? Wann wird bewertet? In welcher Form kann Evaluation stattfinden? Welche Zwecke erfüllt Evaluation? Dass diese Fragen vermehrt aufkommen, zeigt, dass sie neu beantwortet werden müssen, unabhängig davon, ob sich aus der Diskussion um die Evaluation digitaler Forschungsergebnisse im Verhältnis zur Bewertung von in gedruckter Form veröffentlichten Erkenntnissen jeweils neue und andere Antworten ergeben werden oder nicht.[4]

Zunächst stellt sich die Frage, ob Einzelne überhaupt alle diese Fähigkeiten in sich vereinen müssen. Pfannenschmidt und Clement merken hierzu an: »Another concern in evaluation is the degree of expertise the reviewers should have in both the technology and the subject area that covers the material under consideration. The eclectic nature of digital scholarship poses challenges to the traditional method of finding one or two experts to take on review. The difficulty is partially due to the issue of determining what aspect is evaluated and why. […] Yet no one person can be an expert in every method, field, and medium: seemingly, collaborative work requires collaborative review.«[5] Eine Möglichkeit, mit den vielfältigen Anforderungen an Gutachter umzugehen, wäre also eine Arbeitsteilung: Nachdem die zu bewertenden Bereiche des digitalen Produkts ausgemacht sind, werden sie auf verschiedene Experten verteilt. Wenn auch Textcodierung, Programmierung, Konzeption und Design bewertet werden, kann es dazu führen, dass der Kreis der Gutachter sich von etablierten Wissenschaftlern in den jeweiligen Fachbereichen auf andere Akteure aus den digitalen Geisteswissenschaften ausweitet, was die Zusammensetzung von Teams spiegeln würde, welche digitale Projekte umsetzen und Ressourcen erarbeiten. Nachteilig daran könnte sein, dass der aus dem Medienwechsel folgende methodische Wandel sich nicht ganzheitlich vollzieht, wenn die Zusammenarbeit und der Austausch nicht eng genug sind. Weitere Möglichkeiten sind, ein Peer-Review für die Evaluationen selbst einzuführen, falls diese veröffentlicht werden sollen, womit die Qualität der Bewertungen gesichert würde und eventuelle Unsicherheiten in inhaltlichen oder technischen Bereichen durch die Rückmeldung von Fachkollegen ausgeglichen werden könnten. Schließlich wird bereits an dieser Stelle die Bedeutung von Handreichungen und Kriterien zur Bewertung deutlich, die Gutachtern dabei helfen können, alle Aspekte im Blick zu haben, welche für die Evaluation digitaler Forschungsergebnisse wichtig sind.

Was soll bewertet werden?
Für einen in einer Online-Zeitschrift veröffentlichten wissenschaftlichen Artikel wird diese Frage wesentlich leichter zu beantworten sein als z. B. für eine digitale Edition, wobei sogar im ersten Fall erwogen werden kann, auch Forschungsdaten zu begutachten, die möglicherweise hinter den in dem Artikel formulierten Ergebnissen stehen. Im Fall der Edition ist zu fragen, ob nur das an der Oberfläche sichtbare Ergebnis bewertet werden sollte, also derzeit in den meisten Fällen eine Web-Anwendung, oder auch die dahinter liegende digitale Form der Inhalte, welche die Anwendung füllen – digitale Faksimiles, codierte Texte, daraus abgeleitete, ergänzende, mit weiteren Daten angereicherte Materialien und Metadaten. In Frage kommen außerdem Programmteile, welche die Anwendung steuern, durch die letztlich die Auswahl der anzuzeigenden Inhalte erfolgt und durch die Funktionalitäten definiert oder zumindest implementiert werden, sowie schließlich noch technische Grundlagen und organisatorische Rahmenbedingungen. Da sich der Forschungsbeitrag einer digitalen Ressource nicht auf die Form ihrer medialen Präsentation beschränkt, sollten möglichst viele der genannten Aspekte in eine Begutachtung einbezogen werden. In Abgrenzung zum Druck geht es gerade darum, die ausschließliche Konzentration auf die Präsentation der Ergebnisse zu überwinden, um die einfließenden Forschungsleistungen in angemessener Weise zu berücksichtigen. Verschiedene Ergebnisebenen einzubeziehen wird dem kooperativen und interdisziplinären Charakter vieler digitaler Vorhaben gerecht. Es trägt zu der Diskussion bei, was als Forschungsergebnis gelten kann und vermag vielleicht manche Form der Zuarbeit, die jedoch Teil des Wesens digitaler Forschungsarbeit ist, aus den Tiefen großer Projekte zu heben.

Wichtig erscheint auch eine Bestimmung dessen, was als Ergebnis gelten kann und beurteilungsfähig ist. So fragen Pfannenschmidt und Clement: »How should evaluators assess digital tools used in the production of scholarship«[6]? Sollten also nicht nur Ergebnisse bewertet werden, sondern auch Arbeitsweisen, die zu digitalen Forschungsergebnissen führen? Rockwell ist der Meinung, dass man hier trennen kann. Er definiert Forschung als die Aktivität, die zu Wissenschaft führt, und Wissenschaft als das Ergebnis, das man teilen (und beurteilen) könne. Man könne sich bei der Evaluation auf Wissenschaft konzentrieren und digitale Ergebnisse bewerten, aber nicht digitale Praktiken.[7] Dabei würde die Nutzung digitaler Ressourcen und Methoden unberücksichtigt bleiben, wenn sie ausschließlich zu gedruckten Ergebnissen führt. Auf der anderen Seite würden Arbeiten berücksichtigt werden, die allein analog vorbereitet wurden, aber zu digitalen Ergebnissen führen. Rockwell zufolge ist entscheidend, dass die Arbeit in elektronischer Form mit der Community geteilt wird und dass sie in elektronischer Form wahrgenommen werden soll.[8]

Der Ansatz, Ergebnisse zu beurteilen und nicht Praktiken, erscheint sinnvoll. Was als Ergebnis wahrgenommen werden soll, kann flexibel gestaltet werden: Wird etwas publiziert, kann es als Ergebnis ge- und bewertet werden, ob nun ein Text, ein Skript oder ein Forschungsdatensatz oder eine Methode, die beschrieben wird. Dadurch, dass etwas zugänglich gemacht und veröffentlicht wird, wird ein Signal gegeben. Dieses kann auch erfolgen, wenn etwas noch nicht einen als final betrachteten Status erreicht hat, sondern vielleicht ein Etappenziel, bis hin zur kontinuierlichen Offenlegung von Zwischenergebnissen. Das gilt zwar unabhängig vom Präsentationsmedium grundsätzlich für jegliches wissenschaftliches Arbeiten, jedoch erleichtert das digitale Medium die Veröffentlichung verschiedener Arbeitsstände z. B. als Versionen und ebenso die Veröffentlichung auch umfangreicher Daten, ohne dass diese in eine Form gebracht werden müssen, die für eine Publikation in Buchform geeignet ist. In jedem Fall kann Offenheit gefordert und gefördert werden, wenn einerseits nicht nur eine Darlegung in Textform, sondern auch Datensätze und Programmteile als Ergebnisse gewertet werden und andererseits die Publikation digitaler Forschungsergebnisse als Voraussetzung für deren Beurteilung betrachtet wird. Wenn z. B. die TEI-Codierung edierter Texte als Teil einer digitalen Edition bewertet werden soll, kann, sofern es keine rechtlichen Einschränkungen gibt, auch die Veröffentlichung der zugrundeliegenden TEI-Dateien eingefordert werden.

Wann soll bewertet werden?
Ob der Ergebnischarakter digitaler Forschungsprodukte als Bedingung für eine Bewertung angesetzt werden kann, ist aber auch vom Zeitpunkt einer Evaluation und ihrem Zweck abhängig. Im Sinne einer klassischen Rezension würde eine Evaluation erst erfolgen, wenn die Arbeiten abgeschlossen sind; das Ergebnis wird in Augenschein genommen, eingeordnet und bewertet. Neben der Einbindung eines Forschungsergebnisses in den wissenschaftlichen Diskurs und eine Positionierung der oder des Rezensierenden zu dem Rezensat ist der Zweck eine nachträgliche und zugleich in die Zukunft gerichtete Qualitätssicherung, wenn Leser auf die Güte des besprochenen Gegenstandes schließen und zukünftige Unternehmungen aus der Rezension Lehren ziehen können. Eine Begutachtung kann aber auch zu Beginn erfolgen, wenn ein Antrag vorliegt, aber noch keine Ergebnisse, oder ›mittendrin‹, wenn eine Zwischenevaluation das bisher Erreichte bewerten soll und zu Korrekturen und Kursänderungen führen kann. Beratungen, bei denen die Initiative von den Erstellern einer digitalen Ressource bzw. von den Mitarbeitern eines digitalen Projektes ausgeht, welche Externe um eine Beurteilung und Ratschläge bitten, sind vorstellbar und in jeder Phase und zu jedem Zeitpunkt denkbar. Sie haben den Zweck, die Qualität der Forschungsergebnisse noch vor deren Fertigstellung zu sichern. Ein Peer-Review schließlich würde kurz vor dem Abschluss erfolgen und soll insbesondere im Hinblick auf die Veröffentlichung eine letzte Hilfestellung und Qualitätssicherung bieten. Evaluationen gehen auch von digitalen Vorhaben selbst aus, wenn Entscheidungen darüber getroffen werden müssen, welche Datenmodelle, Standards und Werkzeuge für die Bearbeitung der eigenen Materialien und Ziele am besten geeignet sind. Dahinter können dann theoretische, methodische und praktische Erwägungen stehen und es geht weniger darum, die wissenschaftliche Leistung von Personen, Gruppen oder Institutionen festzustellen.

Zu der Frage, in welchen Phasen eine Evaluation für digitale Projekte besonders wichtig ist, gibt es verschiedene Ansichten: Pfannenschmidt und Clement stellen fest, dass Bewertungen, die zu einem frühen Zeitpunkt erfolgen und den Planungs- und Entwicklungsprozess noch beeinflussen können, zu Kosteneffizienz beitragen und helfen können, typische Fehler zu vermeiden.[9] Pierazzo dagegen meint, dass eine Vorab-Bewertung in Form von Antragsbegutachtungen für digitale Projekte bereits üblich sei, Evaluationen in späteren Phasen und nach Veröffentlichung aber noch kaum etabliert seien, während es sich mit dem Peer-Review und Rezensionen zu gedruckten Publikationen genau umgekehrt verhalte.[10] In beiden Fällen wird die Bedeutung von Evaluationen für digitale Projekte hervorgehoben und erkannt, dass die Praxis des Evaluierens in diesem Bereich noch am Anfang steht. Da digitale Projekte in den meisten Fällen vor Aufnahme der Arbeiten begutachtet werden, erscheint eine vermehrte Diskussion von veröffentlichen digitalen Forschungsergebnissen dringlicher.

In welcher Form soll Evaluation erfolgen?
Einige Formen, welche die Evaluation von digitaler Forschung und deren Ergebnissen annehmen kann, wurden bereits genannt: Gutachten zu Projektanträgen und laufenden Projekten, Beratung, Peer-Review und Rezensionen. Wie diese Evaluationsformen genau ausgestaltet werden, ist damit aber noch nicht gesagt und es ist anzunehmen, dass sie selbst aus zwei Gründen einer Transformation unterliegen: sie behandeln Gegenstände, die eine neue mediale Gestalt annehmen oder in ihrem Wesen gänzlich neuartig sind und werden selbst in den meisten Fällen in digitaler Form stattfinden.[11] Als ein Beispiel ist das Open Peer-Review zu nennen, bei dem Beiträge vor ihrer ›finalen‹ Publikation in bestehenden Online-Foren, sozialen Medien oder eigens dafür eingerichteten Web-Plattformen öffentlich diskutiert werden. Hierzu sind einige Experimente zu finden, z. B. vom Arbeitskreis Digitaler Wandel und Geschichtsdidaktik, bei dem Beiträge zur Tagung »Wikipedia in der Praxis« auf dem Blog des Arbeitskreises kommentiert werden können. Die Autoren werden zu einer abschließenden Entgegnung aufgefordert und am Ende sollen die Kommentare zusammen mit den Beiträgen publiziert werden.[12] Beim Open Editing können Beiträge direkt von ›peers‹ bearbeitet werden. Vor allem Fitzpatrick geht auf bereits existierende, neue Ansätze der Bewertung digitaler Forschungsarbeit ein, die es zu erkennen und zu nutzen gelte, auch wenn sie auf den ersten Blick nicht leicht sichtbar und als Qualitätsmerkmale erkennbar seien, wie Kommentare oder Links zu anderen Webseiten.[13] Auch die Verbreitung von Informationen und die Diskussion von digitalen Forschungsergebnissen in sozialen Medien kann als eine Form von Evaluation angesehen werden. Yates schließlich schlägt vor, einen Preis für die beste digitale Edition bzw. das beste digitale Online-Archiv zu vergeben, um den notwendigen Wandel vom Druck hin zum Digitalen zu fördern und zu besonders innovativen Vorgehensweisen zu ermuntern und diese zu würdigen.[14] Es sollte eine Offenheit gegenüber neuen Evaluationsverfahren und entsprechende Experimente geben. Trotzdem erscheint es zunächst sinnvoller, auf etablierte Formen zurückzugreifen, damit der Bewertungsprozess digitaler Forschungsergebnisse überhaupt in Gang gebracht wird. Auch im Hinblick auf die Verbesserung der Reputation digitaler Forschungsarbeiten sind anfangs solche Verfahren in den Vordergrund zu stellen, die möglichst vielen Bewertenden und Bewerteten bekannt sind. Neue Ansätze können in der Folge weiter reifen.

Welche Ansätze für Evaluation gibt es bereits?
Zu den Initiativen zur Förderung der Evaluation digitaler Forschung zählen die Entwicklung von Richtlinien und Best Practices und die Einrichtung von Plattformen, die zur Erstellung und Veröffentlichung von Bewertungen genutzt werden können. Die Aktivitäten beziehen sich auf digitale Forschungsprojekte und -ressourcen im Allgemeinen oder, spezieller, auf bestimmte Fachbereiche oder bestimmte Gegenstände wie digitale wissenschaftliche Editionen oder Archive. Im Folgenden werden verschiedene Ansätze genannt:

Richtlinien zur Bewertung digitaler Forschungsarbeiten im Allgemeinen:

• Die von der Modern Language Association (MLA) herausgegebenen »Guidelines for Evaluating Work in Digital Humanities and Digital Media«[15].
• Der »Short Guide To Evaluation Of Digital Work« von Geoffrey Rockwell, der sowohl mögliche Fragen für Gutachter formuliert, die digitale Arbeiten bewerten sollen, als auch Best Practices in Form einer Checkliste sowie Tipps, wie man Experten zur Unterstützung finden kann.[16]
• Die Guidelines »How to Evaluate Digital Scholarship« von Todd Presner, welche als Grundlage für die Evaluation von Wissenschaft in »the Humanities, Social Sciences, Arts, and related disciplines«[17] dienen sollen.

Allgemeine Rezensionszeitschriften und Fragebögen mit eigenen Richtlinien:

• Das DHCommons Journal, in dem noch laufende Projekte ein Statement veröffentlichen können, auf das in zwei unabhängigen Reviews Bezug genommen wird. Das Journal bietet eigene »Review Guidelines« zur Orientierung für die Autoren an.[18]
• Ein Formular zur Evaluation digitaler geisteswissenschaftlicher Projekte, das von dem mexikanischen Netzwerk Red de Humanidades Digitales entwickelt worden ist und online ausgefüllt werden kann sowie begleitende Best Practices (»Guía de buenas prácticas«)[19].

Ansätze aus einzelnen Fachbereichen und für bestimmte Forschungsgebiete:

• Die »Guidelines for the Evaluation of Digital Scholarship in History« von der American Historical Association (AHA)[20].
• Die vom Institute of Historical Research der University of London herausgegebene Rezensionszeitschrift »Reviews in History«,[21] die sowohl Rezensionen zu gedruckten Büchern als auch zu digitalen Ressourcen einschließt.
• Das von Eighteenth-century Scholarship Online (18th Connect) eingerichtete Peer-Review-System für digitale Ressourcen und Archive zum 18. Jahrhundert.[22]
• Die von der Networked Infrastructure for Nineteenth-Century Electronic Scholarship (NINES) etablierte Struktur für Peer-Reviews mit »Guidelines for Promotion and Tenure Committees in Judging Digital Work«[23].

Richtlinien für die Evaluation wissenschaftlicher, einschließlich digitaler Editionen:

• Die von der MLA herausgegebenen »Guidelines for Editors of Scholarly Editions«[24], die auch eine Liste von Fragen für Gutachtern enthalten.
• »Förderkriterien für wissenschaftliche Editionen in der Literaturwissenschaft«[25] der Deutschen Forschungsgemeinschaft.

Kriterien für die Evaluation digitaler wissenschaftlicher Editionen:

• Die von der Association for Documentary Editing verfassten »Minimum Standards for Electronic Editions«[26].
• »Bewertungskriterien für elektronische Editionen« von Fotis Jannidis, bei denen der »Bedarf einer Klärung« betont wird, den elektronische Editionen als »neue Gegenstände im philologischen Alltag« im Vergleich zu gedrucken Editionen hervorrufen, bei denen die Kriterien »mehr oder wenige selbstverständlicher Teil des Fachs«[27] sind.
• Die vom Institut für Dokumentologie und Editorik (IDE) herausgegebenen »Kriterien für die Besprechung digitaler Editionen«[28].

Rezensionszeitschriften für digitale wissenschaftliche Editionen:

• Das »Magazin für digitale Editionswissenschaften« vom Interdisziplinären Zentrum für Editionswissenschaften der Friedrich-Alexander-Universität Erlangen-Nürnberg, welches ein Forum zur Vorstellung von Best Practices für digitale Editionen bieten möchte und bei dem laufende Editionsprojekte mit Beiträgen verschiedene Aspekte ihrerde Arbeit vorstellen können.[29]
• Das vom IDE herausgegebene Rezensionsjournal ride (A Review Journal for Digital Editions and Resources)[30], zu dem auch ein Fragebogen ( »Questionnaire«) gehört, mit dem umfassende Informationen zu den rezensierten Editionen systematisch erfasst werden.

Es gibt also eine Reihe von Hinweisen für die Evaluation digitaler Forschung und Experimente mit unterschiedlichen Formen der Bewertung. Die Initiatoren der Entwicklung von Richtlinien und Foren für Evaluation sind einerseits Einzelpersonen, häufiger aber Gruppen von Wissenschaftlern und Forschungsinstitutionen. Es ist auffällig, dass Rezensionsjournale und -plattformen in den meisten Fällen von eigenen Vorschlägen für Bewertungskriterien begleitet werden, welche als Hilfestellung oder Anleitung fungieren. Dies zeugt von einem Bewusstsein dafür, dass im Digitalen neue Maßstäbe für die Bewertung laufender oder abgeschlossener Forschungsarbeiten angesetzt werden müssen, welche nicht als selbstverständlich vorausgesetzt werden können. Zugleich erfüllen die Kriterien oft die doppelte Funktion, eine Bewertungsgrundlage für Gutachter zu sein und zugleich eine Checkliste für Wissenschaftler, die digitale Projekte planen und umsetzen. Zu erkennen ist, dass mit der als Unterstützung gedachten Explizierung von Kriterien eine gewisse Formalisierung des Bewertungsprozesses einhergeht. Auch Fragebögen, mit denen detailliert und strukturiert Informationen zu der jeweils betrachteten digitalen Ressource abgefragt werden, deuten in diese Richtung.

2. Evaluation von digitalen Editionen

Es ist nun bereits viel über die Evaluation von digitaler Forschung und digitalen Forschungsergebnissen im Allgemeinen gesagt worden. Die Herausforderungen und Fragen, die sich bei der Bewertung digitaler Arbeit insgesamt stellen, treffen gleichermaßen auf digitale wissenschaftliche Editionen zu, in vielen Aspekten sogar ganz besonders.

Um eine digitale Edition erstellen und bewerten zu können, sind neben den fachlichen und technischen Kompetenzen zusätzlich Kenntnisse in editionswissenschaftlicher Theorie und Methodik notwendig. Die entstehenden Ausgaben können in ihrem Aufbau und der Präsentation einen hohen Grad an Komplexität erreichen. Wegen der Unterschiedlichkeit der edierten Gegenstände, der theoretischen Fundierung, der unterschiedlichen Methodiken und Zielstellungen wird kaum eine Edition einer anderen gleichen. Bei Bewertungen müssen all diese Aspekte berücksichtigt werden.

Speziell für Editionen ergibt sich ein zusätzlicher Bedarf für Evaluation daraus, dass dieselben Gegenstände – historische Dokumente und literarische Werke etwa – auch in nicht-wissenschaftlicher Form digital aufbereitet und präsentiert werden. War dies auch bereits im Gedruckten der Fall, so scheint es, dass die Grenzen im Digitalen nicht so deutlich zu ziehen sind und eine Abgrenzung dringender wird. Das mag auch damit zu tun haben, dass die Gestalt wissenschaftlicher Editionen im Digitalen weniger festgelegt ist als sie es im Druck noch ist. Neben dem Attribut der Wissenschaftlichkeit kann auch die Kennzeichnung als ›Edition‹ zur Debatte stehen. Einige Tendenzen, die im Zusammenhang mit digitalen Editionen häufiger genannt werden, lassen diese in die Nähe digitaler Archive rücken, so dass auch in dieser Hinsicht definitorische und begriffliche Klärungen nötig sind.[31]

Eine weitere Frage betrifft den digitalen Charakter einer wissenschaftlichen Edition. Ist überhaupt ein Unterschied zu machen zwischen einer ›traditionellen‹ wissenschaftlichen Edition und einer digitalen wissenschaftlichen Edition? Hierzu gibt es unterschiedliche Standpunkte. Fließen diese in die Formulierung von Best Practices und Bewertungskriterien ein, dann kann das die Ergebnisse der Evaluation von digitalen Editionen beeinflussen. Es wird deutlich, dass nicht nur die Editionen selbst diskutiert werden müssen, sondern auch Guidelines, Fragenkataloge und deren theoretische Fundierung. Schon die Titel von Richtlinien, Rezensionszeitschriften und -plattformen kommunizieren eine bestimmte Haltung: Taucht ›digital‹ im Titel auf oder nicht? Wird es also zumindest vorübergehend als notwendiger Bestandteil der Benennung von Gegenständen angesehen, als Verweis auf eine eigene Art, oder spielt das Medium keine Rolle? Die Deutsche Forschungsgemeinschaft z. B. spricht allgemein von »Förderkriterien für wissenschaftliche Editionen in der Literaturwissenschaft«[32]. Empfohlen wird, bei der Erstellung von Editionen digitale Werkzeuge zu verwenden und die Textdaten in digitaler Form zu sichern und bereitzustellen, aber »[n]icht für jedes Editionsprojekt wird eine digitale Veröffentlichtungsform erwartet«[33]. An anderer Stelle wird ein wesentlicher Unterschied zwischen gedruckten und digitalen Editionen angenommen. Die Kriterien des Instituts für Dokumentologie und Editorik sind in dieser Hinsicht streng: »›Digitale Editionen‹ werden nicht nur in digitaler Form publiziert, sondern folgen in ihrer Methodologie einem digitalen Paradigma. […] Retrokonvertierte gedruckte Editionen oder vertiefende Digitalisierungs- und Erschließungsprojekte in Bibliotheken und Archiven überschreiten oft nicht die Schwelle zu ›digitale Editionen‹ im hier verwendeten Sinne.«[34]

Die Ziele der Evaluation digitaler wissenschaftlicher Editionen können also sein: Zu überprüfen, ob Konzepte und Pläne förderungswürdig sind; bei laufenden Vorhaben zu unterstützen und zu beraten; wissenschaftliche Leistungen festzustellen und zu beurteilen; überhaupt festzustellen, ob eine digitale Ressource eine digitale wissenschaftliche Edition ist und damit auch in eine theoretische und methodische Diskussion um das Wesen, die Grenzen und die Entwicklung des Gegenstandes einzutreten; die Erstellung digitaler Editionen zu fördern. Strenge Kriterien, was die Wissenschaftlichkeit und Digitalität von Editionen betrifft, sollten nicht in erster Linie als Ausschlussprinzipien und exklusive Merkmale angesehen werden, sondern als ein Angebot von Vorschlägen, die bei einer Evaluation als Leitfaden dienen und bei der Erarbeitung einer digitalen Edition eine Orientierung bieten können. Denn nicht alle wissenschaftlichen Editionen werden bereits in digitaler Form erstellt. Kriterien und Evaluationen sollen auch dazu beitragen, das Vertrauen in digitale Editionen zu stärken und die Überführung grundlegender historischer Texte und Objekte in digitale Repräsentationen zu fördern.

Werden Bewertungen wie ausgefüllte Fragebögen, Rezensionen und Gutachten gesammelt und veröffentlicht, können sie dazu beitragen, einen Eindruck vom Stand der Dinge in der digitalen Editorik zu vermitteln. Noch systematischer gelingt dies mit Katalogen, die eine Vielzahl digitaler Editionen erfassen und einordnen. Solche Übersichten können selbst wieder den Bedarf an Evaluation sichtbar machen, wenn sie zeigen, in welchen Bereichen es noch nicht viele digitale Editionen gibt oder wo es – reduziert auf die erfassten Charakteristika der Editionen – Verbesserungsmöglichkeiten gibt.

Die folgenden Abbildungen basieren auf dem Katalog »Digital Scholarly Editions«[35]. Abbildung 1 zeigt die jährliche Anzahl neuer digitaler wissenschaftlicher Editionen, die im Katalog erfasst wurden. Insgesamt sind dies aktuell 391 Editionen. Es ist zu berücksichtigen, dass insbesondere die geringen Zahlen in den letzten Jahren darauf zurückzuführen sind, dass vom Herausgeber des Katalogs noch nicht alle neuen Editionen aufgenommen werden konnten. Einer groben Schätzung zufolge werden etwa 100 weitere Editionen vorliegen, weshalb die folgenden Interpretationen durch weitere Daten zu stützen wären und nur eine erste Annäherung darstellen können. Erkennbar ist, dass die Zahl neuer Editionen vor allem in den 90er Jahren kontinuierlich und deutlich angestiegen ist, dass dieser Trend aber ab dem Jahr 2000 nicht in gleicher Weise angehalten hat. Erwähnenswert ist auch, dass sich bei über 20 Editionen keine Angabe zum Erstellungsdatum oder dem Datum der letzten Änderung ausmachen ließ. Wenn digitale wissenschaftliche Editionen zitierfähig sein sollen und Zweifel an ihrer Wissenschaftlichkeit und Verlässlichkeit ausgeräumt werden sollen, ist das ein Missstand, auf den Evaluationen hinweisen müssen.

Abb. 1: Anzahl neuer digitaler wissenschaftlicher Editionen nach Jahren.

Abb. 2: Gesamtzahl digitaler wissenschaftlicher Editionen nach Fachbereichen und Jahren.

Abb. 3: Anteile digitaler wissenschaftlicher Editionen nach Art des edierten Materials.

Abbildung 2 zeigt die Gesamtzahl digitaler wissenschaftlicher Editionen nach Fachbereichen und Jahren. Den Katalogauswertungen zufolge kommt der Großteil der digitalen Editionen aus der Literatur- und Geschichtswissenschaft, was zu dem Eindruck passt, dass besonders in diesen Fachbereichen eigene Best Practices und Guidelines formuliert werden bzw. ihre Erarbeitung von diesen Fächern ausgeht.[36] Abbildung 3 veranschaulicht die Anteile an Editionen nach Art des edierten Materials. Gab es mehrere Zuordnungen, so wurde hier nur die jeweils erste berücksichtigt. Insgesamt zielen etwas mehr als 40% der Editionen auf einzelne oder gesammelte Werke, während etwa 55% dokument- oder objektzentriert sind.[37] Hier könnte noch näher untersucht werden, ob es Tendenzen im Zeitverlauf gibt. Die Auswertungen deuten an, welche Bereiche der digitalen Editorik – gemessen an der Zahl der entstandenen Editionen – bisher den Schwerpunkt ausmachen und wo der Raum für Entwicklungen – auch von Empfehlungen für Ersteller digitaler Editionen, Gutachter und Rezensenten – noch größer ist. Wenn das kulturelle Erbe in den nächsten Jahrzehnten umfassend digital gespeichert, verwaltet und zugänglich gemacht werden soll, ist es zentral, die Erstellung digitaler wissenschaftlicher Editionen zu fördern und ihre Qualität durch Evaluationen zu sichern.[38]

3. Kriterien zur Bewertung digitaler Editionen

Welche Kriterien sollten bei der Bewertung von digitalen Editionen angesetzt werden?
Es soll an dieser Stelle nicht darum gehen, Kriterien aus bestehenden Katalogen vollständig aufzuführen oder neue Kriterien zu entwickeln. Die Hauptbereiche der Bewertung, wie sie sich aus der Gliederung von Kriterienkatalogen ableiten lassen, sollen skizziert und an zwei Beispielen soll eine visuell unterstützte Analyse von Kriterienarten vorgenommen werden. Das Ziel ist, diejenigen Kriterien auszumachen, die für digitale Editionen spezifisch sind.

Bei allen ›Guidelines‹ wird deutlich, dass das Bewerten digitaler wissenschaftlicher Editionen auf der einen Seite zu einem großen Teil mit dem Bewerten wissenschaftlicher Editionen gleichzusetzen ist und auf der anderen Seite mit dem Bewerten digitaler (wissenschaftlicher) Ressourcen im Allgemeinen. Für die Frage nach der Besonderheit digitaler Editionen im Hinblick auf ihre Evaluation sind daher vor allem die Bereiche von Bedeutung, in denen »wissenschaftliche Edition« und »digitale Ressource« bei der Formulierung der Kriterien zusammenkommen. Dies kann als Hinweis darauf gedeutet werden, in welchen Bereichen die digitale wissenschaftliche Edition aus Sicht der Guidelines nicht nur die Summe ihrer Teile, sondern in ihrem Wesen integrativ ist.

Abbildung 4 zeigt den Kriterienkatalog des Instituts für Dokumentologie und Editorik (IDE) mit farblich hinterlegten Kriteriengruppen. Die blau hinterlegten Bereiche sind Kriterien, die generell auf wissenschaftliche Editionen anwendbar sind, die grünen solche, die allgemein auf digitale (wissenschaftliche) Ressourcen zutreffen und die orange eingefärbten Punkte solche, die speziell für digitale wissenschaftliche Editionen von Bedeutung sind. Der Katalog des IDE ist in die Bereiche »Präliminarien der Besprechung«, »Gegenstand und Inhalte der Edition«, »Ziele und Methoden«, »Umsetzung und Präsentation« und »Fazit« eingeteilt. Bis zum letzten Unterpunkt des dritten Abschnitts »Ziele und Methoden« treffen die zugehörigen Kriterien auf wissenschaftliche Editionen im Allgemeinen zu. Es geht z. B. darum, welche Relevanz die Edition für die Forschung haben kann, welche Materialien ausgewählt wurden, inwieweit es Vorarbeiten gab, welche Inhalte in der Edition angeboten werden, ob die Ziele und Methoden der Edition reflektiert und dokumentiert werden, wie mit den Texten umgegangen wird und inwieweit Texte und Dokumente kritisch erschlossen werden. Erst beim Punkt »3.7 Modellierung« wird der digitale Aspekt relevant, wenn nach dem Datenmodell, Datenformaten und Standards und insbesondere danach gefragt wird, wie die editorische Methodik technisch umgesetzt wird. Der Bereich »Umsetzung und Präsentation« besteht weitgehend aus Kriterien, die auf digitale (wissenschaftliche) Ressourcen allgemein anwendbar sind. Es gibt Fragen nach der technischen Architektur, der Benutzungsoberfläche, Referenzierbarkeit, Schnittstellen, Exportformaten, Grunddaten, Rechten und Lizenzen, dauerhaften Nutzbarkeit. Die in diesem Abschnitt des Katalogs für digitale Editionen spezifischen Kriterien fragen danach, wie die Inhalte der Edition (Abbildungen, Texte und darüber hinausgehende Zusammenstellungen wie Indices) im Digitalen aufbereitet sind und wie sie in der digitalen Oberfläche weiter erschlossen wurden, z. B. durch interne und externe Vernetzung und Metadaten. Es wird nach weiteren, »ungewöhnlichen« Funktionalitäten wie Visualisierungen und Kommentarfunktionen gefragt und danach, ob Dokumentation und Editionsrichtlinien in die Präsentation aufgenommen sind. Im Fazit kommen die verschiedenen Arten von Kriterien, die zuvor in eigenen Bereichen behandelt wurden, zusammen, wenn es um eine abschließende Bewertung der Wissenschaftlichkeit, Digitalität, der Zielstellungen, Methoden und Ergebnisse der Edition geht. Für digitale Editionen wesentlich sind vor allem die Punkte 5.1 und 5.4: »5.1 Terminologische Einordnung. Handelt es sich eigentlich um eine digitale (wissenschaftliche, kritische) Edition und in welchem Sinne? Wie würde man die Ressource präzise beschreiben? [...]«[39], »5.4 Spezifischer Beitrag der Edition? Welchen Beitrag leistet die Edition zum inhaltlichen Forschungsstand? Welchen Beitrag leistet sie zur methodischen Entwicklung und zur Etablierung von best practices digitaler Editionen? Inwiefern leistet die Edition mehr, als eine gedruckte Version leisten könnte?«[40]

Abb. 4: Kriterienkatalog des Instituts für Dokumentologie und Editorik mit farblich hinterlegten Kriteriengruppen.

Auch bei dem Katalog, den Yates als Grundlage für die Verleihung eines Preises für die beste digitale Edition / das beste digitale Archiv formuliert, kommen Kriterien zusammen, die auf wissenschaftliche Editionen im Allgemeinen, digitale Ressourcen im Allgemeinen und digitale wissenschaftliche Editionen im Speziellen zutreffen. Die Kriterien sind in die Bereiche »Criteria for Inclusion: Scholarly standards«, »Criteria for Inclusion: Field«, »Criteria for Inclusion: Technical«, »Judging Standards: Usability« und »Judging Standards: Usefulness« eingeteilt. »Scholarly standards« und »Field« beziehen sich auf wissenschaftliche Genauigkeit und Strenge, den Beitrag zur Forschung und den relevanten Fachbereich einer wissenschaftlichen Edition. Beim Abschnitt »Usability« geht es um eine heuristische Evaluation der Oberfläche aus Nutzersicht, ein Aspekt, der für digitale Ressourcen im Allgemeinen relevant ist. Die für digitale wissenschaftliche Editionen spezifischen Kriterien sind in den Abschnitten »Criteria for Inclusion: Technical« und »Judging Standards: Usefulness« zu finden: »it should go further than a print edition can go, taking full advantage of the capacities of its medium«[41]. Die Edition sollte für das digitale Medium konzipiert worden sein, »live links« und Markup verwenden und vollständig im Web verfügbar sein. Gefragt wird danach, wie sich die digitale Edition zur neuesten Druckausgabe verhält, inwiefern sie interdisziplinäre Forschung und Lehre unterstützt, was ihre hervorragenden Merkmale sind und inwiefern die technischen Entscheidungen auf die ›Bedürfnisse‹ des Textes abgestimmt sind: »how does the medium contribute to the message of this work? […] The most difficult factor of evaluation is the fit of the material with the form of its digital edition. This question is not just a matter of whether the edition has taken advantage of every available technological option, but of the sensitivity shown by the editors to the philological demands of the text in making decisions about markup policy«[42]. Es wird auf das Spannungsverhältnis zwischen dem Streben nach ›individueller Spezifizität‹ in den Geisteswissenschaften und dem Streben nach Einheitlichkeit in der Technologie hingewiesen: »A good digital edition should walk this line in ways that are sensitive to its subject matter«[43].

Abb. 5: Kriterien zur Bewertung digitaler Editionen nach Yates mit farblich hinterlegten Kriteriengruppen.

Aus der Betrachtung der beiden Kriterienkataloge kristallisieren sich folgende Aspekte als ›wesentlich‹ für die digitale wissenschaftliche Edition heraus: (1) Ein grundlegender Bestandteil ist die digitale Modellierung und Codierung der Texte bzw. die erschließende Repräsentation des Editionsgegenstandes, die zunächst unabhängig von der medialen Präsentation ist. In der Textcodierung schlagen sich theoretische Haltungen und methodische Herangehensweisen nieder und wird sichtbar, inwieweit das Konzept der Edition stimmig ist. (2) Ein weiterer wesentlicher Aspekt ist ein möglichst innovativer Umgang mit dem digitalen Medium, insbesondere in der Gestaltung der Editionsoberfläche und ihrer Präsentation. Erneuerung und Experimentalität sind hier ein Standard, eine Best Practice, wenn Bewertungskriterien diese einfordern. Diese eigentliche Unvereinbarkeit ist den Autoren der Richtlinien aber bewusst, wenn sie darauf hinweisen, dass die Standardisierung an dieser Stelle in Konflikt mit neuen Ansätzen steht und dass auch die Kriterien selbst immer wieder diskutiert werden müssen, dass manches (noch) nicht standardisiert ist und einige Standards sich (noch) ändern.[44] Die spannende Frage ist, ob das ›Ausreizen‹ des Mediums ein wesentliches Merkmal digitaler Editionen bleiben wird oder ob es sich um eine Übergangsphase hin zu stabilen Modellen handelt.[45] (3) Im Markup und in der Präsentation sollten Inhalt und digitale Methode nicht unabhängig voneinander, sondern sinnvoll aufeinander bezogen sein.

4. Rezensionen als Evaluationsform

Die Bewertungskriterien, die aus theoretischen und methodischen Erwägungen heraus formuliert sein mögen und auch auf einem bestimmten praktischen Erfahrungsstand mit digitalen Editionen basieren können, treten erst durch ihre Anwendung in direkten Kontakt mit dem Gegenstand, für dessen Evaluation sie geschaffen wurden. Mit der Evaluation kann dann nicht nur die Edition diskutiert werden, sondern auch die Kriterien, so dass konkrete Bewertungen als Mittler zwischen Theorie und Praxis, zwischen Standards und individuelle Umsetzungen treten können.

Es wurden bereits verschiedene mögliche Formen der Evaluation genannt. Rezensionen, ›Reviews‹, stellen eine Möglichkeit dar, auf die hier kurz eingegangen werden soll. Aus dem Englischen kommend kann das Review allgemeinsprachlich die Handlung des genauen Betrachtens und Untersuchens von etwas sein, im Hinblick auf die Qualität des Betrachteten, aber auch auf seinen allgemeinen Zustand. Es kann zugleich Ausdruck und Niederschlag der Meinung sein, die sich jemand zur Qualität von etwas gebildet hat oder eine Zeitschrift, die Gedanken und Meinungen zu etwas versammelt. Das Präfix »re« darauf hin, dass man zu etwas zurückkehrt, sich einer Sache erneut zuwendet. Werden digitale Editionen in Rezensionen besprochen, so bedeutet dies also eine genaue Inspektion des Forschungsergebnisses, jedoch mit einer klaren individuellen Position, die von den Rezensenten bezogen wird und in die Bewertung einfließt. Angesichts des Aufkommens von Richtlinien, Fragebögen und weiteren formalisierten Zugängen zur Bewertung von digitalen Editionen sind individuelle Besprechungen wichtig, damit es nicht zu schematischen Bewertungen kommt, die eine Weiterentwicklung der Editionsmethoden oder der Evaluationsformen und -prinzipien selbst verhindern könnten. Die stärker geregelten Ansätze stellen zwar einen wichtigen Rahmen dar, der eine Etablierung von Best Practices für die digitale Editorik fördert, doch sollten Evaluationen sich nicht beispielsweise im Ausfüllen von Fragebögen erschöpfen, bei denen Bewertungskategorien und gegebenenfalls auch verschiedene Antworten vorgegeben sind. Eine Kombination und ein Wechselspiel verschiedener stärker und weniger stark formalisierter Evaluationsmethoden bietet sich an, um sowohl eine Festigung als auch Reifung der Methoden und Praxis des digitalen Edierens zu ermöglichen.

Traditionell ist die Rezension eine freie Form: »Häufig ist die Klage zu vernehmen, das Rezensieren kenne im Grunde keine Regeln und kein Gesetz. Allgemein anerkannte Programme oder Partituren, die rezensive Kritik verbindlich leiten könnten, existieren in der Tat nicht.«[46] Wenn Rezensionen von digitalen Editionen auf Katalogen mit Bewertungskriterien aufbauen, könnte das dazu führen, dass sich auch die Praxis des Rezensierens und die Rezension als Textsorte verändern, hin zu einem geregelteren und schematischeren Aufbau. So werden die Rezensionstexte in der vom IDE herausgegebenen Rezensionzeitschrift ride jeweils von einem sogenannten Factsheet begleitet, in dem die wichtigsten Fakten zu der besprochenen Edition noch einmal tabellarisch und überblicksartig zusammengefasst sind.[47] Die strukturierten Informationen zur digitalen Edition werden mit einem ausführlichen Fragebogen erhoben. Die Ergebnisse der bisher 25 ausgefüllten Fragebögen werden auf der Webseite von ride zusätzlich in Form von Datenvisualisierungen ausgewertet und präsentiert, z. B. zu den Fragen, ob die Editionen Resolver verwenden, wie das edierte Material lizenziert ist, ob Standards wie TEI verwendet werden, die Grunddaten zugänglich sind und welche Browsing-Zugänge die Editionsoberflächen bieten. Die Rezensionen werden also von formalen Darstellungen und Auswertungen begleitet. Um die Diskussion der digitalen Editionen nicht zu sehr anzuleiten und einzuengen, sollte darauf geachtet werden, dass der regelnde Einfluss der formalisierten Begleitmaterialien auf die Besprechungen in Textform nicht zu groß wird.

Eine weitere Eigenschaft der Rezensionen, die möglicherweise einem Wandel unterliegt, ist ihre Länge. Hat die Art des besprochenen Gegenstands Einfluss auf den Umfang der Rezensionen? Leider liegen nur wenige Daten für Rezensionen zu digitalen Editionen und digitalen Projekten insgesamt vor, so dass die Entwicklung des Umfangs von Rezensionen ebenso wie die Entwicklung der Anzahl digitaler Editionen nur tentativ erfolgen kann. Um einen Eindruck zu gewinnen, wird hier der Umfang der Rezensionen in ride und dem DHCommons Journal (DHCJ) mit demjenigen von Rezensionen aus dem Romanistischen Jahrbuch (RJb), der Zeitschrift für Germanistik (ZfG) sowie der Jahrgänge 1986, 1996 und 2016 aus der Internationalen Bibliographie der Rezensionen geistes- und sozialwissenschaftlicher Literatur (IBR-Online) verglichen. Die Auswahl der beiden Zeitschriften (RJb und ZfG) ist willkürlich getroffen. Die Untersuchung ließe sich auf weitere Zeitschriften ausweiten. Die Daten für das RJb und die ZfG stammen wie die übrigen bibliographischen Daten, die zum Vergleich mit ride und dem DHCJ herangezogen werden, aus der IBR. In IBR-Online werden bibliographische Metadaten zu Rezensionen in den Geistes- und Sozialwissenschaften ab 1983 erfasst. Aktuell werden 6.200 Zeitschriften indiziert. Für das IBR insgesamt wurden die Jahrgänge 1986, 1996 und 2016 ausgewählt, um Stichproben für die Entwicklung der Länge von Rezensionen zu erhalten. Es wurden jeweils die ersten 1000 Rezensionen aus diesen Jahrgängen berücksichtigt. Um die Länge der Rezensionen zu ermitteln, wurden die Seitenumfänge herangezogen. Einträge mit Umfängen bis 47 Seiten wurden als Rezensionen gewertet. Einträge ab 48 Seiten wurden als Monographien gewertet und nicht einbezogen. Da es bei ride und dem DHCJ keine Seitenangaben gibt, wurde dort ausgehend von den Volltexten und auf der Grundlage einer Normseite à 1500 Zeichen ein Seitenumfang berechnet, um einen Vergleich mit den Angaben aus der IBR zu ermöglichen. Abbildung 6 und 7 zeigen die Ergebnisse für die Mittelwerte und Mediane der Seitenumfänge der Rezensionen in den verschiedenen Datensätzen:

Abb. 6: Länge von Rezensionen in Seiten (Mittelwert).

Abb. 7: Länge von Rezensionen in Seiten (Median).

In beiden Abbildungen wird deutlich, dass die Rezensionen in ride deutlich länger sind als in den anderen Zeitschriften. Ein deutlicher Trend hin zu längeren Rezensionen für digitale Ressourcen im Vergleich zu Rezensionen zu gedruckten Publikationen lässt sich so nicht begründen, nicht nur wegen der wenigen vorliegenden Daten zu Rezensionen, die digitale Forschungsergebnisse zum Gegenstand haben. In ride liegen derzeit 25 Rezensionen vor, beim DHCJ sind es nur 14. Im Vergleich dazu wurden hier aus dem RJb 452 Rezensionen berücksichtigt, aus der ZfG 1.918 und aus den Jahren 1986, 1996 und 2016 jeweils 1000. Es ist außerdem nicht klar, wie viele der im Online-IBR erfassten Rezensionen digitale Ressourcen besprechen. Wird der Median als Vergleichsmaß angesetzt, dann liegt neben ride auch das DHCJ vor den anderen Gruppen, der Mittelwert dagegen ist insbesondere für die ZfG, aber auch das RJb und den Jahrgang 1986 höher. Ob ride den Umfang der Rezensionen betreffend ein Einzelfall ist, wäre näher zu untersuchen, sobald mehr Rezensionen zu digitalen Editionen aus anderen Publikationsorganen zugänglich sind.

Die Rezensionen in ride unterscheiden sich von ›klassischen‹ Rezensionen darüber hinaus auch dadurch, dass sie vor der Veröffentlichung einen Peer-Review-Prozess durchlaufen.[48] Das Peer Review soll dazu beitragen, die Rezensionen in die Nähe von wissenschaftlichen Aufsätzen zu rücken. Neben der Qualitätssicherung und Verbesserung der digital veröffentlichten Rezensionen hat das Peer-Review die Funktion, die Rezensenten durch das Feedback von ›peers‹ aus dem jeweiligen Fachbereich und den digitalen Geisteswissenschaften darin zu unterstützen, sowohl inhaltliche als auch technische Aspekte evaluieren zu können. Hier wäre natürlich auch ein Ansatz denkbar, bei dem mehrere Autoren Rezensionen verfassen, wie es bei DHCommons der Fall ist. Auch könnte man kritisieren, dass durch ein »Reviewing von Reviews« mit aller (übertriebener?) Kraft versucht wird, die Zweifel an der Wissenschaftlichkeit digitaler Veröffentlichungen auszuräumen. Es muss aber auch gesagt werden, dass solche Initiativen prinzipiell begrüßt werden sollten, da die verschiedenen Ansätze zur Evaluation digitaler Editionen im Moment noch Experimente sind.

Dadurch, dass Rezensionen in Zeitschriften veröffentlicht werden, haben sie z. B. internen Bewertungen oder Diskussionen in sozialen Medien gegenüber den Vorteil, dass die Begutachtungen für andere leichter auffindbar, nachvollziehbar und nachnutzbar sind. Die Rezensionen geben einen bestimmten Diskussionsstand wieder. Sie können von den Erstellern digitaler Editionen als Anregung dafür genutzt werden, die Edition noch zu verbessern – unter Umständen könnten die Rezensionen dann sogar wiederholt werden – und anderen als Inspiration für eigene, geplante Vorhaben dienen. Sie bieten als prinzipiell freie Textform Raum für die Auslegung, Diskussion und Anwendung von Evaluationskriterien und für eine Kontextualisierung. Wie in anderen Fachbereichen auch, ist der Blick zurück, das ›re-view‹, ein sinnvoller Ansatz, um zur weiteren Entwicklung des immer noch jungen Feldes der digitalen Editorik beizutragen.

5. Fazit

Die Betrachtung der Zielstellungen, Herausforderungen, Problemfelder und Lösungsansätze zur Evaluation digitaler Forschungsergebnisse insgesamt hat deutlich werden lassen, dass in diesem Themenbereich sowohl theoretisch als auch praktisch noch viel zu leisten ist. Ergebnisse dieses Beitrags sind, dass eine Bewertung durch mehrere Personen mit unterschiedlichen Kompetenzen sinnvoll sein kann oder Evaluatoren auf andere Weise unterstützt werden sollten, damit sowohl inhaltliche als auch methodische und technische Aspekte in Evaluationen einfließen können. Best Practices, Guidelines und Kriterienkataloge, die zunehmend entwickelt werden, unterstützen den Bewertungsprozess auf sinnvolle Weise. Sie können Gutachter, die über Disziplinengrenzen hinweg Evaluationen vornehmen müssen, zur Orientierung dienen. Kriterien können, wenn sie zu spezifisch formuliert werden, zugleich problematisch sein, da sie einen bestimmten methodischen Entwicklungsstand als Best Practice fixieren. Sie müssen daher selbst fortlaufend diskutiert werden.

Damit digitale Forschungsergebnisse aller Art auf allen Ebenen und in allen Facetten bewertet werden können, die sie ausmachen, sind Dokumentation, Transparenz und Offenheit von Seiten der Wissenschaftler wesentlich. Nur so können neben Präsentationsformen auch Forschungsdaten, Textcodierungen, in Projekten entwickelte Werkzeuge und Programmteile evaluiert werden, wenn diese entscheidend zum Wesen und der Gestalt der Edition beitragen. Ein bewusstes Publizieren von Teilergebnissen kann das Signal für die Beurteilungsfähigkeit digitaler Arbeiten geben. Eine Konzentration auf die Bewertung von Ergebnissen gegenüber Praktiken ist sinnvoll: Wenn beispielsweise Tools selbst Ergebnisse der Forschung in einem Editionsvorhaben sind, wären sie Gegenstand einer Rezension, während der Einsatz bestehender Tools zur Gewinnung von Ergebnissen als Praktik gewertet würde. Praktiken könnten eher im Rahmen von Gutachten zu Projektanträgen, also mit Blick auf die Zukunft, bewertet werden, oder in Form von Beratungen im Projektverlauf, sind ansonsten aber schwer zu erfassen, weshalb für Rezensenten die Beurteilung der publizierten Ergebnisse im Vordergrund stehen sollte. Praktiken würden nur im Sinne eines dokumentierten methodischen Vorgehens, welches Teil von publizierten Ergebnissen sein kann und sollte, in das Blickfeld von Rezensionen rücken. Digitale wissenschaftliche Editionen müssen den grundsätzlichen Anforderungen an wissenschaftliche Editionen genügen und unterscheiden sich in dieser Hinsicht nicht von gedruckten wissenschaftlichen Editionen. Als digitale Ressourcen haben digitale wissenschaftliche Editionen Vieles mit anderen Arten digitaler Forschungsergebnisse (wie z. B. digitale Archive oder digitale Tools) gemeinsam. Trotzdem sind für die Evaluation und insbesondere das Reviewing von digitalen wissenschaftlichen Editionen auch eigene Bedarfe und Kriterien auszumachen. Die Kriterien betreffend kann diskutiert werden, ob nicht für verschiedene Arten von digitalen wissenschaftlichen Ressourcen auf allgemeine Richtlinien verwiesen werden kann und Kriterien für einzelne Fachbereiche, bestimmte Arten von Ressourcen und bestimmte Gegenstände sich auf das jeweils Spezifische konzentrieren. Für digitale Editionen spielt die Repräsentation des edierten Gegenstandes in digitalen Daten eine besondere Rolle, z. B. in Form einer Textcodierung: Ist sie durchdacht und angemessen? Auf der anderen Seite ist wesentlich, wie die Edition sich digitale Präsentationsformen zunutze macht. Hier kann besonderer Wert auf Innovation gelegt werden, vor allem aber ist auch bei der Entwicklung von Benutzungsoberflächen entscheidend, dass Inhalt und Form gut aufeinander abgestimmt sind.

Digitale Editionen zu besprechen und zu bewerten trägt zur praktischen Weiterentwicklung und Etablierung des Edierens im digitalen Medium bei. Die Erstellung digitaler Editionen wird gefördert, die Qualität der entstehenden Editionen gesichert, gute Umsetzungen hervorgehoben und die Möglichkeit gegeben, aus Fehlern zu lernen. Wenn Evaluationen einzelne digitale Editionen diskutieren und einordnen, führt dies zugleich zu einem fortwährenden Diskurs zur Definition der ›digitalen Edition‹ und zu den Methoden und Zielen des digitalen Edierens.

Erfolgt die Evaluation wissenschaftlicher Ergebnisse im digitalen Medium und bezieht sie sich auf digitale Forschungsergebnisse, unterliegt sie selbst einem medial induzierten Wandel. Dies wurde am Beispiel der Rezension als Evaluationsform aufgezeigt. Rezensionen tendieren (zumindest im Fall von ride) zu mehr Umfang, orientieren sich an Kriterienkatalogen, folgen diesen unter Umständen in ihrer inhaltlichen Struktur und werden von formalen Auswertungen wie Datenvisualisierungen begleitet. Trotzdem ist die Rezension als narrative Textform, die offen gestaltet werden kann, besonders geeignet, um zwischen Theorie, Methodik und Empirie der digitalen Edition zu vermitteln und vor allem auch ein gutes Gegengewicht zu Kriterienkatalogen zu bilden, die zu einer Formalisierung und Festschreibung von Bewertung und Bewertungsmaßstäben tendieren. Rezensionen bleiben als Evaluations-Use Cases für andere zugänglich und nachvollziehbar. Während auch neue Formen der Evaluation entstehen, ist es zunächst sinnvoll, auf ein etabliertes Verfahren wie die Rezension zurückzugreifen, bei dem Produktion und Rezeption eingespielt sind, um so die Diskussion über die im Digitalen entstehenden Forschungsergebnisse in Gang zu bringen.

Schließlich kann festgehalten werden: Wenn digitale Forschung und ihre Ergebnisse und insbesondere das digitale Edieren als Methode noch nicht sehr etabliert sind, so gilt das für ihre Evaluation erst recht, weshalb die Diskussion möglicher Ansätze essentiell ist. Zugleich sollte es mehr Bewertungen digitaler Arbeiten geben, um deren Reputation zu fördern und zur Stabilisierung des Feldes beizutragen.