1.1 Klang und Information

Dieser Aufsatz widmet sich dem rätselhaften Verhältnis zwischen Klang und Information. Rätselhaft deshalb, weil zunächst keine offensichtliche Relation zwischen der meist als konkret und persistent wahrgenommenen Information und dem transitorischen, oft als unkonkret empfundenen Klang besteht. Im kulturellen Alltag jedoch sind beide in einer engen Beziehung anzutreffen. Wir kennen dies beispielsweise vom Wechselspiel zwischen lesbarer Notenschrift und erklingender Musik: Information und Klang stehen dabei in einem Verhältnis, das durch die allgemeine Musiklehre konventionell definiert ist. Beispielsweise können wir der allgemeinen Konvention entnehmen, dass der Ton d′′ im Violinschlüssel auf der zweiten Notenlinie von oben notiert wird, der Ton h′ hingegen auf der dritten. Ähnlich dazu bestehen Übertragungsregeln für Zeitmaße, für Lautstärke, Klangerzeugung, Ausdrucksweise und viele andere Parameter, die sich auf Basis der klassischen Musiknotation in horizontalen Systemen herausgebildet haben. Auch wenn dieses Verhältnis nicht im mathematischen Sinne eineindeutig (bijektiv), also nicht in beide Richtungen eindeutig abbildbar ist, gelingt es häufig, aller Übertragungs-Unschärfen und interpretationsabhängigen Abweichungen zum Trotz, aus einer musikalischen Notation ein wiedererkennbares akustisches Abbild zu erzeugen. Der Gewohnheit nach bezeichnen wir dies als Musizieren und schreiben diesem eine enorme kulturelle und gesellschaftliche Bedeutung zu. Zusammengefasst heißt das: Um aus schriftlich fixierten Informationen Klänge abzuleiten, werden zunächst einige Regeln befolgt, und diese in eine akustische Form gebracht, die den instrumentalen und räumlichen Umständen sowie der Erwartung der potenziellen Rezipienten angemessen ist.

1.2 Eine Analogie: Visualisierungen

Alternative Abbildungsverfahren von Informationen, insbesondere unter dem Schlagwort Visualisierungen, sind in den digitalen Geisteswissenschaften derzeit en vogue. Es gilt, neue Abbildungsverfahren zu erproben, die alternative Sichtweisen auf Daten eröffnen und neue Lesarten ermöglichen. Längst gehen die verfügbaren Verfahren weit über die konventionellen Schemata wie Globus, Kalender und Diagramm hinaus. Jüngst richtete sich das Interesse zum Beispiel auf Beziehungsgeflechte und multidimensionale Darstellungen, also solche, in denen strukturelle oder qualitative Parameter, die über rein metrische Dimensionen hinausgehen, abgebildet werden können. Spätestens die 3. DHd-Jahrestagung mit dem Titel Modellierung. Vernetzung. Visualisierung 2016 in Leipzig hat ein zentrales Desiderat verdeutlicht: Es genügt nicht, komplexe Daten in Strukturen einzufassen, sondern die dabei entstehenden Relationen sind auch auf möglichst anschauliche, also der menschlichen Wahrnehmung angemessenen Weise einer Auswertung zuzuführen. Dies fördert sowohl neue Erkenntnisse als auch neue Fragestellungen zutage.

Die Erzeugnisse dieser kreativen Datenverarbeitung sind vielfältig und die Algorithmen ihrer Generierung lediglich durch die menschliche Vorstellungskraft begrenzt. Zum Teil erreichen Visualisierungen sogar künstlerische Qualität, wie beispielsweise das Postkarten-Projekt Dear Data von Giorgia Lupi und Stefanie Posavec zeigt: Die Autorinnen verarbeiteten alltägliche Erfahrungen in handgezeichneten, narrativen Diagrammen. Lupi / Posavec 2015. Der Erkenntniswert dieser Abbildungen ist vielfach noch auszuloten, da das ›Lesen‹ in solchen Grafiken bislang nur ansatzweise kultiviert ist. Doch sind Visualisierungen das beste Beispiel dafür, dass derzeit ein großes Interesse an der Erschließung alternativer Erkenntnismethoden besteht. Dabei drängt sich die Frage auf, ab welchem Punkt die Nutzung des Sehsinns an ihre Grenzen stößt und zusätzliche Mittel notwendig sind, um komplexe Zusammenhänge angemessen oder noch umfassender erfahrbar zu machen.

Anknüpfend an die einleitenden Überlegungen zum Verhältnis zwischen Klang und Information stellt sich die Frage, ob es denkbar ist, das Prinzip der Visualisierung – also aus Information erfahrbare Bilder zu generieren – in den akustischen Bereich zu übertragen. Das hieße, aus Informationen erfahrbare Klänge zu erzeugen. Derartige ›Sonifikationen‹ wären dann, analog zu Visualisierungen, mögliche Darstellungsformen von Information, die nach vorher bestimmten Regeln chiffriert und entsprechend auch dechiffrierbar sind. Der vorliegende Beitrag erkundet dieses Thema aus der Sicht der digitalen Geisteswissenschaften und möchte dessen Potenziale sichtbar machen, um einen Impuls für die Erprobung dieses alternativen Verfahrens zu geben und endlich auch die Möglichkeiten des Hörsinns für die Datenexploration auszuschöpfen.

Seit einigen Jahren wird in den Naturwissenschaften bereits ein alternativer Ansatz verfolgt, der Informationen nicht grafisch, sondern akustisch umsetzt. Dieses Verfahren nennt sich ›Sonifikation‹. Dabei geht man davon aus, dass der Hörsinn in vielen Fällen ein hohes Potenzial besitzt, zum Sehsinn komplementäre Informationen auf einfache Weise zu vermitteln. Grond / Schubert-Minski 2009; vgl. auch Hermann et al. 2011, S. 3. Dieses Zitat weist zum einen auf die Chancen hin, die in der gegenseitigen Ergänzung verschiedener Verfahren liegen und deutet zum anderen an, dass die Möglichkeiten der Sonifikation noch längst nicht ausgelotet sind.Vgl. Schoon / Volmar 2012, S. 14. Deshalb eröffnet die Erkundung von Sonifikationsverfahren die Möglichkeit, der Dominanz der Visualisierungen eine Alternative gegenüber zu stellen und den Weg für eine weitere methodische Diversifizierung zu beschreiten.

1.3 Qualitäten des Gehörs

Vergleicht man die Qualitäten der Wahrnehmungskanäle, wird schnell deutlich, dass die menschliche Wahrnehmung allgemein durch den Sehsinn dominiert wird. In der Biologie ist dafür der Begriff ›Leitsinn‹ geläufig. Als ›wahr‹ gilt vorrangig, was man ›mit eigenen Augen‹ sieht: das geschriebene Wort, eine Zeichnung, eine Fotografie. Zwar dient der Hörsinn nicht minder dem Erkenntnisgewinn, wird in dieser Hinsicht aber häufig geringer eingeschätzt.sonification violates established customs of scientific data display and thus makes evident how much is taken as self-evident about what constitutes an acceptable way of representing scientific data. Supper 2012, S. 250; vgl. außerdem die Erläuterungen zu verschiedenen listening modes in Hermann 2011, S. 400. Das gesprochene Wort ist flüchtiger, unverbindlicher als das Schwarz auf Weiß geschriebene, verbürgte Wort. Zudem: Beim Hören von Klängen sind emotionale Kanäle stärker beteiligt, weshalb es als stark subjektiv geprägt und weniger erkenntnismächtig angesehen wird.Vgl. dazu den Kommentar zur Two Cultures Debate in Barrass / Vickers 2011, S. 152, dort auch Fußnote 6. Transitorität und Subjektivität prägen landläufig den Charakter des Hörens; so bestätigte eine Studie des University College London, dass auditive Medien wie Hörbücher deutlich stärkere emotionale und physiologische Reaktionen hervorrufen als entsprechende Videos (Richardson et al. 2018). In dieser dichteren neuronalen Verschaltung kann durchaus ein vielleicht zu selten in wissenschaftlichen Kontexten genutzter Vorteil liegen.

Ein analytisches Hören, das Klangstrukturen identifizieren und diskriminieren kann, ist erlernbar, dem Anschein nach jedoch ausgebildeten Musikern oder Sounddesignern und somit nur einer bestimmten Gruppe vorbehalten (die dem Anschein nach sonderbegabt, aber vor allem gut trainiert ist). Dass akustische Herangehensweisen im Bereich der wissenschaftlichen Informationsvermittlung deshalb keine Alternative gegenüber visuellen Methoden darstellen könnten, gilt es zu hinterfragen. Denn analytisches Hören ist grundsätzlich von jeder Person mit intaktem Gehör erlernbar und nicht nur ›Wunderkindern‹ vorbehalten. In der Tat ist das menschliche Gehör dem Sehsinn ebenbürtig oder in einigen Aspekten sogar voraus: Es kann eine Vielzahl an Parametern wie Tonhöhe, Lautstärke, Zeitproportionen, Klangqualität, Richtung und Entfernung von Schallquellen, auch verdeckten und nicht sichtbaren, gleichzeitig unterscheiden, und dies bei einer deutlich höhreren zeitlichen Auflösung. Die Übertragung auf die analytische Ebene erfordert lediglich etwas Übung. Darüber hinaus besitzt das Gehör die besondere Qualität, mehrere simultane Prozesse, beispielsweise verschiedene Stimmen, nicht nur wahrzunehmen und zu unterscheiden, sondern auch selektiv zu filtern (der sogenannte »Cocktailparty-Effekt«).

Das Gehör ist ein feingranularer Sinn auf allen Ebenen. Bereits geringfügige und insbesondere kurz aufeinanderfolgende Veränderungen eines Parameters kann es unmittelbar wahrnehmen, während beim Sehsinn mit einer biochemisch bedingten Latenz zu rechnen ist.Vgl. Wardle 1998, S. 442. Wardle weist darauf hin, dass dieser Nachteil vom Gehirn durch Antizipation teilweise ausgeglichen wird. Auch fließende Veränderungen – vom Auge häufig nicht wahrgenommen – erzeugen im Gehör eine unmittelbare Signalwirkung. Im Alltag sind deshalb zahlreiche Auditory Displays im Gebrauch, etwa der Warnpieper, der beim Einparken hilft und im Vergleich zu einer grafischen Darstellung eine deutlich stärkere Wirkung entfaltet. Insofern erfüllen Gehör und Sehsinn sehr unterschiedliche, oft sogar komplementäre Zwecke.

2.1 Definition

Die von der International Community for Auditory Display (ICAD) herausgegebene Definition der Sonifikation lautet:

Sonification [is the] use of nonspeech audio to convey information; more specifically sonification is the transformation of data relations into perceived relations in an acoustic signal for the purposes of facilitating communication or interpretation.Zitiert nach Schoon / Volmar 2012, S. 11.

Diese Definition betont die kommunikativen Eigenschaften, die Sonifikation trotz des Verzichts auf Sprache innewohnen. Die folgende Definition aus dem Sonification Handbook legt den Schwerpunkt hingegen auf die Reproduzierbarkeit der sonifizierten Informationen und zielt damit auf die wissenschaftliche Nutzbarkeit:

Sonification is the data-dependent generation of sound, if the transformation is systematic, objective and reproducible, so that it can be used as scientific method. Hermann 2008, S. 1. Dort findet sich außerdem eine Aufschlüsselung der kompakten Formulierung: »Any technique that uses data as input, and generates (eventually only in response to additional excitation or triggering) sound signals may be called sonification, if and only if (A) the sound reflects properties / relations in the input data. (B) the transformation is completely systematic. This means that there is a precise definition of how interactions and data cause the sound to change. (C) the sonification is reproducible: given the same data and identical interactions/triggers the resulting sound has to be structurally identical. (D) the system can intentionally be used with different data, and also be used in repetition with the same data.«

Sonifikationsverfahren werden innerhalb des Technologiezweigs Auditory Display seit den 1990ern erprobtVgl. Flowers 2005, passim. und haben das experimentelle Stadium längst hinter sich gelassen.

2.2 Verbreitung

Die bisher entwickelten Sonifikationen werden bereits zu diversen Zwecken eingesetzt,Vgl. Schoon / Volmar 2012, S. 12. darunter zur Auswertung von sehr großen Datenmengen (Big Data) oder komplexen Strukturen.Vgl. Kramer et al. 2010, passim. Dabei fällt auf, dass Sonifikation unter anderem in Physik, Meteorologie und Medizin (darunter auch Blindenleitsysteme) bereits auf fortgeschrittenem Niveau angewendet wird,So beispielsweise in der Publikationsliste des Sonification Lab am Georgia Institute of Technology. während die Methode in den Geisteswissenschaften in der Breite so gut wie gar nicht repräsentiert ist: Die internationale Tagung Digital Humanities 2017 verzeichnete lediglich einen einzigen Beitrag, der auditive Elemente als Analysemethode einsetzte.Vgl. Kaufman 2017, passim. Iain Emsley unternahm als einer der ersten den Versuch, Sonifikation im Bereich der Digital Humanities als Komplement zu Visualisierungen anzuwenden.Vgl. Emsley 2016, passim. Emsley und De Roure stellten in einem Aufsatz für das TEI Journal ein Verfahren zur Analyse von Shakespeares Hamlet vor.Vgl. Emsley / De Roure 2016, passim. Außerdem entstanden einige Sonifikationen im größeren Umfeld der Digital Humanities: Zu nennen sind Listen to Wikipedia Vgl. LaPorte / Hashemi 2013, passim. sowie Klang der Sterne und Sound of Sails (beide entstanden im Rahmen von Coding da Vinci 2016).Vgl. Coding da Vinci - Projekte 2016: Klang der Sterne; SOS – Sound of Sails. In der Summe bilden diese vereinzelten Sonifikationen immerhin einen kleinen Pool an Referenzen oder Ansatzpunkten für zukünftige Projekte.

2.3 Funktionen

Im Folgenden werden drei Bereiche erörtert, in denen Sonifikation besondere Stärken aufweist: Komplementarität, Höranalyse und Wissenschaftsvermittlung.

2.3.1 Komplementarität

Der Kultursoziologe Gerhard Schmied wies darauf hin, dass das Hören der wichtigste Ergänzungssinn zum Sehen ist.Vgl. Schmied 2016, S. 122. Häufig entsteht erst durch die Kombination von Wahrnehmungskanälen, die sehr unterschiedliche Funktionen erfüllen, eine sinnvolle Interpretation.Vgl. Madhyastha / Reed 1995, S. 45. Dies deutet auf das große Potenzial von Sonifikationen hin: Sie können Visualisierungen verstärken oder auch komplementär ergänzen. Dieses Prinzip kommt in der pädagogischen Wissenschaftsvermittlung bereits zum Einsatz: Wenn wir mehr ›Eingangskanäle‹ benutzen, erhöhen wir den Wirkungsgrad, mit dem wir Lerninhalte vermitteln.Vgl. Spinola 1988, S. 48. Außerdem erfordern komplexe Daten, wie sie in den digitalen Geisteswissenschaften oft vorliegen, eine angemessen komplexe Präsentation. Durch die Kombination von visuellen und auditiven Parametern, also durch Verteilung auf mehrere Wahrnehmungskanäle, kann grundsätzlich eine höhere Dichte an Information simultan dargestellt werden.

In der Komplementarität der Wahrnehmungskanäle liegt außerdem der Vorteil, dass visuelle und auditive Elemente nicht zwingend dieselben Prozesse abbilden müssen. Beispielsweise können zusätzliche Informationen durch eine Sonifikation abgespielt werden, während der Nutzer eine visuelle Schnittstelle bedient. In Computerspielen werden Soundeffekte und Musik oft dynamisch in Reaktion auf das Spielgeschehen erzeugt. In den digitalen Geisteswissenschaften könnten Datenbankanwendungen oder Editionen eine interaktive Klangspur erhalten. Des Weiteren können Sonifikationen für Personen mit eingeschränkter Sehfähigkeit einen explorativen Datenzugang bieten, wie er sonst nur über Visualisierungen gegeben ist. In der Sonification for Blind Users werden Stereo-Effekte für die Umsetzung der geographischen Dimension genutzt.Vgl. Zhao et al. 2005. Zu sonifizierten Interfaces für Sehbehinderte vgl. außerdem Wörtwein et al. 2016 sowie Spagnol et al. 2016. Interaktion ist somit aus sehr unterschiedlichen Gründen ein wichtiger Aspekt der Sonifikation.

2.3.2 Höranalyse

Höranalytische Vorgänge laufen weitgehend unbewusst ab. Um das Potenzial von Sonifikationen auszuschöpfen, gilt es zunächst, ein bewussteres analytisches Hören zu entwickeln: By engaging with the data in a process of analytic listening, patterns may emerge which are otherwise undetectable. Dombois / Eckel 2011, S. 307. Bereits Gottfried Wilhelm Leibniz konstatierte in seinem viel zitierten Ausspruch, dass Musik die verborgene Rechenkunst des seines Zählens unbewussten GeistesMusica est exercitium arithmeticae occultum nescientis se numerare animi, Brief von Gottfried Wilhelm Leibniz an Christian Goldbach vom 17. April 1712, vgl. Leibniz 1712, S. 241. sei. Und tatsächlich beruht der wissenschaftliche Erfolg von Sonifikationen häufig auf zufällig entdeckten Klangmustern, die sich nicht in das erwartete Schema fügten, und so den Blick auf ein bislang nicht berücksichtigtes Phänomen lenkten,Vgl. The Economist 2016, passim. wie es beispielsweise Robert Alexander bei der Analyse von Sonnenstürmen widerfuhr (mehr dazu im Abschnitt 3.2).Vgl. Frazier 2013: I heard some harmonics that sounded particularly strong and potentially interesting, but the group wasn’t looking at that data. Hier tut sich möglicherweise eine Parallele zur Metapher des Information Flaneur auf, der beim Wandern durch Datenlandschaften auf interessante Phänomene stößt.Vgl. Dörk et al. 2011, passim.

Potenzial ist deshalb auch in ›autonomen‹ Sonifikationen zu sehen, die nicht nur als Komplement einer visuellen Schnittstelle fungieren können, sondern auch als davon unabhängiger, exklusiv auditiver Datenzugang. Dies dient nicht nur Personen mit eingeschränkter Sehfähigkeit, sondern bietet auch die Chance, die analytischen Fähigkeiten des Gehörs auszuschöpfen, denn schließlich reagiert es auf gänzlich andere Reize als der Sehsinn und wird auf ganz andere Phänomene aufmerksam. Der Hörzugang ist allgemein noch nicht so stark vorstrukturiert, so dass (zumindest bislang) kaum Standardrezepte existieren, dafür aber umso mehr Spielraum für Experimente. Hier ist Geduld gefragt. Ein Klangmuster, das dem Hörer zunächst nicht ungewöhnlich erscheint, kann nach einem Lernprozess – möglicherweise schon beim zweiten Anhören – bereits ganz anders wahrgenommen werden. Eine Denkhürde besteht darin, eine Sonifikation zu entwerfen, die noch nicht auf bestimmte Wirkungen oder Erwartungen hin durchgestaltet ist, sondern sich zunächst mit der Aufgabe begnügt, eine klingende Repräsentation zu erzeugen, die vom Gehör dann zunächst rein akustisch – das heißt hier: ohne vordefinierte Begrifflichkeiten – analysiert werden kann.

2.3.3 Wissenschaftsvermittlung

Sonifikationen bergen laut Brad Rassler eine große Chance für die Wissenschaftsvermittlung: When the numbers become a soundscape, researchers can hear information that has escaped their eyes, and the music’s disposition can reveal the meaning of complex systems to nonscientists, often in a single sitting. Rassler 2016. In der Tat steckt darin eine weitere Stärke von Sonifikationen: Sie können Prozesse und Ereignisse, die mit dem Auge nicht wahrnehmbar sind, erfahrbar und dadurch zugänglich machen. Dies zielt weniger auf die Analyse von Daten als vielmehr auf den Einsatz von Sonfikationen für die mediale Präsentation.

Dies führt zum epistemologischen Aspekt der Sonifikation: Was müssen Sonifikationen leisten, um als objektiv gelten zu können? Grundsätzlich ist eine objektive Metrisierung durch einen Sonifikationsalgorithmus gegeben. Solange der Algorithmus dokumentiert ist und die zugrundeliegenden Daten ebenfalls verfügbar sind, bleibt die Sonifikation reproduzierbar und transparent. Eine Sonifikation macht die Daten jedoch nicht wie in einem Diagramm ablesbar, sondern übergibt sie zur Analyse an das Gehör. An dieser Stelle interferieren häufig die ästhetischen Erwartungen des Nutzers.

In der Tat besitzen Sonifikationen aufgrund ihrer Nähe zur Musik einen besonderen Hang dazu, in einer nicht näher festgelegten Art und Weise ästhetisch oder zumindest klanglich ansprechend gestaltet zu werden. Dies tritt spätestens dann ein, wenn es um die öffentliche Präsentation geht. Alexandra Supper wies diesbezüglich auf eine große Diversität hin:

While some sonifications lull the listeners with the sound of orchestral music, others might prompt them to dance to a techno beat, while yet others stay clear of any musical connotation and instead rely on abstract clicks reminiscent of a Geiger counter. Supper 2012, S. 250.

Sonifikationen werden für eine öffentlichkeitswirksame Präsentation gerne nachbearbeitet, für Videos aufbereitet oder sogar mit Musikinstrumenten live gespielt. Dies ragt in den Bereich der Musifikation hinein, wo die Ästhetik in den Vordergrund tritt. Für die Vermittlungsfunktion spielt dies eine wichtige Rolle. Für die Wissenschaftlichkeit gilt aber auch hier, dass eine Sonifikation aus den Daten algorithmisch reproduzierbar sein sollte. Die zugrundeliegenden Daten dürften also nicht um der Ästhetik willen verändert werden. Die Verbindung von informativen und gestalterischen Elementen kann man suggestiv nennen, dennoch ist sie – wie auch im Bereich der Visualisierungen – nicht vermeidbar. In the current fascination with sonification, the fact that aesthetic decisions must be made in order to translate data into the auditory domain can be obscured, schreibt die Komponistin Margaret Anne Schedel. Schedel 2014. Sonifikationen bringen einen Spielraum für Gestaltung mit sich, der aktiv ausgenutzt sein will. Wenn dies das Interesse des Nutzers anregt, ist dies im Sinne der Wissenschaft, solange es nicht auf Kosten der Transparenz geht.

3.1 Data-Sound-Mapping: Zeitachse und Datenpunkte

Wie könnte die Übertragung von Information in Klang in der Praxis funktionieren? Übertragungen von Schriftzeichen durch Geräusche sind z. B. aus dem Morsecode bekannt. In guter Erinnerung dürfte außerdem noch das akustische Einwahlsignal eines Modems sein. Diese Klänge sind nicht bewusst ästhetisch gestaltet. Um einen (John Cage zugeschriebenen) Satz zur Offenheit des Musikbegriffs zu zitieren: You don’t need to call it music, if the term shocks you.vgl. Cage 1982, Rückseite des Covers. Klang und Information verhalten sich in einer Sonifikation zwar ähnlich wie Musik und Notation zueinander, aber abstrakter: Klang ist darin eine Darstellungsform von Information, die nach vorher bestimmten Regeln chiffriert ist.

Grundsätzlich ist in einer Sonifikation ein Datenstrom auf einer Zeitachse anzuordnen und die Daten sind nach einem Übertragungssystem in Klänge umzuwandeln. Im einfachsten Fall wird jeder Datenpunkt, unabhängig von seiner Qualität, als ein einzelner Laut wiedergegeben. Der Geigerzähler, das klassische Instrument zur Messung der unsichtbaren Radioaktivität, macht sich dieses Prinzip zunutze, indem eintreffende Strahlung auf physikalischem Weg in einen Knacklaut übertragen wird. Je dichter die Lautfolge, umso höher die Radioaktivität (im Extremfall entsteht ein fast durchgehender Ton). Die Verdichtung kann das Gehör analysieren und so die Geschwindigkeit der Annäherung an eine Strahlungsquelle abschätzen.

Auf dem Geigerzähler-Prinzip basiert beispielsweise eine Sonifikation, die als zusätzliches Instrument zur Analyse von Sonnenwinden eingesetzt wurde.Vgl. Alexander 2012, passim; Space.com Staff 2012, passim. Die Messdaten wurden in einem Zeitraum von mehreren Tagen erfasst und werden in ihrer sonifizierten Form innerhalb kurzer Zeit abgespielt. Die dabei hörbaren Strukturen führten zu neuen Erkenntnissen über die Plasma- und Partikelstruktur der Sonnenwinde und trugen zu einer Optimierung der Beobachtungsmethode bei.[…] a particular ratio of carbon atoms that scientists had not previously detected can reveal more about the source of the solar wind than the ratios of elements they currently monitor. Space.com Staff 2012, passim. Das ausschlaggebende Phänomen war bei der Anwendung herkömmlicher Analysemethoden schlicht nicht aufgefallen.

3.2 Parametrisierung

Datenpunkte können klanglich unterschiedlich gestaltet werden, um einen oder mehrere qualitative Parameter abzubilden. Als Einsteigermethode empfiehlt sich beispielsweise das Pitch Coding, bei dem Codepoints und Tonhöhen (pitch) einander zugeordnet werden. Dies lehnt sich an die Konvention der Musiknotation an: Hohe Werte werden als hohe Töne übertragen, niedrige Werte als tiefe Töne. Aufgrund dieser Analogie ist dieses Zuordnungssystem für viele Hörer sofort begreifbar.

Tonhöhe ist aber nur einer von vielen möglichen Parametern, mithilfe derer eine Sonifikation realisierbar ist. Viele Sonifikationen nutzen Lautstärke, Dauer, Anschlagsgeräusch und Klangqualität simultan. Die bereits erwähnte Sonifikation Listen to Wikipedia von Stephen LaPorte und Mahmoud Hashemi ist dafür ein gutes Beispiel. LaPorte / Hashemi 2013. Sie bildet die Dynamik zwischen Wikipedia und ihren Nutzern in Echtzeit ab: Jede Bearbeitung eines Artikels wird als ein Ton abgespielt (Celesta, ähnlich einer Klangröhre). Die Tonhöhe zeigt den Umfang der Bearbeitung an. Ein weicherer Sound (Synthesizer-Streicher) signalisiert die Anmeldung eines neuen Nutzers. Die Ereignisse können nach Sprachen und Ereignistypen gefiltert werden. Der Hörer erhält einen realen Eindruck von der Aktivität auf der Seite. Es sind dieselben Informationen wie in einer Liste oder in einer Visualisierung. Durch die hörbare Frequenz fallen vor allem die starken Unterschiede zwischen den Ländern auf.

Eine Sonifikation kann zudem mehrere Prozesse gleichzeitig abbilden. Eindrucksvoll ist in dieser Hinsicht die Sonifikation What climate change sounds like from the Amazon to the Arctic von Todd Reubold. Reubold 2015. Darin wurden Veränderungen der Durchschnittstemperatur im Verlauf von 100 Jahren auf vier unterschiedlichen Kontinenten gleichzeitig sonifiziert. Die Tonhöhe verläuft dabei proportional zur Durchschnittstemperatur. Der Veränderungsprozess ist in der Sonifikation fast schon überdeutlich hörbar. Die Live-Umsetzung im Video mit einem professionellen Streichquartett ist als Kür anzusehen, denn zuerst erfolgte eine computergestützte Sonifikation: Die Daten mussten zunächst entsprechend der Höchst- und Tiefstwerte auf die hörbaren Frequenzen skaliert werden. Auf dieser Grundlage konnte dann eine Partitur erstellt werden. Nach einem ähnlichen Prinzip sonifizierte Lauren Oakes die Veränderungen in der Verbreitung verschiedener Baumsorten in Nordamerika.Vgl. Nijhuis 2016, passim. Die Erfahrbarkeit von zeitlichen Prozessen in komprimierter Form stellt sich als eine besondere Stärke von Sonifikation heraus.

Die Komplexität von Sonifikationen lässt sich beliebig erweitern, etwa in Richtung von Soundalgorithmen, die auf Veränderungen des Datenstromes mit einem Wechsel des Tempos oder der Harmonie reagieren, wie beispielsweise in dem interaktiven Composer RobinVgl. Morreale et al. 2013, passim. oder Philart Jeons Mind Music Machine.Vgl. Mills 2016, passim. Die hörenden Nutzer sollten stets die Möglichkeit haben, das Mapping bzw. den Sonifikationsalgorithmus nachvollziehen zu können. Für eine Höranalyse ist dies allerdings nicht erforderlich, da Auffälligkeiten prinzipiell auch von ungeschulten Hörern erkannt werden können.

3.3 Ästhetisierung

In welchem Maße der ästhetische Gestaltungsspielraum bereits bei einer einfachen Parametrisierung ausgeschöpft werden kann, demonstriert zum Beispiel eine Sonifikation des Higgs-Bosons,Das Higgs-Boson ist ein Elementarteilchen aus dem Standardmodell der Elementarteilchenphysik. Es zerfällt nach sehr kurzer Zeit und ist durch Messung nur schwer nachweisbar. die von Domenico Vicinanza aus Daten des CERN-Partikelbeschleunigers erzeugt wurde. Physikalische Messwerte wurden dort auf eine Tonskala projiziert und zu einer Partitur verarbeitet. Die Anomalie im Datenstrom, die zu der Entdeckung des Higgs-Bosons führte, ist als hohe, kurze Tonfolge hörbar. Zur Musikalisierung wurde ein Habanera-Rhythmus unterlegt. So erstaunlich dies klingen mag: Sonifikationen entfalten auch in musikalisierter Form ihre Wirkung. Aus dem Bericht der Trägerinstitution GÉANT geht hervor, dass bewusst mit vorhandenen Resultaten experimentiert wird: researchers have created melodies that make the results easier to understand. Géant 2012. Die Kulturjournalistin Megan Garber versteht dies als creative extension of existing data. Garber 2012. In diesem Sinne ist vielleicht die Higgs Boson Sonification von Pjotr TraczykVgl. Rao 2015. zu verstehen, in der dieselben Daten in Form eines Heavy-Metal-Riffs präsentiert werden.Aus Messdaten des CERN entstand außerdem eine Komposition mit dem Titel Sonification Studies von Reginald Bain, vgl. Bain 2013, passim.

Ein weiteres Beispiel dafür, dass das Erfahrbarmachen eine besondere Qualität von Sonifikationen ist, liefert die Flashcrash Sonification, die sich mit dem Börsencrash vom 6. Mai 2010 befasst (Flash Crash). [It] suggests rather than indicates; listening to it cannot provide us with rational information regarding the dynamics of the Flash Crash. Instead it produces a dark foreboding of the mechanisms at work, the high-frequency pulses first recalling heartbeats that soon speed up beyond any ability for distinction. Knouf 2013. Ähnlich funktioniert die Sonifikation Too Blue von Brian Foo (2015), die auf Daten des durch Klimawandel und Baumaßnahmen verursachten Landverlustes in Louisiana beruht.Vgl. Foo 2015; vgl. auch Misra 2015.

Auch das letzte Beispiel demonstriert, wie sich die Wirkung von Sonifikationen durch die gezielte Selektion der Parameter dramatisieren lässt. Die Sonifikation The sound of a falling currency verbindet den Wechselkurs des Britischen Pfunds im Vergleich zum US-Dollar um den Tag des Brexit-Votums am 23. Juni 2016.Vgl. Razzell 2016. Der Tagesstand (vom 17. Juni bis zum 6. Juli) wird jeweils mit einem Glockenton wiedergegeben; hier werden Assoziationen zum Big Ben geweckt. Dem Anfangswert von 1,436 USD/GBP ist ein Ton in mittlerer Lage zugeordnet, dem letzten von 1,289 USD/GBP ein sehr tiefer, kaum noch hörbarer Ton. Der plötzliche Verfall des Wechselkurses vom 23. zum 24. Juni wird durch ein Glissando (einer stufenlosen Veränderung der Tonhöhe) repräsentiert. Die Sonifikation wird von einer Kommentarspur begleitet: In der ersten Hälfte wird die Methode erläutert, während in der zweiten Hälfte Kommentare von Politikern zum Brexit-Votum unterlegt wurden. Die in die Tiefe fallenden Töne, durch den Datenausschnitt und die Skalierung übertrieben wirkend, erzeugen ein Untergangsszenario. Hier steht die politische, emotional vermittelte Botschaft gegenüber den konkreten Daten klar im Vordergrund.

3.4 Try it at home!

Ein Projekt der digitalen Geisteswissenschaften, das erstmals eine Sonifikation entwickeln möchte, muss nicht bei Null anfangen. Die bisherigen Erfahrungen mit Sonifikation wurden systematisch ausgewertet und in diversen Handbüchern zusammengefasst.Z. B. Hermann et al. 2011; neueren Datums sind Bijsterveld 2019 sowie Worrall 2019. Derzeit mangelt es in den digitalen Geisteswissenschaften oft an Expertise in Sound-Programmierung. Sofern man nicht über die Möglichkeit verfügt, Spezialisten hinzuzuziehen oder Zeit in das Erlernen von Sound-Programmierung zu investieren, kann man aber auf bestehende Software zurückgreifen. Frei verfügbar sind beispielsweise die Programme Sonification Sandbox, Sonifyer, xSonify und zuletzt auch das browserbasierte Highcharts Sonification Studio.Vgl. Walker: Sonification Sandbox 2009; Hochschule der Künste Bern: Sonifyer 2013; Candey / Schertenleib: xSonify 2014; Highsoft AS: Highcharts Sonification Studio 2025. Diese ermöglichen die Erstellung von Sonifikationen mithilfe einer Wertetabelle, sind sowohl über die Kommandozeile als auch über eine GUI steuerbar und erfordern keinen Programmieraufwand. Für eigene XML-basierte Ansätze empfiehlt sich ggf. ein Blick in die Definition des MIDI-kompatiblen Teils von MusicXML. Die Einführung von Shawn Graham auf The Programming Historian ist bei der Implementierung behilflich. Graham 2016, passim. Weitere Packages, die Programmierkenntnisse voraussetzen, jedoch einen leichten Einstieg ermöglichen, wurden unlängst mit WebAudioXML, Sonecules und Strauss (Sonification Tools and Resources for Analysis Using Sound Synthesis) vorgelegt.Vgl. Lindetorp / Falkenberg 2021, Reinsch / Hermann 2023 sowie Trayford / Harrison 2023.