Sonifikation. Vermittlungsansätze zwischen Klang und Information

Views
16379
Downloads
15
Open Peer Review
Kategorie
Artikel
Version
1.0
Torsten Roeder Autoreninformationen

DOI: http://dx.doi.org/10.17175/2018_002

Nachweis im OPAC der Herzog August Bibliothek: 1019443529

Erstveröffentlichung: 03.08.2018

Lizenz: Sofern nicht anders angegeben Creative Commons Lizenzvertrag

Medienlizenzen: Medienrechte liegen bei den Autoren

Letzte Überprüfung aller Verweise: 03.08.2018

GND-Verschlagwortung: Sonifikation | Multimodalität | Methodik |

Empfohlene Zitierweise: Torsten Roeder: Sonifikation. Vermittlungsansätze zwischen Klang und Information. In: Zeitschrift für digitale Geisteswissenschaften. Wolfenbüttel 2018. text/html Format. DOI: http://dx.doi.org/10.17175/2018_002


Abstract

Sonifikation ist die Transformation von Daten in Klänge. In den Naturwissenschaften dient sie als Komplement visueller Schnittstellen und stellt daneben eine alternative Analysemethode dar. Überdies fungiert sie als Instrument für die Vermittlung wissenschaftlicher Phänomene. In den digitalen Geisteswissenschaften steht die Erprobung von Sonifikation in der Breite jedoch noch aus. Der Beitrag referiert methodische Ansatzpunkte der Sonifikation, reflektiert perzeptive und epistemologische Aspekte und diskutiert mehrere Beispiele aus der Praxis. Abschließend werden einige Möglichkeiten aufgezeigt, wie aus eigenen Daten Sonifikationen erstellt werden können.


Sonification is the transformation of data into sounds. In the natural sciences, it serves as a supplement to visual interfaces, as an alternative method of analysis, and as an instrument for communicating scientific phenomena. In the Digital Humanities, sonification and its wide range of possibilities has not yet been explored. This paper reports on methodological approaches to sonification, reflects on perceptive and epistemological aspects, and discusses examples from practice. In closing, several possibilities for generating sonification from data will be demonstrated.



1. Positionsbestimmung

1.1 Klang und Information

Dieser Aufsatz widmet sich dem rätselhaften Verhältnis zwischen Klang und Information. Rätselhaft deshalb, weil zunächst keine offensichtliche Relation zwischen der meist als konkret und persistent wahrgenommenen »Information« und dem transitorischen, oft als unkonkret empfundenen »Klang« besteht. Im kulturellen Alltag jedoch sind beide in einer engen Beziehung anzutreffen. Wir kennen dies beispielsweise vom Wechselspiel zwischen lesbarer Notenschrift und erklingender Musik: Information und Klang stehen dabei in einem Verhältnis, das durch die allgemeine Musiklehre konventionell definiert ist. Beispielsweise können wir der allgemeinen Konvention entnehmen, dass der Ton d′′ im Violinschlüssel auf der zweiten Notenlinie von oben notiert wird, der Ton h′ hingegen auf der dritten. Ähnlich dazu bestehen Übertragungsregeln für Zeitmaße, für Lautstärke, Klangerzeugung, Ausdrucksweise und viele andere Parameter, die sich auf Basis der klassischen Musiknotation in horizontalen Systemen herausgebildet haben. Auch wenn dieses Verhältnis nicht im mathematischen Sinne »eineindeutig« (bijektiv), also nicht in beide Richtungen eindeutig abbildbar ist, gelingt es häufig, aller Übertragungs-Unschärfen und interpretationsabhängigen Abweichungen zum Trotz, aus einer musikalischen Notation ein wiedererkennbares akustisches Abbild zu erzeugen. Der Gewohnheit nach bezeichnen wir dies als »Musizieren« und schreiben diesem eine enorme kulturelle und gesellschaftliche Bedeutung zu. Zusammengefasst heißt das: Um aus schriftlich fixierten Informationen Klänge abzuleiten, werden zunächst einige Regeln befolgt, und diese in eine akustische Form gebracht, die den instrumentalen und räumlichen Umständen sowie der Erwartung der potenziellen Rezipienten angemessen ist.

1.2 Eine Analogie: Visualisierungen

Alternative Abbildungsverfahren von Informationen, insbesondere unter dem Schlagwort »Visualisierungen«, sind in den digitalen Geisteswissenschaften derzeit en vogue. Es gilt, neue Abbildungsverfahren zu erproben, die alternative Sichtweisen auf Daten eröffnen und neue Lesarten ermöglichen. Längst gehen die verfügbaren Verfahren weit über die konventionellen Schemata wie Globus, Kalender und Diagramm hinaus. Jüngst richtete sich das Interesse zum Beispiel auf Beziehungsgeflechte und multidimensionale Darstellungen, also solche, in denen strukturelle oder qualitative Parameter, die über rein metrische Dimensionen hinausgehen, abgebildet werden können. Spätestens die 3. DHd-Jahrestagung mit dem Titel Modellierung. Vernetzung. Visualisierung 2016 in Leipzig hat ein zentrales Desiderat verdeutlicht: Es genügt nicht, komplexe Daten in Strukturen einzufassen, sondern die dabei entstehenden Relationen sind auch auf möglichst anschauliche, also der menschlichen Wahrnehmung angemessenen Weise einer Auswertung zuzuführen. Dies fördert sowohl neue Erkenntnisse als auch neue Fragestellungen zutage.

Die Erzeugnisse dieser kreativen Datenverarbeitung sind vielfältig und die Algorithmen ihrer Generierung lediglich durch die menschliche Vorstellungskraft begrenzt. Zum Teil erreichen Visualisierungen sogar künstlerische Qualität, wie beispielsweise das Postkarten-Projekt Dear Data von Giorgia Lupi und Giorgia Posavec zeigt: Die Autorinnen verarbeiteten alltägliche Erfahrungen in handgezeichneten, narrativen Diagrammen.[1] Der Erkenntniswert dieser Abbildungen ist vielfach noch auszuloten, da das ›Lesen‹ in solchen Grafiken bislang nur ansatzweise kultiviert ist. Doch sind Visualisierungen das beste Beispiel dafür, dass derzeit ein großes Interesse an der Erschließung alternativer Erkenntnismethoden besteht. Dabei drängt sich die Frage auf, ab welchem Punkt die Nutzung des Sehsinns an ihre Grenzen stößt und zusätzliche Mittel notwendig sind, um komplexe Zusammenhänge angemessen oder noch umfassender erfahrbar zu machen.

Anknüpfend an die einleitenden Überlegungen zum Verhältnis zwischen Klang und Information stellt sich die Frage, ob es denkbar ist, das Prinzip der Visualisierung – das heißt: aus Information erfahrbare Bilder zu generieren – in den akustischen Bereich zu übertragen. Das hieße, aus Informationen erfahrbare Klänge zu erzeugen. Derartige ›Sonifikationen‹ wären dann, analog zu Visualisierungen, mögliche Darstellungsformen von Information, die nach vorher bestimmten Regeln chiffriert und entsprechend auch dechiffrierbar sind. Der vorliegende Beitrag erkundet dieses Thema aus der Sicht der digitalen Geisteswissenschaften und möchte dessen Potenziale sichtbar machen, um einen Impuls für die Erprobung dieses alternativen Verfahrens zu geben und endlich auch die Möglichkeiten des Hörsinns für die Datenexploration auszuschöpfen.

Seit einigen Jahren wird in den Naturwissenschaften bereits ein alternativer Ansatz verfolgt, der Informationen nicht grafisch, sondern akustisch umsetzt. Dieses Verfahren nennt sich ›Sonifikation‹. Dabei geht man davon aus, dass »der Hörsinn in vielen Fällen ein hohes Potenzial besitzt, zum Sehsinn komplementäre Informationen auf einfache Weise zu vermitteln«.[2] Dieses Zitat weist zum einen auf die Chancen hin, die in der gegenseitigen Ergänzung verschiedener Verfahren liegen und deutet zum anderen an, dass die Möglichkeiten der Sonifikation noch längst nicht ausgelotet sind.[3] Deshalb eröffnet die Erkundung von Sonifikationsverfahren die Möglichkeit, der Dominanz der Visualisierungen eine Alternative an die Seite zu stellen und den Weg für eine weitere methodische Diversifizierung zu beschreiten.

1.3 Qualitäten des Gehörs

Vergleicht man die Qualitäten der Wahrnehmungskanäle, wird schnell deutlich, dass die menschliche Wahrnehmung allgemein durch den Sehsinn dominiert wird.[4] Als ›wahr‹ gilt vorrangig, was man ›mit eigenen Augen‹ sieht: das geschriebene Wort, eine Zeichnung, eine Fotografie. Zwar dient der Hörsinn nicht minder dem Erkenntnisgewinn, wird in dieser Hinsicht aber häufig geringer eingeschätzt.[5] Das gesprochene Wort ist flüchtiger, unverbindlicher als das Schwarz auf Weiß geschriebene, verbürgte Wort. Zudem: Beim Hören von Klängen sind emotionale Kanäle stärker beteiligt, weshalb es als stark subjektiv geprägt und weniger erkenntnismächtig angesehen wird.[6] Transitorität und Subjektivität prägen landläufig den Charakter des Hörens.

Ein analytisches Hören, das Klangstrukturen identifizieren und diskriminieren kann, ist erlernbar, nach der gängigen Auffassung jedoch ausgebildeten Musikern oder Sounddesignern und somit nur einer bestimmten Gruppe vorbehalten (die dem Anschein nach sonderbegabt, aber vor allem gut trainiert ist). Dass akustische Herangehensweisen im Bereich der wissenschaftlichen Informationsvermittlung deshalb keine Alternative gegenüber visuellen Methoden darstellen könnten, gilt es zu hinterfragen. Denn analytisches Hören ist grundsätzlich von jeder Person mit intaktem Gehör erlernbar und nicht nur ›Wunderkindern‹ vorbehalten. In der Tat ist das menschliche Gehör dem Sehsinn in einigen Punkten voraus: Es kann eine Vielzahl an Parametern wie Tonhöhe, Lautstärke, Zeitproportionen, Klangqualität, Richtung und Entfernung von Schallquellen etc. gleichzeitig unterscheiden. Die Übertragung auf die analytische Ebene erfordert lediglich etwas Übung. Darüber hinaus besitzt das Gehör die besondere Qualität, mehrere simultane Prozesse, beispielsweise verschiedene Stimmen, wahrzunehmen.

Das Gehör ist ein feingranularer Sinn auf allen Ebenen. Bereits geringfügige und insbesondere kurz aufeinanderfolgende Veränderungen eines Parameters kann es unmittelbar wahrnehmen, während beim Sehsinn mit einer biochemisch bedingten Latenz zu rechnen ist.[7] Auch fließende Veränderungen – vom Auge häufig nicht wahrgenommen – erzeugen im Gehör eine unmittelbare Signalwirkung. Im Alltag sind deshalb zahlreiche »Auditory Displays« im Gebrauch, etwa der Warnpieper, der beim Einparken hilft und im Vergleich zu einer grafischen Darstellung eine deutlich stärkere Wirkung entfaltet. Insofern erfüllen Gehör und Sehsinn sehr unterschiedliche, oft sogar komplementäre Zwecke.

2. Methodische Ansatzpunkte

2.1 Definition

Die von der International Community for Auditory Display (ICAD) herausgegebene Definition der Sonifikation lautet:

»Sonification [is the] use of nonspeech audio to convey information; more specifically sonification is the transformation of data relations into perceived relations in an acoustic signal for the purposes of facilitating communication or interpretation.«[8]

Diese Definition betont die kommunikativen Eigenschaften, die Sonifikation trotz des Verzichts auf Sprache innewohnen. Die folgende Definition aus dem Sonification Handbook legt den Schwerpunkt hingegen auf die Reproduzierbarkeit der sonifizierten Informationen und zielt damit auf die wissenschaftliche Nutzbarkeit:

»Sonification is the data-dependent generation of sound, if the transformation is systematic, objective and reproducible, so that it can be used as scientific method.«[9]

Sonifikationsverfahren werden innerhalb des Technologiezweigs »Auditory Display« seit den 1990ern erprobt[10] und haben das experimentelle Stadium längst hinter sich gelassen.

2.2 Verbreitung

Die bisher entwickelten Sonifikationen werden bereits zu diversen Zwecken eingesetzt,[11] darunter zur Auswertung von sehr großen Datenmengen (Big Data) oder komplexen Strukturen.[12] Dabei fällt auf, dass Sonifikation unter anderem in Physik, Meteorologie und Medizin (darunter auch Blindenleitsysteme) bereits auf fortgeschrittenem Niveau angewendet wird,[13] während die Methode in den Geisteswissenschaften in der Breite so gut wie gar nicht repräsentiert ist: Die internationale Tagung Digital Humanities 2017 verzeichnete lediglich einen einzigen Beitrag, der auditive Elemente als Analysemethode einsetzte.[14] Iain Emsley unternahm als einer der ersten den Versuch, Sonifikation im Bereich der Digital Humanities als Komplement zu Visualisierungen anzuwenden.[15] Emsley und De Roure stellten in einem Aufsatz für das TEI Journal ein Verfahren zur Analyse von Shakespeares Hamlet vor.[16] Außerdem entstanden einige Sonifikationen im größeren Umfeld der Digital Humanities: Zu nennen sind Listen to Wikipedia[17] sowie Klang der Sterne und Sound of Sails (beide entstanden im Rahmen von Coding da Vinci 2016).[18] In der Summe bilden diese vereinzelten Sonifikationen immerhin einen kleinen Pool an Referenzen oder Ansatzpunkten für zukünftige Projekte.

2.3 Funktionen

Im Folgenden werden drei Bereiche erörtert, in denen Sonifikation besondere Stärken aufweist: Komplementarität, Höranalyse und Wissenschaftsvermittlung.

2.3.1 Komplementarität

Der Kultursoziologe Gerhard Schmied wies darauf hin, dass das Hören der wichtigste Ergänzungssinn zum Sehen ist.[19] Häufig entsteht erst durch die Kombination von Wahrnehmungskanälen, die sehr unterschiedliche Funktionen erfüllen, eine sinnvolle Interpretation.[20] Dies deutet auf das große Potenzial von Sonifikationen hin: Sie können Visualisierungen verstärken oder auch komplementär ergänzen. Dieses Prinzip kommt in der pädagogischen Wissenschaftsvermittlung bereits zum Einsatz: »Wenn wir mehr ›Eingangskanäle‹ benutzen, erhöhen wir den Wirkungsgrad, mit dem wir Lerninhalte vermitteln.«[21] Außerdem erfordern komplexe Daten, wie sie in den digitalen Geisteswissenschaften oft vorliegen, eine angemessen komplexe Präsentation. Durch die Kombination von visuellen und auditiven Parametern, also durch Verteilung auf mehrere Wahrnehmungskanäle, kann grundsätzlich eine höhere Dichte an Information simultan dargestellt werden.

In der Komplementarität der Wahrnehmungskanäle liegt außerdem der Vorteil, dass visuelle und auditive Elemente nicht zwingend dieselben Prozesse abbilden müssen. Beispielsweise können zusätzliche Informationen durch eine Sonifikation abgespielt werden, während der Nutzer eine visuelle Schnittstelle bedient. In Computerspielen werden Soundeffekte und Musik oft dynamisch in Reaktion auf das Spielgeschehen erzeugt. In den digitalen Geisteswissenschaften könnten Datenbankanwendungen oder Editionen eine interaktive Klangspur erhalten. Des Weiteren können Sonifikationen für Personen mit eingeschränkter Sehfähigkeit einen explorativen Datenzugang bieten, wie er sonst nur über Visualisierungen gegeben ist. In der Sonification for Blind Users werden Stereo-Effekte für die Umsetzung der geographischen Dimension genutzt.[22] Interaktion ist somit aus sehr unterschiedlichen Gründen ein wichtiger Aspekt der Sonifikation.

2.3.2 Höranalyse

Höranalytische Vorgänge laufen weitgehend unbewusst ab. Um das Potenzial von Sonifikationen auszuschöpfen, gilt es zunächst, ein bewussteres analytisches Hören zu entwickeln: »By engaging with the data in a process of analytic listening, patterns may emerge which are otherwise undetectable.«[23] Bereits Gottfried Wilhelm Leibniz konstatierte in seinem viel zitierten Ausspruch, dass Musik »die verborgene Rechenkunst des seines Zählens unbewussten Geistes«[24]sei. Und tatsächlich beruht der wissenschaftliche Erfolg von Sonifikationen häufig auf zufällig entdeckten Klangmustern, die sich nicht in das erwartete Schema fügten, und so den Blick auf ein bislang nicht berücksichtigtes Phänomen lenkten,[25] wie es beispielsweise Robert Alexander bei der Analyse von Sonnenstürmen widerfuhr (mehr dazu im Abschnitt 3.2).[26] Hier tut sich möglicherweise eine Parallele zur Metapher des »Information Flaneur« auf, der beim Wandern durch Datenlandschaften auf interessante Phänomene stößt.[27]

Potenzial ist deshalb auch in ›autonomen‹ Sonifikationen zu sehen, die nicht nur als Komplement einer visuellen Schnittstelle fungieren können, sondern auch als davon unabhängiger, exklusiv auditiver Datenzugang. Dies dient nicht nur Personen mit eingeschränkter Sehfähigkeit, sondern bietet auch die Chance, die analytischen Fähigkeiten des Gehörs auszuschöpfen, denn schließlich reagiert es auf gänzlich andere Reize als der Sehsinn und wird auf ganz andere Phänomene aufmerksam. Der Hörzugang ist allgemein noch nicht so stark vorstrukturiert, so dass (zumindest bislang) kaum Standardrezepte existieren, dafür aber umso mehr Spielraum für Experimente. Hier ist Geduld gefragt. Ein Klangmuster, das dem Hörer zunächst nicht ungewöhnlich erscheint, kann nach einem Lernprozess – möglicherweise schon beim zweiten Anhören – bereits ganz anders wahrgenommen werden. Eine Denkhürde besteht darin, eine Sonifikation zu entwerfen, die noch nicht auf bestimmte Wirkungen oder Erwartungen hin durchgestaltet ist, sondern sich zunächst mit der Aufgabe begnügt, eine klingende Repräsentation zu erzeugen, die vom Gehör dann zunächst rein akustisch – das heißt hier ohne vordefinierte Begrifflichkeiten – analysiert werden kann.

2.3.3 Wissenschaftsvermittlung

Sonifikationen bergen laut Brad Rassler eine große Chance für die Wissenschaftsvermittlung: »When the numbers become a soundscape, researchers can hear information that has escaped their eyes, and the music’s disposition can reveal the meaning of complex systems to nonscientists, often in a single sitting.«[28] In der Tat steckt darin eine weitere Stärke von Sonifikationen: Sie können Prozesse und Ereignisse, die mit den menschlichen Sinnesorganen nicht wahrnehmbar sind, für Laien erfahrbar und dadurch zugänglich machen. Dies zielt weniger auf die Analyse von Daten als vielmehr auf den Einsatz von Sonfikationen für die mediale Präsentation.

Dies führt zum epistemologischen Aspekt der Sonifikation: Was müssen Sonifikationen leisten, um als »objektiv« gelten zu können? Grundsätzlich ist eine objektive Metrisierung durch einen Sonifikationsalgorithmus gegeben. Solange der Algorithmus dokumentiert ist und die zugrundeliegenden Daten ebenfalls verfügbar sind, bleibt die Sonifikation reproduzierbar und transparent. Eine Sonifikation macht die Daten jedoch nicht wie in einem Diagramm ablesbar, sondern übergibt sie zur Analyse an das Gehör. An dieser Stelle interferieren häufig die ästhetischen Erwartungen des Nutzers.

In der Tat besitzen Sonifikationen aufgrund ihrer Nähe zur Musik einen besonderen Hang dazu, in einer nicht näher festgelegten Art und Weise ästhetisch oder zumindest klanglich ansprechend gestaltet zu werden. Dies tritt spätestens dann ein, wenn es um die öffentliche Präsentation geht. Alexandra Supper wies diesbezüglich auf eine große Diversität hin:

»While some sonifications lull the listeners with the sound of orchestral music, others might prompt them to dance to a techno beat, while yet others stay clear of any musical connotation and instead rely on abstract clicks reminiscent of a Geiger counter.«[29]

Sonifikationen werden für eine öffentlichkeitswirksame Präsentation gerne nachbearbeitet, für Videos aufbereitet oder sogar mit Musikinstrumenten live gespielt. Dies ragt in den Bereich der »Musifikation« hinein, wo die Ästhetik in den Vordergrund tritt. Für die Vermittlungsfunktion spielt dies eine wichtige Rolle. Für die Wissenschaftlichkeit gilt aber auch hier, dass eine Sonifikation aus den Daten algorithmisch reproduzierbar sein sollte. Die zugrundeliegenden Daten dürften also nicht um der Ästhetik willen verändert werden. Die Verbindung von informativen und gestalterischen Elementen kann man suggestiv nennen, dennoch ist sie – wie auch im Bereich der Visualisierungen – nicht vermeidbar. »In the current fascination with sonification, the fact that aesthetic decisions must be made in order to translate data into the auditory domain can be obscured«, schreibt die Komponistin Margaret Anne Schedel.[30] Sonifikationen bringen einen Spielraum für Gestaltung mit sich, der aktiv ausgenutzt sein will. Wenn dies das Interesse des Nutzers anregt, ist dies im Sinne der Wissenschaft, solange es nicht auf Kosten der Transparenz geht.

3. Sonifikation in der Praxis

3.1 Data-Sound-Mapping: Zeitachse und Datenpunkte

Wie könnte die Übertragung von Information in Klang in der Praxis funktionieren? Übertragungen von Schriftzeichen durch Geräusche sind z. B. aus dem Morsecode bekannt. In guter Erinnerung dürfte außerdem noch das akustische Einwahlsignal eines Modems sein. Diese Klänge sind nicht bewusst ästhetisch gestaltet. Um einen (John Cage zugeschriebenen) Satz zur Offenheit des Musikbegriffs zu zitieren: »You don’t need to call it music, if the term shocks you«.[31] Klang und Information verhalten sich in einer Sonifikation zwar ähnlich wie Musik und Notation zueinander, aber abstrakter: Klang ist darin eine Darstellungsform von Information, die nach vorher bestimmten Regeln chiffriert ist.

Grundsätzlich ist in einer Sonifikation ein Datenstrom auf einer Zeitachse anzuordnen und die Daten sind nach einem Übertragungssystem in Klänge umzuwandeln. Im einfachsten Fall wird jeder Datenpunkt, unabhängig von seiner Qualität, als ein einzelner Laut wiedergegeben. Der Geigerzähler, das klassische Instrument zur Messung der unsichtbaren Radioaktivität, macht sich dieses Prinzip zunutze, indem eintreffende Strahlung auf physikalischem Weg in einen Knacklaut übertragen wird. Je dichter die Lautfolge, umso höher die Radioaktivität (im Extremfall entsteht ein fast durchgehender Ton). Die Verdichtung kann das Gehör analysieren und so die Geschwindigkeit der Annäherung an eine Strahlungsquelle abschätzen.

Auf dem Geigerzähler-Prinzip basiert beispielsweise eine Sonifikation, die als zusätzliches Instrument zur Analyse von Sonnenwinden eingesetzt wurde.[32] Die Messdaten wurden in einem Zeitraum von mehreren Tagen erfasst und werden in ihrer sonifizierten Form innerhalb kurzer Zeit abgespielt. Die dabei hörbaren Strukturen führten zu neuen Erkenntnissen über die Plasma- und Partikelstruktur der Sonnenwinde und trugen zu einer Optimierung der Beobachtungsmethode bei.[33] Das ausschlaggebende Phänomen war bei der Anwendung herkömmlicher Analysemethoden schlicht nicht aufgefallen.

3.2 Parametrisierung

Datenpunkte können klanglich unterschiedlich gestaltet werden, um einen oder mehrere qualitative Parameter abzubilden. Als Einsteigermethode empfiehlt sich beispielsweise das »Pitch Coding«, bei dem Codepoints und Tonhöhen (pitch) einander zugeordnet werden. Dies lehnt sich an die Konvention der Musiknotation an: Hohe Werte werden als hohe Töne übertragen, niedrige Werte als tiefe Töne. Aufgrund dieser Analogie ist dieses Zuordnungssystem für viele Hörer sofort begreifbar.

Tonhöhe ist aber nur einer von vielen möglichen Parametern, mithilfe derer eine Sonifikation realisierbar ist. Viele Sonifikationen nutzen Lautstärke, Dauer, Anschlagsgeräusch und Klangqualität simultan. Die bereits erwähnte Sonifikation Listen to Wikipedia von Stephen LaPorte und Mahmoud Hashemi ist dafür ein gutes Beispiel.[34] Sie bildet die Dynamik zwischen Wikipedia und ihren Nutzern in Echtzeit ab: Jede Bearbeitung eines Artikels wird als ein Ton abgespielt (Celesta, ähnlich einer Klangröhre). Die Tonhöhe zeigt den Umfang der Bearbeitung an. Ein weicherer Sound (Synthesizer-Streicher) signalisiert die Anmeldung eines neuen Nutzers. Die Ereignisse können nach Sprachen und Ereignistypen gefiltert werden. Der Hörer erhält einen realen Eindruck von der Aktivität auf der Seite. Es sind dieselben Informationen wie in einer Liste oder in einer Visualisierung. Durch die hörbare Frequenz fallen vor allem die starken Unterschiede zwischen den Ländern auf.

Eine Sonifikation kann zudem mehrere Prozesse gleichzeitig abbilden. Eindrucksvoll ist in dieser Hinsicht die Sonifikation What climate change sounds like from the Amazon to the Arctic von Todd Reubold.[35] Darin wurden Veränderungen der Durchschnittstemperatur im Verlauf von 100 Jahren auf vier unterschiedlichen Kontinenten gleichzeitig sonifiziert. Die Tonhöhe verläuft dabei proportional zur Durchschnittstemperatur. Der Veränderungsprozess ist in der Sonifikation fast schon überdeutlich hörbar. Die Live-Umsetzung im Video mit einem professionellen Streichquartett ist als Kür anzusehen, denn zuerst erfolgte eine computergestützte Sonifikation: Die Daten mussten zunächst entsprechend der Höchst- und Tiefstwerte auf die hörbaren Frequenzen skaliert werden. Auf dieser Grundlage konnte dann eine Partitur erstellt werden. Nach einem ähnlichen Prinzip sonifizierte Lauren Oakes die Veränderungen in der Verbreitung verschiedener Baumsorten in Nordamerika.[36] Die Erfahrbarkeit von zeitlichen Prozessen in komprimierter Form stellt sich als eine besondere Stärke von Sonifikation heraus.

Die Komplexität von Sonifikationen lässt sich beliebig erweitern, etwa in Richtung von Soundalgorithmen, die auf Veränderungen des Datenstromes mit einem Wechsel des Tempos oder der Harmonie reagieren, wie beispielsweise in dem interaktiven Composer Robin[37] oder Philart Jeons Mind Music Machine.[38] Die hörenden Nutzer sollten stets die Möglichkeit haben, das Mapping bzw. den Sonifikationsalgorithmus nachvollziehen zu können. Für eine Höranalyse ist dies allerdings nicht erforderlich, da Auffälligkeiten prinzipiell auch von ungeschulten Hörern erkannt werden können.

3.3 Ästhetisierung

In welchem Maße der ästhetische Gestaltungsspielraum bereits bei einer einfachen Parametrisierung ausgeschöpft werden kann, demonstriert zum Beispiel eine Sonifikation des Higgs-Bosons,[39] die von Domenico Vicinanza aus Daten des CERN-Partikelbeschleunigers erzeugt wurde. Physikalische Messwerte wurden dort auf eine Tonskala projiziert und zu einer Partitur verarbeitet. Die Anomalie im Datenstrom, die zu der Entdeckung des Higgs-Bosons führte, ist als hohe, kurze Tonfolge hörbar. Zur Musikalisierung wurde ein Habanera-Rhythmus unterlegt. So erstaunlich dies klingen mag: Sonifikationen entfalten auch in musikalisierter Form ihre Wirkung. Aus dem Bericht der Trägerinstitution GÉANT geht hervor, dass bewusst mit vorhandenen Resultaten experimentiert wird: »researchers have created melodies that make the results easier to understand«.[40] Die Kulturjournalistin Megan Garber versteht dies als »creative extension of existing data«.[41] In diesem Sinne ist vielleicht die Higgs Boson Sonification von Pjotr Traczyk[42] zu verstehen, in der dieselben Daten in Form eines Heavy-Metal-Riffs präsentiert werden.[43]

Ein weiteres Beispiel dafür, dass das Erfahrbarmachen eine besondere Qualität von Sonifikationen ist, liefert die Flashcrash Sonification, die sich mit dem Börsencrash vom 6. Mai 2010 befasst (Flash Crash). »[It] suggests rather than indicates; listening to it cannot provide us with rational information regarding the dynamics of the Flash Crash. Instead it produces a dark foreboding of the mechanisms at work, the high-frequency pulses first recalling heartbeats that soon speed up beyond any ability for distinction.«[44] Ähnlich funktioniert die Sonifikation Too Blue von Brian Foo (2015), die auf Daten des durch Klimawandel und Baumaßnahmen verursachten Landverlustes in Louisiana beruht.[45]

Auch das letzte Beispiel demonstriert, wie sich die Wirkung von Sonifikationen durch die gezielte Selektion der Parameter dramatisieren lässt. Die Sonifikation The sound of a falling currency verbindet den Wechselkurs des Britischen Pfunds im Vergleich zum US-Dollar um den Tag des Brexit-Votums am 23. Juni 2016.[46] Der Tagesstand (vom 17. Juni bis zum 6. Juli) wird jeweils mit einem Glockenton wiedergegeben; hier werden Assoziationen zum Big Ben geweckt. Dem Anfangswert von 1,436 USD/GBP ist ein Ton in mittlerer Lage zugeordnet, dem letzten von 1,289 USD/GBP ein sehr tiefer, kaum noch hörbarer Ton. Der plötzliche Verfall des Wechselkurses vom 23. zum 24. Juni wird durch ein Glissando (einer stufenlosen Veränderung der Tonhöhe) repräsentiert. Die Sonifikation wird von einer Kommentarspur begleitet: In der ersten Hälfte wird die Methode erläutert, während in der zweiten Hälfte Kommentare von Politikern zum Brexit-Votum unterlegt wurden. Die in die Tiefe fallenden Töne, durch den Datenausschnitt und die Skalierung übertrieben wirkend, erzeugen ein Untergangsszenario. Hier steht die politische, emotional vermittelte Botschaft gegenüber den konkreten Daten klar im Vordergrund.

3.4 Try it at home!

Ein Projekt der digitalen Geisteswissenschaften, das erstmals eine Sonifikation entwickeln möchte, muss nicht bei Null anfangen. Die bisherigen Erfahrungen mit Sonifikation wurden systematisch ausgewertet und in diversen Handbüchern zusammengefasst.[47] Derzeit mangelt es in den digitalen Geisteswissenschaften zwar noch an Expertise in Sound-Programmierung. Sofern man nicht über die Möglichkeit verfügt, Spezialisten hinzuzuziehen oder Zeit in das Erlernen von Sound-Programmierung zu investieren, kann man aber auf bestehende Software zurückgreifen. Frei verfügbar sind beispielsweise die Programme Sonification Sandbox, Sonifyer oder xSonify.[48] Diese ermöglichen die Erstellung von Sonifikationen mithilfe einer Wertetabelle, sind sowohl über die Kommandozeile als auch über eine GUI steuerbar und erfordern keinen Programmieraufwand. Für eigene XML-basierte Ansätze empfiehlt sich ggf. ein Blick in die Definition des MIDI-kompatiblen Teils von MusicXML. Die Einführung von Shawn Graham auf The Programming Historian ist bei der Implementierung behilflich.[49]

4. Fazit

Die digitalen Geisteswissenschaften laufen derzeit als unbegleiteter Stummfilm. Ausgerechnet in diesem Bereich, wo Kreativität von hoher Bedeutung ist, liegt das Potenzial der Sonifikation bis jetzt brach. Dass es darauf ankommt, Sonifikationen auszuprobieren und vorzuführen, verdeutlichte bereits der Sonification Report von 2010:

»People spend up on stereo graphics supercomputers and CAVEs and yet say ›sound won’t add anything.‹ The only convincing argument is a working sonification. I’ve found that once they have experienced it, there is an almost immediate mindshift, and sonification becomes a natural part of the interface (just like the switch from silent movies).«[50]

Es besteht das Desiderat, Sonifikation als ein in den Naturwissenschaften bereits etabliertes Verfahren nun auch in den digitalen Geisteswissenschaften zu erproben. Sonifikation bietet vielversprechende Möglichkeiten: Allein die Vielzahl und Dichte an Parametern, die durch Sonifikation abbildbar und erfahrbar werden, sprechen stark für Experimente in dieser Richtung. Konkret stellen Sonifikationen eine ideale Ergänzung zu Visualisierungen dar und könnten so in die nächste Entwicklungsstufe von Interfaces einfließen. Sie erweitern zudem die Analysemöglichkeiten um die Wahrnehmungsqualitäten des Gehörs. Zu guter Letzt können sie zur medialen Wissenschaftsvermittlung beitragen.

Der Weg dorthin bestünde darin, sich mit existierenden Sonifikationen aus anderen Fachbereichen auseinanderzusetzen und anschließend Ansätze für das eigene Datenmaterial zu entwickeln. Um diese neue Dimension mutig zu erkunden, könnte die dahinter stehende Motivation darin liegen, den digitalen Geisteswissenschaften endlich einen angemessenen Soundtrack zu verleihen.


Fußnoten


Bibliographische Angaben

  • Robert Alexander (2012): How A Solar Storm Sounds – Particle Sonification Video. In: YouTube. Beitrag vom 14.03.2012. MP4. [online]

  • Reginald Bain: Creative and Performing Arts Grant Report. 2013. PDF. [online]

  • Stephen Barrass / Paul Vickers: Sonification and Design Aesthetics. In: The Sonification Handbook. Hg. von Thomas Hermann / Andy Hunt / John G. Neuhoff. Berlin 2011, S. 145–171. URN: urn:nbn:de:0070-pub-24423492 [Nachweis im GVK]

  • John Cage. Rückseite des Covers. In: Various Artists: An Afflicted Man’s Musica Box. Vinyl. United Dairies (UK) 1982. [online]

  • Coding da Vinci. Projekte 2016. SOS – Sound of Sails. Hg. von Wikimedia Deutschland e.V. 2016. [online]

  • Florian Dombois / Gerhard Eckel: Audification. In: The Sonification Handbook. Hg. von Thomas Hermann / Andy Hunt / John G. Neuhoff. Berlin 2011, S. 301–324. URN: urn:nbn:de:0070-pub-24423492 [Nachweis im GVK]

  • Marian Dörk / Sheelagh Carpendale / Carey Williamson: The Information Flaneur: A Fresh Look at Information Seeking. In: CHI 2011 conference proceedings and extended abstracts. Hg. von Association for Computing Machinery; SIGCHI. (CHI: 29, Vancouver, BC., 07.-12.05.2011) New York, NY. 2011, S. 1215-1224. [Nachweis im GVK]

  • Now hear this. Hg. von The Economist. In: The Economist. Beitrag vom 19.03.2016. [online]

  • Iain Emsley: "O where is Romeo, saw you him to day?": Using sonification and visualization in the exploration of Early Modern English literature metadata. [online] In: Digital Humanities at Oxford Summer School. Scholarship, Application, Community. (DHO SS 2016, Oxford, 04.-08.07.2016) [online]

  • Iain Emsley / David De Roure: "It will discourse most eloquent music": Sonifying Variants of Hamlet. DOI: 10.4000/jtei.1535 In: Journal of the Text Encoding Initiative 10 (2016). [online]

  • John H. Flowers: Thirteen years of reflection on auditory graphing: Promises, pitfalls, and potential new directions. Handle: 1853/50188 In: ICAD 2005. 11th International Conference on Auditory Display. Proceedings. (ICAD: 11, Limerick, 06.-09.07.2005) Limerick 2005, S. 406–409. Handle: 1853/50046

  • Brian Foo: Too Blue. Mapping Coastal Louisiana's Land Loss with Music. In: Data Driven DJ. Beitrag 2015. HTML/MP3/MP4. [online]

  • Sarah Frazier: Sonification: Data like you’ve never heard before. In: EarthZine. Beitrag vom 23. Juli 2013. HTML/MP4. [online]

  • Megan Garber: Here's What the Higgs Boson Sounds Like. In: The Atlantic. Beitrag vom 10.07.2012. HTML/MP3. [online]

  • Sonification enables world to hear new Higgs Boson-like particle. Hg. von Géant. In: Media Centere. Géant. Beitrag vom 10.07.2012. [online]

  • Shawn Graham: The Sound of Data. A gentle introduction to sonification for historians. In: The Programming Historian. Beitrag vom 07.07.2016. [online]

  • Florian Grond / Theresa Schubert-Minski: Sonifikation. In: See this sound. Beitrag von 2009. [online]

  • Thomas Hermann: Taxonomy and Definitions for Sonification and Auditory Display. 1853/49960 In: Proceedings of the International Conference on Auditory Display 2008. (ICAD: 14, Paris, 24.-27.06.2008) Paris 2008. Handle: 1853/49834

  • Thomas Hermann: Model-Based Sonification. In: The Sonification Handbook. Hg. von Thomas Hermann / Andy Hunt / John G. Neuhoff. Berlin 2011, S. 399–427. URN: urn:nbn:de:0070-pub-24423492 [Nachweis im GVK]

  • The Sonification Handbook. Hg. von Thomas Hermann / Andy Hunt / John G. Neuhoff. Berlin 2011. URN: urn:nbn:de:0070-pub-24423492 [Nachweis im GVK]

  • Micki Kaufman: "We Have This Space Problem:" Big Data, Multi-Dimensionality and the Kissinger Correspondence. PDF. [online] In: Digital Humanities 2017 Conference Abstracts. Hg. von Rhian Lewis / Cecily Raynor / Dominic Forest / Michael Sinatra / Stéfan Sinclair. (DH 2017, Montreal, 08.-11.08.2017) Montreal 2017. PDF. [online]

  • Nicholas Knouf: The Noises of Finance. In: Sounding Out! Blogbeitrag vom 22.04.2013. HTML/MP4. [online]

  • Gregory Kramer / Bruce Walker / Terri Bonebright / Perry Cook / John H. Flowers / Nadine Miner / John Neuhoff: Sonification Report: Status of the Field and Research Agenda. In: Faculty Publications. Hg. von University of Nebraska, Department of Psychology. Lincoln, NE. 2010. [online]

  • Stephen LaPorte / Mahmoud Hashemi: Listen to Wikipedia. 2013. [online]

  • Gottfried Wilhelm Leibniz an Christian Goldbach. Brief vom 17. April 1712. In: Viri illustris Godefridi Guil. Leibnitii epistolae ad diversos. Hg. von Christian Kortholt. 5 Bde. Leipzig 1734, Bd. 1, S. 239-242. [Nachweis im GVK]

  • Giorgia Lupi / Stefanie Posavec: Dear Data. The Project. 2015. [online]

  • Tara Maja Madhyastha / Daniel Alden Reed: Data Sonification: Do You See What I Hear? In: IEEE Software 12 (1995), H. 2, S. 45–56. [Nachweis im GVK]

  • Allison Mills: Where Science and Art Meet: The Mind Music Machine. In: MichiganTech. Beitrag vom 25.03.2016. HTML/MP3/MP4. [online]

  • Tanvi Misra: A Musical Tribute to Louisiana’s Lost Coast. In: CityLab. Beitrag vom 28.08.2015. HTML/MP4. [online]

  • Fabio Morreale / Raul Masu / Antonella De Angeli: Robin: An algorithmic Composer for Interactive Scenarios. PDF. [online] In: Proceedings of SMC 2013. 10th Sound and Music Computing Conference. Hg. von Roberto Bresin. (SMC: 10, Stockholm, 03.07.-02.08.2013) Berlin 2013, S. 207–212. PDF. [online] [Nachweis im GVK]

  • Michelle Nijhuis: The Sound of Climate Change. A musician translated the changing ecology of a forest into song. In: The Atlantic. Beitrag vom 14.09.2016. HTML/Audio. [online]

  • Achintya Rao: What would the Higgs discovery sound like as a heavy-metal song? In: The Cylindrical Onion. Blogging about the CMS Experiment. Blogbeitrag vom 13.04.2015. HTML/MP4. [online]

  • Brad Rassler: The Art of Turning Climate Change Science into Music. In: Outside. Beitrag vom 06.09.2016. HTML/MP3. [online]

  • Neal Razzell: The sound of a falling currency. In: World at One. Hg. von BBC Radio 4. Beitrag vom 08.07.2016. HTML/MP4. [online]

  • Todd Reubold: What climate change sounds like from the Amazon to the Arctic. In: Ensia. Hg. von University of Minnesota, MN. Beitrag vom 07.05.2015. HTML/MP4. [online]

  • Coding da Vinci. Projekte 2016. Klang der Sterne. Hg. von Wikimedia Deutschland e.V. 2016. [online]

  • Margaret Schedel: Sounds of Science: The Mystique of Sonification. In: Sounding Out! Blogbeitrag vom 09.10.2014. HTML/MP3/MP4. [online]

  • Gerhard Schmied: Wer Ohren hat zu hören. Über eine zentrale Dimension der Welterfassung. [Nachweis im GVK] In: Alltagsmoralen. Die kulturelle Beeinflussung der fünf Sinne. Hg. von Robert Hettlage / Alfred Bellebaum. Wiesbaden 2016, S. 121–143. [Nachweis im GVK]

  • Andi Schoon / Axel Volmar: Informierte Klänge und geschulte Ohren. Zur Kulturgeschichte der Sonifikation. In: Das geschulte Ohr. Eine Kulturgeschichte der Sonifikation. Hg. von Andi Schoon / Axel Volmar. Bielefeld 2012. [Nachweis im GVK]

  • Solar Storm Soundtrack Recorded in New Sun Video. Hg. von Space.com Staff. In: Space.com. Beitrag vom 20.03.2012. [online]

  • Simone Spagnol / Charalampos Saitis / Michal Bujacz / Omar I. Johannesson / Kyriaki Kalimeri / Alin Moldoveanu / Arni Kristjansson / Runar Unnthorsson: Model-based Obstacle Sonification for the Navigation of Visually Impaired Persons. [online] In: Proceedings of the 19th International Conference on Digital Audio Effects. Hg. von Brno University of Technology. (DAFx-16, Brno, 05.-09.09.2016) Brno 2016. PDF. [online]

  • Roland Spinola: Arbeitsweise des Gehirns berücksichtigen: Der Nutzen des Herrmann Dominanz Instruments (HDI) bei der Einstellung von Weiterbildnern auf individuelle Lernstile. In: Weiterbildung 1 (1988), H. 4, S. 44–48. [Nachweis im GVK] Fortsetzung: Jedem der vier Quadranten zur Geltung verhelfen. In: Weiterbildung 2 (1989), H. 3, S. 33–34. [Nachweis im GVK]

  • Alexandra Supper: The Search for the "Killer Application": Drawing the Boundaries around the Sonification of Scientific Data. [Nachweis im GVK] In: The Oxford Handbook of Sound Studies. Hg. von Trevor Pinch / Karin Bijsterveld. Oxford 2012. S. 249–272. [Nachweis im GVK]

  • David A. Wardle: The Time Delay in Human Vision. In: The Physics Teacher 36 (1998), H. 7, S. 442–444. [Nachweis im GVK]

  • Torsten Wörtwein / Boris Schauerte / Karin Müller / Rainer Stiefelhagen: Mobile Interactive Image Sonification for the Blind. In: Computers Helping People with Special Needs ICCHP 2016. Hg. von Klaus Miesenberger / Christian Bühler / Petr Penaz. 2. Bände. (ICCHP: 15, Linz, 13.-15.07.2016) Cham u.a. 2016. Bd. 1, S. 212–219. [Nachweis im GVK]

  • Haixia Zhao / Catherine Plaisant / Ben Shneiderman: iSonic: Interactive Data Sonification for Blind Users. University of Maryland, 2005. MP4. In: Youtube. Beitrag vom 11.09.2013. [online]

Softwareverzeichnis

  • Bruce N. Walker: Sonification Sandbox. Hg. von School of Psychology, Georgia Institute of Technology. Version 6.2beta. Atlanta, GA. 2009. [online]

  • Sonifyer. Hg. von Hochschule der Künste Bern. Version 1.7.7. Bern 2013. [online]

  • Robert M. Candey / Anton M. Schertenleib: xSonify. Hg. von NASA Space Physics Data Facility. Version 1.4. Greenbelt, MD. 2014. [online]

Weiterführende Literatur

  • Stephen Barrass: The aesthetic turn in sonification towards a social and cultural medium. In: AI & Society 27 (2012), H. 2, S. 177–181. [Nachweis im GVK]

  • Franco Delogu / Marta Olivetti Belardinelli / Massimiliano Palmiero / Emanuele Pasqualotto / Haixia Zhao / Catherine Plaisant / Stefano Federici: Interactive sonification for blind people exploration of geo-referenced data: comparison between a keyboard-exploration and a haptic-exploration interfaces. In: Cognitive Processing 7 (2006), Supp. 1, S. 178–179. [Nachweis im GVK]

  • Jack Jamieson: What Does Data Sound Like? In: OpenShelf. Beitrag vom 01.02.2016. HTML/MP4. [online]

  • Katie Legere: There’s Information in Music and Music in Information. In: OpenShelf. Beitrag vom 01.02.2016. HTML/MP3. [online]

  • Daniel C. Richardson / Nicole K. Griffin / Lara Zaki / Auburn Stephenson / Jiachen Yan / John Hogan / Jeremy I. Skipper / Joseph T. Devlin: Measuring narrative engagement: The heart tells the story. In: BioRxiv. Preprint vom 20.06.2018. DOI: 10.1101/351148

  • C. W. Smith / G. F. Burke / James A. Rooney: Experiments involving sonification of liquid helium at 4.2 K in the cathode-anode interspace of a photodiode tube. In: Journal of the Acoustical Society of America 60 (1976), H. 2, S. 378–383. [Nachweis im GVK]

  • Stuart Smith: Data sonification: issues and challenges. In: 1991 IEEE ASSP Workshop on Applications of Signal Processing to Audio and Acoustic. (IEEE 1991, New Paltz, NY., 20.-23.10.1991) New York, NY. 1991. [Nachweis im GVK]

  • Jonathan Sterne / Mitchell Akiyama: The Recording That Never Wanted to Be Heard and Other Stories of Sonification. [Nachweis im GVK] In: The Oxford Handbook of Sound Studies. Hg. von Trevor Pinch / Karin Bijsterveld. Oxford 2012. S. 544–560. [Nachweis im GVK]

  • David Worrall: Realtime Sonification and Visualization of Network Metadata (The NetSon Project). Handle: 1853/542041853/54204 In: ICAD 15 proceedings of the 21st International Conference on Auditory Display. Hg. von Katharina Vogt. (ICAD: 21, Graz, 08.-10.07.2015) Graz 2015, S. 337–339. Handle: 1853/542041853/54204