Wie passen Musik und Informatik zusammen? Welche Verfahren können verwendet werden, um Musik mithilfe von Computern zu analysieren? Welche Anwendungsszenarien könnten auf den Analyseergebnissen aufsetzen? Das sind einige der Fragen, die der Workshop „Musik trifft Informatik“ auf der Jahrestagung 2017 der Gesellschaft für Informatik zu beantworten versuchte. 16 Forschergruppen aus Deutschland, Österreich und Großbritannien präsentierten dort ihre Forschungsergebnisse und prototypische Anwendungen.[1]
Abbildung 1: Logo der Tagung „Informatik2017“, Fotograf: Sebastian Heil / INFORMATIK 2017 / TU Chemnitz
Vom 25. bis 29. September 2017 fand an der Technischen Universität Chemnitz die 47. Jahrestagung der Gesellschaft für Informatik (GI) statt. Die von ca. 700 Teilnehmern besuchte Tagung stand unter dem Motto „Digitale Kulturen“ und bot ein vielfältiges Programm mit 220 Vorträgen, die in 37 Workshops und Tutorials sowie zwei Plenumsveranstaltungen gegliedert waren. Einer der Workshops trug den Titel „Musik trifft Informatik“ und soll in diesem Bericht näher betrachtet werden. Dabei geht es auch um die Frage, ob die in diesem Workshop vorgestellten Forschungen für Bibliotheken und speziell für Musikbibliotheken relevant sein könnten. Der Tagungsband der gesamten GI-Jahrestagung 2017 ist Tagungsband Informatik2017, die 14 Beiträge des Workshops „Musik trifft Informatik“ sind im 2600 Seiten umfassenden Tagungsband ab der Seite 47 zu finden. Alle 14 Workshop-Beiträge wurden in Chemnitz anhand von Postern präsentiert; 6 von diesen Beiträgen wurden auch in Vorträgen vorgestellt.
Musik kommt in verschiedenen Medienformen vor; zu einem musikalischen Werk gibt es Noten (in gedruckter oder auch in gescanntem Format) und meist auch Interpretationen auf Tonträgern oder in Form von Audio- bzw. Video-Dateien. Computergestützte Methoden können auf alle Formen der Musik angewendet werden. Bei dem Workshop in Chemnitz lag ein Schwerpunkt auf der computergestützten Analyse von Audio-Dateien, der sogenannten Audio-Signalverarbeitung. Andreas Arzt vom Institut für Computational Reception an der Johannes-Kepler-Universität in Linz stellte ein Forschungsprojekt vor, bei dem eine Audiodatei oder ein Live-Stream einer Musikaufführung analysiert und mit dem dazugehörigen Notentext in Verbindung gebracht wird (dieses Verfahren bezeichnet man auch als „score following“). Der Benutzer soll zu jedem Zeitpunkt am Notentext erkennen, welcher Takt gerade gespielt wird. Das in Linz entwickelte System kam u.a. bei einer Aufführung von Richard Strauss‘ Alpensinfonie durch das Concertgebouw-Orchester in Amsterdam zum Einsatz. Die Zuhörer konnten bei Interesse die Partitur der Alpensinfonie während des Konzertes auf Tablet-Computern mitlesen.
Das „score following“-Verfahren wurde auch bei einem Forschungsprojekt eingesetzt, das in Kooperation der International Audio Laboratories in Erlangen mit dem Lehrstuhl für Informatik 6 (Datenmanagement, Prof. Dr. Klaus Meyer-Wegener) der Friedrich-Alexander-Universität Erlangen-Nürnberg durchgeführt wurde. Das entsprechende Poster beim Workshop in Chemnitz trug den Titel „Die Oper als Multimediaszenario: Wagners Walküren gehen online“. Es ging dabei um die Synchronisierung verschiedener über YouTube frei verfügbarer Videos der Wagner Oper „Die Walküre“ untereinander sowie mit dem entsprechenden Notentext und dem Libretto. Die Synchronisierungsinformationen wurden zum Teil manuell und zum Teil automatisiert ermittelt. Beispielsweise wurden die Taktanfänge innerhalb einer Video-Aufnahme mit der Software „Sonic Visualizer“ manuell erstellt und die Taktanfänge der anderen Video-Aufnahmen automatisiert ermittelt anhand der Referenz-Informationen aus der ersten Video-Aufnahme. Der in Chemnitz vorgestellte webbasierte Demonstrator ist online verfügbar, so dass jeder einen Eindruck von den Ergebnissen dieses Forschungsprojektes erhalten kann.
Frank Scherbaum vom Institut für Erd- und Geowissenschaften der Universität Potsdam hielt einen Vortrag mit dem Thema „Rechnergestützte Musikethnologie am Beispiel historischer Aufnahmen mehrstimmiger Musik georgischer Vokalmusik“. Er analysierte mit rechnergestützten Verfahren die im Jahr 1966 entstandenen Tonaufnahmen des georgischen Meistersängers Artem Erkomaishvili. Die mehrstimmige georgische Vokalmusik ist seit 2001 Bestandteil des immateriellen UNESCO-Weltkulturerbes. Ihre Harmonik unterscheidet sich sehr stark von der in der Musik der westlichen Welt üblichen Harmonik mit den 12 verschiedenen Halbtönen pro Oktave. Die georgische Vokalmusik ist nur mündlich überliefert und enthält für „westliche Ohren“ oft ungewohnte Intervalle, Harmonien und Harmoniefolgen. Frank Scherbaum hat rechnergestützte Audioanalyse-Methoden auf diese Musik angewendet und auf diese Weise Informationen zu den speziellen georgischen Intervallen und Harmonien erhalten. Er hat auch selbst weitere Tonaufnahmen während mehrerer Forschungsaufenthalte in Georgien erstellt und dort Kehlkopfmikrofone eingesetzt, um die Einzelstimmen der verschiedenen Sänger besser voneinander trennen zu können.
Hannah Lukashevich stellte das Projekt „Soundslike“ vor. Sie kommt vom Fraunhofer-Institut für Digitale Medientechnologie (IDMT) in Ilmenau, das vom Erfinder des mp3-Formats, Prof. Karl-Heinz Brandenburg, geleitet wird. Im Soundslike-Projekt wurde eine große Datenbank aufgebaut, in der automatisch extrahierte Merkmale aus Audioaufnahmen (z.B. zur Harmonie, zum Rhythmus und zum Tempo der Musik) abgespeichert wurden. Diese Informationen wurden dann dazu verwendet, dem Benutzer ähnliche Musikstücke vorzuschlagen. Die am IDMT entwickelte Technologie kommt auch bei der Gesellschaft für Konsumforschung zum Einsatz, um in 10.000 repräsentativ ausgewählten deutschen Haushalten anhand von Audio-Fingerprinting das TV-Verhalten zu ermitteln.
Der letzte Vortrag beim Workshop in Chemnitz trug den Titel „Versionsübergreifende Visualisierung harmonischer Abläufe: Eine Fallstudie zu Wagners Ring-Zyklus“. Dort wurde ein Kooperationsprojekt zwischen den International Audio Laboratories Erlangen und dem Institut für Musikwissenschaft der Universität des Saarlandes vorgestellt, bei dem Aufnahmen von Wagners Ring mit computergestützten Methoden analysiert wurden und die Harmonik im Zeitverlauf visuell dargestellt wurde. Diese Visualisierung kann dabei helfen, musikwissenschaftliche Fragestellungen zu beantworten wie z.B. die Hypothese der „wandernden Tonalitäten“ bei Wagner oder den Begriff der „dichterisch-musikalischen Periode“. Obwohl die Musikinformatik eine sehr interdisziplinäre Fachrichtung ist, war diese Fallstudie zu Wagners Ring-Zyklus das einzige in Chemnitz vorgestellte Projekt, bei dem ein Lehrstuhl für Musikwissenschaft einer der Projektpartner ist.
Aus der Sicht von Musikbibliotheken sind einige der im Chemnitzer Workshop vorgestellten Projekte durchaus interessant. Bei der Überlegung, welche der vorgestellten Systeme oder Technologien in Musikbibliotheken eingesetzt werden könnten, stößt man allerdings aus rechtlichen und implementationstechnischen Gründen schnell an Grenzen. Das in Deutschland gültige Urheberrecht und Leistungsschutzrecht verbietet die Online-Bereitstellung von Werken, deren Urheber noch keine 70 Jahre tot sind, und von Aufnahmen, die jünger als 70 Jahre sind. Es gibt daher in Musikbibliotheken wenige Audio-Aufnahmen, auf die man die in Chemnitz vorgestellten Systeme anwenden könnte, ohne dass die Bereitstellung des Systems auf die Räume der Bibliothek beschränkt wäre. Eine weitere Schwierigkeit betrifft den Prozess der Softwareentwicklung. Die meist an Universitäten oder anderen Forschungseinrichtungen entwickelten Systeme schaffen selten den Übergang von einem Prototyp zu einem produktiven System. Um eine Software produktiv einsetzen zu können, sind zeitaufwändige Weiterentwicklungen am Prototyp notwendig, die allerdings für die Universitäten weniger interessant sind. Somit müsste diese Weiterentwicklung und auch die weitere Wartung und Pflege der Software von den Bibliotheken geleistet werden. Da die Bibliotheken bei der Erstellung des Prototyps nicht eingebunden waren, fehlt ihnen allerdings dazu oft das notwendige Know-How.
[1] Dieser Bericht erschien auch in der Ausgabe 6/2018 der Zeitschrift b.i.t.online
Jürgen Diet, stellv. Leiter der Musikabteilung der Bayerischen Staatsbibliothek