Vortrag Prof. Dr. Christoph Reuter (Institut für Musikwissenschaft, Universität Wien)

Seit den 2010er Jahren bieten Audiosignalanalyse-Bibliotheken neue und umfangreiche Möglichkeiten zur automatisierten Klanganalyse. Mit den Javascript-Bibliotheken P5 und ML5 werden im Fachbereich Systematische Musikwissenschaft der Universität Wien seit 2019 neuartige Online-Anwendungen entwickelt, die sowohl Lehrenden als auch Studierenden eine schnelle und praktische Möglichkeit bieten, Daten aus Audio- und Videodateien zu extrahieren. Diese Anwendungen bieten verschiedene Möglichkeiten der Audiosignalanalyse mit Fokus auf Tonhöhe, Klangfarbe, Onset-Erkennung, Formant-Erkennung, spektrale Merkmale etc. sowie automatische audiosynchrone Bewegungsanalyse (Pose-Tracking, Hand-Tracking), Ausdrucks-/Emotionsanalyse (Face-Tracking) oder die Erkennung von Valenz und Arousal während des Musikhörens. Die Einbindung externer Geräte ist mit den neuen Javascript-Bibliotheken ebenfalls möglich, wie z.B. die Verbindung mit einem Muse S EEG-Stirnband via Bluetooth inkl. Datenverarbeitung und Visualisierung der empfangenen Daten.
Die während des Vortrags vorgestellten SINES Tools sind online frei verfügbar und können für beliebige wissenschaftliche Untersuchungen eingesetzt werden.