Bewegungssonifikation: Psychologische Grundlagen und Auswirkungen der Verklanglichung menschlicher Handlungen in der Rehabilitation, im Sport und bei Musikaufführungen

Definitionen: Sonifikation und Bewegungssonifikation

Der Begriff Auditory Display umfasst alle Aspekte der Mensch-Computer-Interaktion, die Klang als Antwort auf Daten zum Ziel haben (Hermann, Hunt & Neuhoff, 2011). Sonifikation als Kernelement von Auditory Displays wird hingegen als Technik der Klangwiedergabe auf Basis von Daten und Interaktionen beschrieben. Diese kann im Sinne der Kriterien von Hermann (2008) als wissenschaftliche Methode bezeichnet werden, sofern a) der Klang objektive Eigenschaften der Daten widerspiegelt und b) die Transformation der Daten zu einem Klang systematisch erfolgt. Zudem sollte c) die Sonifikation reproduzierbar sein und d) das System auch mit unterschiedlichen Input-Daten funktionieren.

Kramer et al. (1999) beschreiben Sonifikation als „[...] the use of nonspeech audio to convey information“ (S. 3) und ergänzen im Hinblick auf die Anwendungsziele Folgendes: „[...] sonification is the transformation of data relations into perceived relations in an acoustic signal for the purposes of facilitating communication or interpretation“ (ebd.). Diese Definitionen fokussieren zusätzlich den kommunikativen Aspekt von Sonifikation. Die Anwendungsziele einer Sonifikation hängen immer stark zusammen mit der jeweiligen Technik, die bei einer Verklanglichung von Daten genutzt wird, und der Funktion der auditiven Darstellungen. Technik und Funktion sind jedoch stark miteinander verbunden, sodass Grenzen zwischen den Kategorien verschwimmen (Walker & Nees, 2011). Im Hinblick auf die folgenden Erläuterungen in diesem Artikel scheint daher eine eindeutige Begriffsbestimmung notwendig, um die Methoden hier angeführter Studien besser nachvollziehen zu können. Tabelle 1 bietet einen Überblick über unterschiedliche Sonifikationstechniken mit kurzen Erklärungen und Anwendungsbeispielen. Diese Übersicht erhebt keinen Anspruch auf Vollständigkeit, alle aufgeführten Sonifikationstechniken enthalten jedoch Attribute, die den zuvor genannten definitorischen Kriterien einer Sonifikation entsprechen (vgl. Hermann, 2008).

Insbesondere bei Anwendungen von Parameter-Mapping Sonifikationen (siehe Tabelle 1) spielen Mapping-Strategien eine entscheidende Rolle, also die Entscheidungen, welche Dateneigenschaften in Anwendung welcher Transferfunktion mit welchen klangerzeugenden Parametern verknüpft werden (Grond & Berger, 2011; vgl. Hermann, 2010). Bei der Verwendung von Parameter-Mapping Sonifikationen wird oftmals auf ein sogenanntes one-to-one Mapping zurückgegriffen, d. h. eine Dateneigenschaft wird mit einer Klangeigenschaft verknüpft (z. B. Geschwindigkeitswerte von Armbewegungen mit der Tonhöhe eines Klanges; für einen Überblick zu verschiedenen Dimensionen physikalischer und auditiver Eigenschaften siehe Dubus & Bresin, 2013).

Übergreifende Definitionen von Bewegungssonifikationen erscheinen aufgrund der Vielzahl an verschiedenen Anwendungsbereichen eher schwierig. Somit rücken die unterschiedlichen Funktionen von Bewegungssonifikationen in verschiedenen Anwendungs- und Forschungsfeldern in den Vordergrund. Hier unterscheidet Höner (2011) grob drei Bereiche: 1. Sonifikationen, die in Zusammenhang mit gesundheitsfördernden Übungen im Rahmen von Physiotherapie und Rehabilitation stehen; 2. unterhaltungsbezogene Sonifikationen, die Anwendung in Computer-Spielen, virtuellen 3D-Räumen oder Sportspielen finden; 3. leistungsbezogene Sonifikationen, die zu trainingswissenschaftlichen und diagnostischen Zwecken eingesetzt werden. Effenberg (2011) bietet folgende Erläuterung zum Ansatz von Bewegungssonifikationen: „Movement sonification, the sonification of human movement patterns is a new approach for creating ‘authentic’ acoustic movement sounds. This is achieved by transforming computed - kinematic as well as dynamic - movement parameters into sound“ (S. 548).

Als interaktive Sonifikationen werden hauptsächlich solche Verklanglichungen bezeichnet, die online oder in Echtzeit durch menschliche Handlungen verändert werden können. „Interactive Sonification is the discipline of data exploration by interactively manipulating the data’s transformation into sound“ (Hunt & Hermann, 2011, S. 274). So ergeben sich konzeptionelle Überschneidungen mit bereits etablierten Interaktionsansätzen wie der Human-Computer-Interaction (Hewett et al., 1992) oder des Sonic Interaction Designs (Serafin et al., 2011; für Begriffserklärungen und Anwendungsbeispiele siehe Tabelle 1). Viele der im Folgenden aufgezeigten Methoden beinhalten interaktive Echtzeit-Sonifikationen, die je nach Anwendung mit unterschiedlichen Forschungszielen eingesetzt werden, beispielsweise zur Leistungsverbesserung im Sport (Effenberg et al., 2016; Schaffert, 2011) oder zur Gestaltung eines interaktiven Performance-Systems (Aylward & Paradiso, 2006; Landry, Ryan & Jeon, 2014). Dem gegenüber stehen Bewegungssonifikationen, die zuvor aufgenommene Daten („pre-recorded“, Hermann et al., 2012) verklanglichen, um diese als auditives Bewegungsfeedback in Wahrnehmungsexperimenten (Effenberg, 2000; Effenberg & Schmitz, 2018; Hohagen & Wöllner, 2016) oder Evaluationsparadigmen (Hohagen & Wöllner, 2017) einzusetzen. In der Fachliteratur hat sich bislang kein einheitlicher Begriff für diese Art von Sonifikationen etabliert, nachfolgend werden sie daher vereinfacht als Post-Performance Sonifikation bezeichnet (siehe Ng et al., 2007).

Zudem soll an dieser Stelle noch der Begriff des auditiven Feedbacks genauer bestimmt werden, da in vielen der nachfolgend beschriebenen Studien Bewegungssonifikationen mit dem Ziel eingesetzt werden, auditive Bewegungsrückmeldungen zu liefern. Sigrist et al. (2013) unterscheiden zwei Subkategorien auditiven Feedbacks. Einerseits kann eine auditive Rückmeldung in Form von augmentierten Informationen über die Bewegungen stattfinden (auditive Alarme, Sonifikation von Bewegungsvariablen oder Sonifikation von Bewegungsfehlern), andererseits können die bei einer Bewegung erzeugten natürlichen Bewegungsklänge als „natural auditory feedback“ fokussiert oder verstärkt werden (Kennel & Pizzera, 2015). An anderer Stelle wird ebenso der Begriff des auditiven Biofeedbacks verwendet, der die Datengenerierung für Sonifikationen auf Basis körperlicher Aktivität verdeutlicht (Dozza et al., 2011; Hermann, 2008).

Bedeutung und Ästhetik von Bewegungssonifikationen in künstlerischer Performance und empirischer Forschung

Forschungsprojekte im Bereich der Bewegungssonifikation haben sowohl die Intention, grundlegende Wahrnehmungsprozesse experimentell zu untersuchen, als auch das Ziel, verschiedene Effekte von Sonifikationen auf Bewegungsleistungen in anwendungsorientierten Studien zu erforschen. Außerdem erleben Bewegungssonifikationen eine wachsende Bedeutung im Bereich interaktiver künstlerischer Performances. So entscheidet sich ein Performance-Künstler für eine interaktive Bewegungssonifikation aufgrund der ästhetischen Qualität der Sonifikation im Rahmen eines multimedialen Live-Auftritts (Mitchell & Heap, 2011; Renaud et al., 2014), ein Sportwissenschaftler hingegen wählt eine Sonifikationsmethode zur experimentellen Untersuchung der Wirkung eines erweiterten auditiven Feedbacks auf das Erlernen einer sportart-spezifischen Bewegung (Schaffert et al., 2011; für einen Überblick siehe Sigrist et al., 2013).

Künstlerische Performances verwenden seit langem verschiedene Formen der Sonifikation. Sie unterscheiden sich in der Regel von traditionellen Instrumenten dadurch, dass Klänge über Gesten gesteuert werden und der Klang nicht durch direkten Kontakt der Musiker mit einem physischen Klangerzeuger angeregt wird. Daher kann bereits das Theremin in den 1920er Jahren als eine frühe Form der Verklanglichung von Bewegungen gesehen werden (Theremin, 1996; vgl. Wöllner, 2019). Entscheidend für gelingende Aufführungen ist die vom Publikum erlebte enge Verknüpfung von Geste und Klang, die zunächst durch überzeugende Klänge, aber auch durch technische Bedingungen wie geringe Latenzen und eine geschickte Lautsprecherpositionierung erreicht werden. Chion (1983) prägte den Begriff des „kausalen Hörens“ beim Publikum, der besonders für Sonifikationen relevant erscheint: Klänge sollten real oder in der Vorstellung auf bestimmten Handlungen beruhen, die diese Klänge hervorrufen (vgl. Rovan & Hayward, 2000). Zu den bekannteren „Controllern“, die in zahlreichen Performances eingesetzt werden, gehören Datenhandschuhe (Fels et al., 2002; Rodgers, 2010), oder Motion-Capture-Systeme (Dobrian & Bevilacqua, 2003). Fragen der Übertragung (Mapping) spielen hierbei wie in anderen Anwendungsbereichen eine entscheidende Rolle.

Zusätzlich zur Anwendung von Sonifikationen in künstlerischen Performances gibt es zahlreiche Forschungsprojekte, in denen Bewegungssonifikation im Sinne einer wissenschaftlichen Methode eingesetzt wird (vgl. Hermann, 2008). Aus musikpsychologischer Perspektive ist insbesondere interessant, mit welchem Ziel welche Klänge verwendet werden, um Effekte auf die sportliche oder musikalische Leistung oder die Rehabilitation zu untersuchen, die über die Intention einer künstlerischen Performance hinaus gehen. Dabei ist die Frage nach der Ästhetik von Sonifikationen auch im Bereich der experimentellen Forschung sehr relevant (Barrass & Vickers, 2011; Grond & Hermann, 2012; Schaffert, Mattes, Barrass & Effenberg, 2009; Vickers, Hogg & Worrall, 2017).

Nachfolgend bietet dieser Artikel sowohl eine Übersicht von Studien in verschiedenen Anwendungsbereichen als auch eine Erläuterung von Zielen aus der Grundlagenforschung im Bereich der Bewegungssonifikation. Zuvor werden Theorien und Modelle zentraler psychologischer Vorgänge bei der Ausführung und Wahrnehmung von sonifizierten Bewegungen vorgestellt.

Psychologische Grundlagen

Entscheidende Theorien zu beteiligten Prozessen bei der Bewegungswahrnehmung werden oft mit dem Begriff der Wahrnehmungs-Handlungs-Kopplung („perception-action coupling“) überschrieben (Loula et al., 2005; Novembre & Keller, 2014; Wöllner et al., 2012). Diese spielt auch bei der Erforschung von Bewegungssonifikationen eine wichtige Rolle, sowohl im Sport (Effenberg & Schmitz, 2018; Schmitz & Effenberg, 2012) als auch im Zusammenhang mit interaktiven Performance-Systemen (Hermann, 2011; Serafin et al., 2011). Als einer der grundlegenden Ansätze gilt die Common-Coding Theory (Prinz, 1997), welche beschreibt, dass Wahrnehmungssysteme und motorische Systeme Repräsentationen gleicher Handlungen teilen. Diese Annahme beeinflusst Theorien zur Bewegungsplanung und Ansätze zu Funktionen von auditiven Bewegungsrückmeldungen, die auf die Bewegungshandlungen einwirken, sogenannte auditive Reafferenzen (Kennel et al., 2015; Kennel & Pizzera, 2015; Pizzera et al., 2017). So ist es nach der Annahme interner Modelle zur Bewegungsplanung (Wolpert & Flanagan, 2001) möglich, durch auditives Feedback Bewegungen während des Ausführungsprozesses anzupassen, anhand von Training die Kopplung auditiver Wahrnehmung und Handlungsausführung besser zu verstehen und somit Bewegungsabläufe zu optimieren oder Bewegungen wieder zu erlernen (Sigrist et al., 2013).

Bei motorischen Lernprozessen steht jedoch nicht nur die Planung von Bewegungsausführung im Vordergrund, sondern auch die mit ihr eng zusammenhängenden Vorgänge multimodaler Wahrnehmung. Im Hinblick auf die Funktion von Bewegungssonifikationen als auditive Rückmeldungen scheinen grundlegende Mechanismen multimodaler Integration eine wichtige Rolle zu spielen, da auditives Feedback oftmals in Ergänzung („augmented“) zu visuellen oder haptischen Rückmeldungen einer Bewegungshandlung auftritt. Erkenntnisse über die Beeinflussung visueller Wahrnehmungsprozesse durch zusätzliche auditive Sinneseindrücke (McGurk & MacDonald, 1976) sind ebenso von Bedeutung beim Wahrnehmen und Erlernen von Bewegungssonifikationen im Sport (Effenberg et al., 2016), in der Rehabilitation (Vinken et al., 2013) oder in künstlerischen Performances (Caramiaux et al., 2011; für einen Überblick zu Wahrnehmungsprozessen audiovisueller Integration siehe Koelewijn, Bronkhorst & Theeuwes, 2010).

In einigen der hier angeführten Studien liegen experimentellen Wahrnehmungstests sogenannte Selbst-Fremd-Erkennungsparadigmen zu Grunde, um zu untersuchen, ob Teilnehmer in der Lage sind, ihre eigenen Bewegungen von anderen zu unterscheiden. Neben Fragen zur Bedeutung visuell dargestellter Bewegungsinformationen zur erfolgreichen Bewältigung dieser Aufgabe (Knoblich & Prinz, 2001; Loula et al., 2005), scheint auch die Wirkung von auditiven und audiovisuellen Darstellungen mit Musik (Sevdalis & Keller, 2010; Wöllner, 2012), Bewegungssonifikationen (Hohagen & Wöllner, 2016; Schmitz & Effenberg, 2012) und natürlichem auditivem Feedback (Effenberg, Fehse & Weber, 2011; Kennel, Hohmann & Raab, 2014; für einen Überblick siehe Pizzera & Hohmann, 2015) auf die Selbst-Erkennung von besonderem Interesse. Dabei liegen diesem Prozess nicht nur Vorgänge der Wahrnehmungs-Handlungs-Kopplung zu Grunde, sondern ebenso Mechanismen, die auf Erfahrungen eines aktiven Selbst beruhen und auf die Urheberschaft einer Handlung (Agency) hinweisen (Jeannerod, 2003). Personen simulieren innerlich Handlungen Anderer und können sie so besser nachvollziehen. Dieser Mechanismus hängt wiederrum eng mit dem Common-Coding Ansatz zusammen und tritt auch bei der Erkennung klangbezogener Bewegungen auf (Keller, Knoblich & Repp, 2007; Knoblich & Repp, 2009; Sevdalis & Keller, 2010; Wöllner, 2012; 2014). Dementsprechend liegt die Vermutung nah, dass Agency-Prozesse auch bei der Erkennung von Sonifikationen, die Informationen zu eigenen und fremden Bewegungen enthalten, in verschiedenen Anwendungsbereichen relevant sind.

Sowohl im Rahmen interaktiver Sonifikationssysteme, als auch bei kontrollierten Experimenten zur Bewegungswahrnehmung mit auditivem Feedback spielt der Ansatz des Embodiments eine wichtige Rolle. Ähnlich der Darstellung von Agency-Mechanismen wird Embodied Cognition als Konzept zur Beschreibung kognitiver Prozesse angesehen, die auf Basis von Bewegungsempfindungen im „Inneren“ des menschlichen Körpers stattfinden (Leman, 2008). Dessen Bedeutung ist für musikalische Performances und musikalische Gesten bereits ausführlich behandelt worden (Godøy & Leman, 2010; für einen Überblick zu „Embodied Music Interaction“ siehe auch Lesaffre, Maes & Leman, 2017), bietet allerdings auch für den Einsatz von Bewegungssonifikationen in der Rehabilitation (Lesaffre et al., 2015; Schmitz, Kröger & Effenberg, 2014) und insbesondere im Tanz (Diniz et al., 2012; Frid et al., 2016; Naveda & Leman, 2008) eine Erklärungsgrundlage für Effekte auf Bewegungsprozesse. Dabei stellt eine Echtzeit-Sonifikation von Bewegungsdaten domänenübergreifend ein gutes Beispiel dar, denn je nach Setting wird dann nicht nur Bewegung verklanglicht, sondern gleichzeitig auch Klang verkörpert.

Zusammengefasst lässt sich sagen, dass bei der Erforschung von Bewegungssonifikationen auf ein sehr breites theoretisches Fundament zurückgegriffen werden kann, dessen Ansätze anhand von vielen empirischen bewegungs- und musikpsychologischen Untersuchungen bestätigt worden sind. Entscheidend bei der Implementierung von Bewegungssonifikationen in experimentelle Studiendesigns ist jedoch vor allem eine systematische Strategie des Sonifikationskonzeptes, um relevante Parameter der Bewegungs- und Klangdimension zu bestimmen. Der folgende Überblick zu Forschungsprojekten in den Bereichen Rehabilitation, Sport, Musik und Tanz soll einen Eindruck vermitteln, welche Erkenntnisse und Herausforderungen sich dabei herauskristallisieren.

Sonifikation als Unterstützung von Bewegungsrehabilitation nach Schlaganfällen

Ein wichtiger Anwendungsbereich von Bewegungssonifikationen liegt in der Rehabilitation von Schlaganfallpatienten. In einer Studie von Robertson et al. (2009) konnte gezeigt werden, dass auditives Feedback in Form einer Echtzeitsonifikation von Greifbewegungen bei Schlaganfallpatienten mit Schäden in der rechten und linken Hemisphäre (RHD und LHD) unterschiedlich wirkt. Die Bewegungssonifikation – bestehend aus einem Mapping von räumlichen Informationen der Bewegung mit der Lautstärke des Klangs – führte in der LHD-Gruppe zu abfallenden kinematischen Leistungen im Vergleich zu Greifbewegungen ohne Feedback. In der RHD-Gruppe gab es hingegen keinen Effekt des Feedbacks. Robertson et al. betonen, dass die Unterschiede von Reaktionen auf auditive Rückmeldungen zwischen Patienten mit Läsionen in verschiedenen Hemisphären noch nicht ausreichend erforscht wurden und so die Ergebnisse schwierig zu interpretieren sind.

Zudem gibt es weitere Projekte, die verschiedene technische Geräte zur Untersuchung der Wirkung von auditivem Feedback in Form einer Echtzeit-Bewegungssonifikation auf die Bewegungsrehabilitation von Schlaganfallpatienten entwickeln und evaluieren. So gibt es erste Pilotstudien zur Evaluation der Handhabbarkeit, Klang-Ästhetik und Latenz bei Sonifikationen von Armbewegungen, die mit Hilfe von Inertial-Sensor-Systemen (Messung von Beschleunigungen und Rotationen der Bewegung) realisiert werden (Brückner, Theimer & Blume, 2014; Schmitz, Kröger & Effenberg, 2014; Schmitz et al., 2018; Vinken et al., 2013). Ergebnisse einer Evaluation verschiedener zweidimensionaler Parameter-Mappings zeigen, dass insbesondere eine Verknüpfung von vertikalen Bewegungsdaten mit der Tonhöhe eines Klanges für eine Bewegungssonifikation in einem Setting mit Schlaganfallpatienten wirksam sein könnte (Scholz et al., 2014). Curser-Bewegungen auf der x-Achse wurden hier mit Veränderungen der Helligkeit des Klangs und Bewegungen auf der y-Achse mit Tonhöhenveränderungen verknüpft. Chen, Fujii und Schlaug (2016) konnten erste Ergebnisse im Hinblick auf die kurzzeitige Verbesserung der Greifleistung bei Schlaganfallpatienten mit auditivem Feedback vorweisen. Hier wurde für die Bewegungssonifikation ein Algorithmus genutzt, der Fehler der an den Greifbewegungen beteiligten Gelenkstellungen mit einem dissonanten und somit weniger angenehmen Klang rückmeldete.

Der Blick auf die hier dargestellten Methoden und Ergebnisse im Bereich der Schlaganfallrehabilitation zeigt zusammenfassend, dass zumeist durch einfache und intuitive Parameter-Mapping-Sonifikationen (Grond & Berger, 2011) versucht wurde, die Armbeweglichkeit der Teilnehmer zu verbessern bzw. die Wiedererlangung vorheriger Bewegungsfähigkeiten zu unterstützen. Zur Messung der Effekte des auditiven Feedbacks wurden insbesondere Greiftests verwendet. In diesem Bereich gibt es viele Berichte zu Forschungsprojekten, die sich mit der Wirkung auditiven Feedbacks auseinandersetzen (Maulucci & Eckhouse, 2001; Petersen et al., 1996; Wallis et al., 2007), auch in Verbindung mit Roboter-unterstützem Bewegungstraining bei Schlaganfallpatienten (Secoli et al., 2011; für einen Überblick siehe Rosati et al., 2013). Insgesamt gibt es jedoch nicht ausreichende Ergebnisse, die auf Basis randomisiert-kontrollierter Experimente in diesem Bereich erzielt wurden, um die Stärke von Effekten durch eingesetzte Bewegungssonifikationen auf die Bewegungsrehabilitation einschätzen zu können (Rosati et al., 2013).

Bewegungssonifikation als auditives Feedback zur Rehabilitation von Haltungs- und Gleichgewichtsschäden

Im Hinblick auf Gleichgewichtsprobleme von Schlaganfallpatienten konnte gezeigt werden, dass verschiedene Arten auditiven Feedbacks mit unterschiedlichen Sonifikationsstrategien ebenso verschieden von den Studienteilnehmern beurteilt wurden (Lesaffre et al., 2015). Patienten wurden hier in Anwendung einer als Musical Balance Board umfunktionierten Kraftmessplatte verschiedene Arten von Echtzeit-Feedback vorgestellt. Das Ziel bestand jeweils darin, anhand des auditiven Feedbacks das Gleichgewicht auf der Platte zu finden. Dabei präferierten die Teilnehmer eine assoziative Sonifikationsstrategie – d. h. je nach Gleichgewichtsleistung wurden Musikstücke aus den von den Patienten präferierten Genres mehr oder weniger manipuliert – gegenüber explorativen oder antizipatorischen Strategien. Obwohl hier unterschiedliche Strategien von Sonifikationen subjektiv bewertet wurden, gibt es noch keine Hinweise zu Lerneffekten des auditiven Feedbacks auf Basis eines objektiven Tests.

In weiteren Forschungsprojekten wurden Bewegungssonifikationen eingesetzt, um zu untersuchen, ob auditives Feedback dabei helfen kann, Haltungsschäden oder Gleichgewichtsprobleme zu mindern. Eine Sonifikation von Positionsdaten der Bewegungen gesunder Teilnehmer und solcher mit bilateraler Vestibulopathie (beidseitiger Ausfall der Gleichgewichtsorgane) führte eher zu einer Verbesserung des Gleichgewichts als ein auditives Feedback auf Basis von Geschwindigkeitsdaten (Hegeman et al., 2005).

Dozza und Kollegen fanden in mehreren Studien heraus, dass eine mehrdimensionale Bewegungssonifikation in Form eines Audio-Biofeedback-Systems (ABF) von kinematischen Bewegungsdaten das Gleichgewicht gesunder Patienten verbessert (Chiari et al., 2005), und diese Verbesserungen durch auditives Feedback nicht auf erhöhter Muskelaktivität, sondern eher auf neuronalen Prozessen beruhen (Dozza et al., 2005). Dies vermuten die Autoren auf Basis der Analyse gemessener Elektromyografie-Daten, da diese sich im Vergleich zur Bedingung ohne Feedback nicht veränderten. Des Weiteren zeigen Ergebnisse, dass auditives und visuelles Feedback erfolgreich das Erreichen der Gleichgewichtsstabilität bei gesunden Teilnehmern unterstützen (Dozza et al., 2006), jedoch in unterschiedlicher Abhängigkeit zur Aktivität einzelner Sinnesbereiche. ABF bewirkt hier eine Reduzierung der Fehlstellung des Druckmittelpunkts. Giansanti et al. (2009) konnten feststellen, dass das von der Gruppe verwendete ABF bei gesunden Teilnehmern in verschiedenen Tests zu einer Reduktion der verwendeten mechanischen Energie führt. Dozza et al. (2011) schlussfolgern auf Basis kontrollierter Tests mit unterschiedlichen Feedbackbedingungen: Je größer die Anzahl kinematischer Informationen ist, die anhand der Bewegungssonifikation des ABF-Systems gesunden Teilnehmern beim Gleichgewichtstraining rückgemeldet werden, desto besser der Effekt.

Insgesamt berichten die Autoren hier von starken – jedoch zumeist nur kurzfristigen – Verbesserungen der Haltungsstabilität und des Gleichgewichts durch den Einsatz auditiven Feedbacks, da randomisiert-kontrollierte Langzeitstudien sehr selten sind. Dennoch kann festgehalten werden, dass einige der erwähnten Ansätze bzw. technischen Geräte bereits in mehreren Studien evaluiert und deren Wirkung für die praktische Anwendung im Gleichgewichts-Trainingsprogrammen oder zur Reduzierung von Haltungsschäden erprobt ist (z. B. Dozza et al., 2011). Dabei wird zusammenfassend deutlich, dass ein auditives Feedback besonders im Hinblick auf einzelne relevante Teilelemente von Bewegungen zur Haltungsstabilität effektiv war, jedoch bei anderen nicht. Dies sollte bei zukünftigen Studien berücksichtigt werden.

Zusätzlich wird der Nutzen von Bewegungssonifikationen im Rehabilitationsbereich hinsichtlich einer verbesserten medizinischen Diagnostik überprüft, beispielsweise durch Sonifikationen von EEG-Daten (z. B. Hermann et al., 2002; Hermann, Baier et al., 2006; für einen Überblick siehe Väljamäe et al., 2013) oder EMG-Daten (z. B. Pauletto & Hunt, 2006; Matsubara et al., 2012). Dabei kann geschultes medizinisches Personal mittels Sonifikation Informationen über physiologische Variablen erlangen, die bei rein visuellen Darstellungen unerkannt bleiben würden. Zudem könnten Sonifikationen die Diagnostik dahingehend unterstützen, den visuellen Sinn zur Nutzung für andere diagnostische Anwendungen nicht zu blockieren (Hunt & Pauletto, 2011; Vickers, 2011). Pauletto und Hunt (2006) konnten im Rahmen eines Experimentes zeigen, dass eine erhöhte „Rauheit“ des Klanges der von den Autoren verwendeten Sonifikationen von Muskelbewegungen positiv mit dem Alter der Patienten korreliert und eine Mehrheit der befragten Teilnehmer den Klang zur Darstellung der EMG-Daten angemessen fand.

Sonifikationen grundlegender und sportart-spezifischer Bewegungen

In einigen Untersuchungen wurde die Wirkung von Bewegungssonifikationen auf die Lernleistung kontrollierter Bewegungsaufgaben überprüft. So konnten Oscari et al. (2012) zeigen, dass ein ergänztes auditives Echtzeit-Feedback in Form eines lautstärke-veränderten und räumlich unterschiedlich wahrgenommenen Rauschens zu einem ähnlichen Trainingseffekt führt, wie ein visuelles Feedback. Dabei war das auditive Feedback abhängig von der Stärke des Bewegungsfehlers beim Erreichen eines visuell dargestellten Ziels mit einem Roboter-Joystick. In einer weiteren Studie konnte festgestellt werden, dass ein aufgabenbezogenes auditives Feedback die Performance in einem ähnlichen Test im Vergleich zum rein visuellen Feedback verbessert, ein fehlerbezogenes Feedback (siehe Oscari et al., 2012) jedoch nicht (Rosati et al., 2012). Interessanterweise zeigten Ergebnisse eines zweiten Versuchs, dass eine Bewegungssonifikation der externen, visuell dargestellten Joystickbewegungen auf einem Monitor größere Lerneffekte erzielte, als eine Sonifikation der Armbewegungen beim Erreichen des Ziels. Diese Erkenntnisse sind insbesondere im Rahmen des Diskurses zur Wirkung eines externen und internen Fokus beim Bewegungslernen von Bedeutung und werden durch andere Studien in diesem Bereich bestätigt (für einen Überblick siehe Wulf, 2013).

Weitere Ergebnisse geben zudem Aufschluss darüber, ob Bewegungssonifikationen auch beim Erlernen einer beidhändigen Zeitverhältnisaufgabe positiv wirken, in deren Rahmen die Teilnehmer mit einer Hand ein Quadrat und mit der anderen ein Dreieck (4:3) formen sollten. Die Teilnehmer mit auditivem Feedbacktraining zeigten hier auch bei einem Retentionstest ohne Feedback bessere Leistungen als Gruppen mit rein visuellem Feedbacktraining (Dyer, Stapleton & Rodger, 2017).

In weiteren Untersuchungen wurden Bewegungssonifikationen sogenannter Counter Movement Jumps genutzt, um grundlegende Wahrnehmungs- und Lerneffekte durch auditive Bewegungsdarstellungen zu erforschen. Hier konnte Effenberg (2004) zeigen, dass Teilnehmer in einer audiovisuellen Bedingung die Höhe eines dargestellten Modell-Sprunges präziser einschätzen und besser reproduzieren konnten, als in rein auditiven oder visuellen Wahrnehmungsbedingungen. Die dabei eingesetzte ergänzende Bewegungssonifikation bestand aus einem Klang, dessen Tonhöhe sich in Abhängigkeit der Krafteinwirkung des Sprunges veränderte.

Positive Effekte von auditivem Feedback auf Bewegungs- und Wahrnehmungsleistungen konnten zudem im Hammerwerfen (Agostini et al., 2004), Basketball (Helmer et al., 2010), Sportschießen (Konttinen et al., 2004), Weitsprung (Justen et al., 2014), Gymnastikturnen (Baudry et al., 2006) oder beim Fußball (Sors et al., 2017) gezeigt werden. In weiteren Projekten wurden Sonifikationsdesigns zur Anwendung im Golf (Jakus et al., 2017; Kleimann-Weiner & Berger, 2006), Karate (Takahata et al., 2004), Goalball (Höner & Hermann, 2006), Blindminton (neu entwickeltes Spiel auf Basis auditiver Bewegungsinformationen für Sehgeschädigte; Hermann, Höner & Ritter, 2006), Skifahren (Hasegawa et al., 2012) oder beim Handball (Höner, Hermann & Grunow, 2004) entwickelt. Für die Untersuchung der Wirkung von Bewegungssonifikationen sind sowohl grundlegende Forschung mit kontrollierten Bewegungstests wichtig, als auch die Nutzung der dabei gewonnenen Erkenntnisse für das Design anwendungsbezogener Studien.

Effekte auditiven Feedbacks auf die Wahrnehmung und das Lernen zyklischer Bewegungen

Aus rein technischer Perspektive steht der Realisierung einer Sonifikation von Bewegungen in einer Vielzahl unterschiedlicher Sportarten nichts im Wege. Die Daten verschiedener Geräte zur Bewegungserfassung wie Motion-Capture-Systeme (Effenberg et al., 2005; Jakus et al., 2017; Vogt et al., 2010), mobile Beschleunigungssensoren (Eriksson, Halvorsen & Gullstrand, 2011; Schmitz et al., 2018; Vinken et al., 2013) oder Kraftmessplatten (Effenberg, 2004; Scheef et al., 2009) können mit Hilfe von entsprechenden Software- und Programmierlösungen sowie Soundmodulen in Klänge transformiert werden. Dennoch erscheinen einige Bewegungen im Sportartenspektrum zur Anwendung von Bewegungssonifikationen aufgrund der unterschiedlich beteiligten psychologischen Wahrnehmungs- und Lernprozesse besser geeignet als andere. So rücken insbesondere Sonifikationen zyklischer Bewegungen (z. B. Laufen, Rudern, Schwimmen) hinsichtlich ihres repetitiven Charakters in den Fokus, um die Effekte auditiven Feedbacks auf das Bewegungslernen zu untersuchen.

In einer der ersten empirischen Studien zur Wahrnehmung von sonifizierten Schwimmbewegungen konnte Effenberg (2000) zeigen, dass komplexere auditive Darstellungen einer Schwimmbewegung eher mit der Bewegungsempfindung schwimm- und turnerfahrener Teilnehmer korrespondiert, als einfache Bewegungssonifikationen. Zudem scheinen zu einer visuellen Darstellung kongruente Bewegungssonifikationen zu helfen, Geschwindigkeiten einer dargestellten Schwimmbewegung in einem multimodalen Wahrnehmungsparadigma besser voneinander zu unterscheiden (Schmitz et al., 2013). Effenberg und Schmitz (2018) stellten außerdem fest, dass insbesondere die Veränderung der Tonhöhe einer Sonifikation zu einer Beeinflussung der Geschwindigkeitseinschätzung der Schwimmbewegung führt.

Des Weiteren konnten verschiedene Studien der letzten Jahre belegen, inwiefern Bewegungssonifikationen als auditives Feedback im Rudersport sowohl auf Wahrnehmungsprozesse von Sportlern und Laien, als auch auf deren Verbesserungen im Bewegungslernen wirken. In einem der Forschungsprojekte untersuchten Schaffert et al. (2008) vorerst die Anpassungsfähigkeiten von Ruderern auf die zusätzliche auditive Information in Form einer Bewegungssonifikation mit bewegungsabhängigen Tonhöhen- und Lautstärkeveränderungen. Die positiven Ergebnisse wurden anhand von Evaluationen unterschiedlicher Sonifikationsvarianten durch Rudertrainer und Sportler gestützt, welche die Sonifikationen der Bootsbeschleunigung positiv bewerteten (Schaffert, Mattes, Barrass & Effenberg, 2009; Schaffert, Mattes & Effenberg, 2009). Weitere experimentelle Tests zeigten, dass die Bootsbeschleunigung beim Rennrudern im Feld mit auditivem Feedback im Vergleich zu Durchläufen ohne Sonifikationen verbessert werden konnte (Schaffert, 2011; Schaffert, Mattes & Effenberg, 2011).

Während und nach einem mehrmaligen Rudertraining auf einem Ruder-Ergometer mit audiovisuellen Feedbacks und einer vierkanaligen Sonifikation (u. a. Tonhöhe und Lautstärke) konnten Laien ihre Rudertechnik besser an die Technik eines Modellathleten anpassen, als solche Teilnehmer, die mit visuellem und natürlichem auditivem Feedback (Klänge des Ruder-Ergometers) oder lediglich mit visuellem Feedback trainierten (Effenberg, Fehse & Weber, 2011; Effenberg et al., 2016). Die positiven Effekte des auditiven Feedbacks mit dieser Sonifikationsstrategie spiegeln sich auch auf der Ebene beteiligter Wahrnehmungsprozesse ab. So konnten Schmitz und Effenberg (2012) in einem weiteren Experiment zeigen, dass Ruderexperten in der Lage waren, ihre eigenen Ruderbewegungen im Rahmen eines Selbst-Fremd-Wahrnehmungstests lediglich anhand ihrer auditiven Darstellung überzufällig wiederzuerkennen.

Eriksson, Halvorsen und Gullstrand (2011) transformierten in einer Studie zum Laufen die mechanischen Differenzen von individuellen Lauftechniken und einer Modelltechnik in verschiedene verbal geäußerte Trainingskommentare, die in Form eines auditiven Feedbacks zu hören waren. Ergebnisse zeigten, dass Läufer sowohl mit visuellem, als auch auditivem Feedback die Anpassungsleistung verbesserten.

In diesem Zusammenhang zeigen andere Studien jedoch Effekte von natürlichem auditiven Feedback beispielsweise auf die Wahrnehmungs- und Laufleistungen von Hürdenläufern. Dabei stellt sich die Frage, welche Form des auditiven Feedbacks effizienter ist. So fanden Kennel, Hohmann und Raab (2014) heraus, dass Hürdenläufer in der Lage sind, zwischen den natürlichen Klängen eigener Läufe und der Läufe anderer Teilnehmer zu unterscheiden. Im Hinblick auf die Laufleistung mit Hilfe dreier unterschiedlicher Echtzeit-Feedbacks (natürlicher Laufklang, weißes Rauschen, verspäteter natürlicher Laufklang) wurde geschlussfolgert, dass natürliches Feedback am effektivsten die Laufzeit verringert und daher entscheidend für die Wahrnehmungs-Handlungs-Kopplung bei dieser Bewegungsaufgabe ist (Kennel et al., 2015). Ergebnisse einer Studie von Murgia et al. (2016), in der die unterschiedliche Wirkung von künstlichem und natürlichem auditivem Atemfeedback untersucht wurde, bestätigen diese Befunde. Andere Studien hingegen zeigen verbesserte Lern- und Wahrnehmungsleistungen durch künstlich erzeugte Bewegungssonifikationen (Effenberg, Fehse & Weber, 2011; Effenberg et al., 2015; Effenberg et al., 2016). Die unterschiedlichen Ergebnisse verdeutlichen, wie wichtig die Auswahl des auditiven Feedbacks auch künftig für Studien ist, und dass das Feedback auch zukünftig im Forschungsdiskurs hinterfragt und evaluiert werden sollte (Dubus & Bresin, 2013).

Augmentierte Instrumente: Sonifikationen von Musizierbewegungen

In der musikpsychologischen Forschung stellt die Analyse von Bewegungen musikalischer Gesten, insbesondere von Musizierbewegungen und deren Wahrnehmung einen wichtigen Bereich dar. Sonifikationen von Musizierbewegungen wurden in den letzten Jahren vermehrt untersucht, um herauszufinden, ob ein zusätzliches auditives Feedback beim Üben hilft, wenn es unmittelbar korrekte oder fehlerhafte Bewegungen beim Musizieren an den Ausführenden rückmeldet.

In diesem Zusammenhang rückt vor allem die Sonifikation von Bewegungen beim Violinspiel in den Fokus der Forscher. Bevilacqua et al. (2006) stellten ein Projekt vor, bei dem ein Accelerometer an einem Violinbogen befestigt wurde, um so einerseits die Bogenbewegungen im Hinblick auf die Klangproduktion zu analysieren und andererseits die Bewegungsdaten im Rahmen einer eigens konzipierten elektro-akustischen Komposition zu implementieren. Andere Projekte realisierten ebenfalls eine Sonifikation von Bogenbewegungen beim Violinspiel, beispielsweise mit dem Ziel, Musikstudierenden durch einen „3D Augmented Mirror“ ein audiovisuelles Feedback zu ihren Musizierbewegungen zu geben (Larkin et al., 2008). Hier wurde ein Motion-Capture-System eingesetzt, um die Daten der Spielbewegungen zu erfassen und diese mit Hilfe verschiedener Konzepte einer Echtzeit-Sonifikation in Klang zu transformieren (diskret: Alarmglocken bei fehlerhaftem Winkel; kontinuierlich: Tonhöhenveränderung abhängig vom Abweichungsgrad des Bogenwinkels; siehe auch Ng et al., 2007). Weitere Entwickler nutzen zusätzlich zu Accelerometern Druck-Sensoren, um Musikern die Möglichkeit zu geben, den Violinklang zu kontrollieren (Demoucron & René, 2007).

Im Hinblick auf die Sonifikation musikalischer Gesten beim Klarinettenspiel entwickelten Verfaille, Quek und Wanderley (2006) ein System, das Bewegungen mit einem Motion-Capture-System erfasst und verschiedene spieltypische Bewegungseigenschaften auf unterschiedliche Weise sonifiziert. So wurden Kreisbewegungen des Klarinettenbechers mit Tonhöhenveränderungen gemappt und Gewichtsverlagerungen des Körpers mit unterschiedlicher Tremolo-Häufigkeit. Grond et al. (2010) hingegen ließen unterschiedliche Bewegungssonifikationen, basierend auf Geschwindigkeitsdaten der Klarinetten-Spielbewegungen und einer Faktorenanalyse (Principal Component Analysis; PCA) der entscheidenden Spielbewegungen, in einem multimodalen Testparadigma bewerten. Die Ergebnisse zeigen, dass die Sonifikation der Geschwindigkeitsdaten effektiver war als die PCA-Sonifikation, wenn es um die Bestimmung einzelner Spielsequenzen ging. Andere Projekte beschäftigen sich mit Klangkontrolle und Gestenübertragung bei einer elektrischen Gitarre (Visi et al., 2014), der Sonifikation von Dirigierbewegungen (Bradshaw & Ng, 2008) oder einer Bewegungssonifikation beim Klavierspiel (Hadjakos, Aitenbichler & Mühlhäuser, 2008). Die Berichte enthalten jedoch mit Ausnahme der Ausführungen von Hadjakos, Aitenbichler und Mühlhäuser (2008) lediglich Beschreibungen der Sonifikationssysteme. Hadjakos, Aitenbichler und Mühlhäuser hingegen präsentieren Ergebnisse einer kleinen empirischen Evaluation zur klavierpädagogischen Wirkung, die zeigen, dass Musikstudierende die Klangkontrolle durch die Spielbewegungen zwar als gut, den potentiellen Nutzen für den Unterricht jedoch als gering einschätzten.

Insgesamt gibt es viele Ansätze, durch Sonifikationen von Musizierbewegungen das Instrumentalspiel zu verbessern, mit Ausnahme der genannten Studie von Grond et al. (2010) jedoch ohne systematisch verschiedene Sonifikationsstrategien zu evaluieren oder deren Wirkung auf Lerneffekte beim Instrumentalspiel experimentell zu untersuchen.

Sonifikation musikalischer Gesten und tänzerischer Bewegungen

Neben Sonifikationen von Musizierbewegungen beim Instrumentalspiel gibt es verschiedene Projekte, musikbezogene Gesten tänzerischen Charakters zu sonifizieren und so interaktive Tanzräume zu schaffen oder Tanzperformances zu untersuchen. Hierbei geht es den Forschern insbesondere um musik- oder tanzpädagogische Effekte durch ein zusätzliches auditives Feedback in Form von Bewegungssonifikationen. Tanzbewegungen unterscheiden sich aufgrund ihres primär körperlich-visuellen Fokus von Musizierbewegungen, die eher auf auditive Funktionen abzielen (Bahn, Hahn & Trueman, 2001). Aylward und Paradiso (2006) stellten ein kabelloses Sensorensystem vor, welches auf Basis von Accelerometerdaten die Synchronisierung mehrerer Tänzer in einem Raum analysierte und zudem – durch Transformation der Daten in Klänge – das Tanzensemble gemeinsam die erklingende Musik kontrollieren lassen konnte.

Andere Studien untersuchen pädagogische Effekte von interaktiven Sonifikationen beim Tanz. So entwickelten Francoise et al. (2014) ein System, welches Tanzbewegungen mit zuvor aufgenommenen verbalen tanzpädagogischen Expertenkommentaren auf Basis der Laban Movement Analysis und den darin enthaltenen Effektfaktoren (Laban & Lawrence, 1947) in Echtzeit verknüpft, um Tänzern so ein verbal auditives Feedback während ihrer Performance zu geben. Explorative Befragungen im Rahmen eines Workshops zeigen, dass Tänzer positive Erfahrungen mit dieser Art des Feedbacks verbinden.

Landry, Ryan und Jeon (2014) berichten hingegen, dass sich Tänzer in Interviews eher zurückhaltend zeigten hinsichtlich der Möglichkeit, musikalische Parameter im Rahmen einer Echtzeit-Bewegungssonifikation kontrollieren zu können, da für sie der Fokus mehr auf den visuellen Aspekten des Tanzes liegen würde. Das verwendete Tanz-Sonifikationssystem iISoP (immersive Interactive Sonification Platform) soll eine Übertragung von kinematischen und dynamischen Körper-Bewegungsinformationen zu einem Affekt-Klassifikations-System ermöglichen (Landry, 2015). So entsprechen Körpergrößenverhältnisse einer hohen oder niedrigen Valenz und die Beschleunigungsinformationen einer hohen oder niedrigen Erregung. Nach einer weiteren Evaluation verschiedener Sonifikationsszenarien im Rahmen des iISoP-Projektes kommen Landry und Jeon (2017) zu der Schlussfolgerung, dass komplexe Sonifikationen und die Vertonung vieler Bewegungseigenschaften nicht unbedingt zu einer höheren Interaktivität führen. Sie betonen, dass eine auditive Darstellung sich daher immer im Spannungsfeld zwischen Nutzerkontrolle und einem automatischen System bewegt, das einen für die Nutzer angenehmen Klang produziert. Diese Aussage bezieht sich auf eine entscheidende Frage im Hinblick auf die Relevanz verschiedener Kriterien bei der Entwicklung von Sonifikationen in Abhängigkeit ihrer Anwendungsziele.

Eine weitere Studie beschäftigt sich mit der Bedeutung von Flüssigkeit („fluidity“) als einer wichtigen Bewegungsqualität im Tanz (Alborno et al., 2016; Kolykhalova et al., 2016). Die Autoren führten einen experimentellen Test mit verschiedenen Sonifikationen auf Basis der Flüssigkeit von Tanzbewegungen durch. Ergebnisse zeigen, dass Studienteilnehmer zu denjenigen Sonifikationen besser tanzen konnten, die eine hohe spektrale Glätte sowie keine hörbaren Schnitte enthielten, da diese die Flüssigkeit von Bewegungen mit geringen Zuckungen gut auditiv darstellen. Naveda und Leman (2008) sonifizierten rhythmische Strukturen von Bewegungen im Sambatanz und konnten feststellen, dass bestimmte Tanzmuster musikalische Rhythmen verkörpern. In dieser Studie wurden Bewegungsparameter einer Samba-Tanzperformance im Hinblick auf rhythmische Muster analysiert und anschließend mit Samba-typischen Perkussionsinstrumenten verklanglicht. Die Autoren schlussfolgern auf Basis einer subjektiven Evaluation, dass der „Samba Style“ in der Sonifikation wiederzuerkennen war.

Im Rahmen eines der wenigen Forschungsprojekte in diesem Bereich mit konsekutiv durchgeführten Experimenten konnten Kinder drei unterschiedliche interaktive Bewegungssonifikationen mit freien Tanzbewegungen ausprobieren (Frid et al., 2016). Bewegungsanalysen zeigten trotz hoher intersubjektiver Unterschiede in den Bewegungen kleine Effekte der unterschiedlichen Sonifikationsstrategien auf die Bewegungsenergie. Das heißt, dass diejenigen Tanzbewegungen, die mit Hilfe der zweiten von drei Sonifikationsstrategien (S1-S3) ausgeführt worden sind, die größte Bewegungsenergie aufwiesen. S2 bestand aus einem gefilterten weißen Rauschen mit eher abrupt unterbrochenen Amplitudenhüllkurven. In einem multimodalen Wahrnehmungsexperiment wurden daraufhin Teilnehmern Bewegungsaufnahmen der Interaktionen mit unterschiedlichen Sonifikationsstrategien zur Bewertung präsentiert. Hierbei fanden Frid et al., dass die Sonifikationsstrategie S1 (sanfter windartiger Klang) im Vergleich zu anderen Sonifikationsstrategien zu höheren Bewertungen der Bewegungseigenschaften Expressivität und Flüssigkeit („fluidity“) über alle Modalitäten hinweg führte. Ergebnisse einer dritten Teilstudie zeigen, dass Zeichnungen der Kinder während des Hörens der S1 von einer großen Anzahl von Teilnehmern (64%, N = 146) korrekt zum Klang von S1 zugeordnet werden konnten. Interessant ist hier, dass die Wahl der Klangeigenschaften sowohl die Performance mit interaktiven Bewegungssonifikationen, als auch die Wahrnehmung dieser hinsichtlich verschiedener Bewegungsqualitäten unterschiedlich beeinflusst.

Insgesamt stellt sich die Erforschung körperbezogener tänzerischer Gesten als vielversprechendes Untersuchungsfeld dar, um die Wirkung von Bewegungssonifikationen auf Handlungs- und Wahrnehmungsmechanismen zu untersuchen. Adäquat zu den dargestellten Erkenntnissen im Rehabilitations- und Sportbereich ist die Quantität der technischen Entwicklungen und explorativen Forschungsansätze sehr hoch, benötigt werden allerdings verstärkt systematische Evaluationen und kontrollierte experimentelle Studien, um aussagekräftige Effekte auf Prozesse des Bewegungslernen in allen hier aufgeführten Anwendungsbereichen (Rehabilitation, Sport, Musik, Tanz) zu belegen.

Bisherige Ansätze zur Evaluation von Sonifikationsstrategien

Nur wenige der hier bereits erwähnten Forschungsprojekte versuchten, verschiedene Varianten von Sonifikationen oder auditivem Feedback auf deren Wirkungen hinsichtlich ästhetischer Beurteilungen, Lern- oder Rehabilitationseffekten zu evaluieren (z. B. Dozza et al., 2011; Effenberg & Schmitz, 2018; Frid et al., 2016; Ng et al., 2007; Schaffert, Mattes, Barrass & Effenberg, 2009; Schmitz et al., 2013; Scholz et al., 2014). Dabei zielt die Evaluation jedoch nicht ausschließlich darauf ab, verschiedene Mapping-Strategien der Bewegungsparameter und auditiven Parameter zu vergleichen, sondern beispielsweise auch die Unterschiede zwischen natürlichem und nicht-natürlichem auditiven Feedback (Effenberg et al., 2016; Kennel et al., 2015; Murgia et al., 2012), zwischen lösungs- und fehler-orientierten Sonifikationen (Rosati et al., 2012) oder zwischen vielen verschiedenen Typen auditiven Feedbacks (Hermann et al., 2012; Lesaffre et al., 2015; Vinken et al., 2013) zu erforschen.

Barrass, Schaffert und Barrass (2010) führten ein Experiment zur Testung eines mobilen Echtzeit-Sonifikationsgerätes (basierend auf einem am Unterarm angebrachten Beschleunigungssensor) durch, in dem Teilnehmer freie Bewegungen durchführen konnten, die jeweils auf sechs unterschiedliche Weisen sonifiziert wurden. Ergebnisse zeigen, dass bei einer freien Auswahl die algorithmische Sonifikation bestehend aus einem Mapping von Beschleunigungsdaten und verschiedenen elektronischen Instrumenten sowohl am längsten angehört, als auch als am angenehmsten bewertet wurde. In anderen Worten: wenn Versuchsteilnehmer vorher selbst entscheiden konnten, welche Sonifikation sie hören, dann fiel die Wahl auf eine Parameter-Mapping Sonifikation auf Basis von Beschleunigungsdaten der Bewegung.

Degara, Hermann und Nagel (2013) weisen ebenfalls auf das Fehlen systematischer Evaluationsansätze im Sonifikationsbereich hin. Diesem Bedarf entsprechend konzipierten sie ein Rahmenmodell namens SonEX (Sonification Evaluation eXchange) als Orientierungsplattform mit Richtlinien für die Sonifikationsforschung. Sie beschreiben im Kontext dieses Rahmens die optimalen Arbeitsweisen, aber auch Herausforderungen bei der Evaluation von Sonifikationen. Die Idee von SonEX ist hierbei, dass ein Forscher seine Sonifikationsaufgabe mit anderen Wissenschaftlern teilt und damit Sonifikationsansätze verschiedener Forscher in das Forschungsdesign implementiert und zugleich reproduziert werden können. Anhand der Beschreibung eines konkreten Forschungsbeispiels wird zusätzlich die hypothetische Arbeitsstruktur unter dem SonEX-Rahmen erläutert. Eine den Vorgaben entsprechende Umsetzung des Programms ist unseres Wissens nicht erfolgt, allerdings gibt es einige Arbeiten, die ihr Projekt im SonEX-Rahmen verorten oder sich auf die Richtlinien beziehen (Degara, Kuppanda & Nagel, 2013; Kuppanda et al., 2015; Nagel et al., 2014; Radecki et al., 2016).

Dementsprechend besteht weiterhin Bedarf zur experimentellen Untersuchung der Wirkung von verschiedenen Bewegungssonifikationen und deren Mapping-Strategien auf die gleichen Bewegungsaufgaben, sei es in Bezug auf domänenübergreifende Bewegungstests oder domänenspezifische Forschung in den bereits hier skizzierten Forschungsbereichen.

Zwei experimentelle musikpsychologische Studien zur Evaluation von Bewegungssonifikationen musikalischer Gesten

Vor diesem Hintergrund führten wir zwei musikpsychologische Studien durch, um die Wirkung von drei verschiedenen Bewegungssonifikationen musikalischer Gesten auf Wahrnehmungsprozesse der Selbst-Fremd-Erkennung (Hohagen, in Vorb.) und Urteile zur Ästhetik und Korrespondenz (Hohagen & Wöllner, 2017; Hohagen, Wöllner & Hermann, 2017) zu überprüfen.

Vor der Durchführung von Bewegungsaufnahmen mit Hilfe eines Motion-Capture-Systems (Optitrack) wurden Teilnehmern reflektierende Marker am Körper befestigt (siehe Abbildung 1). Diese sollten fünf verschiedene Bewegungsaufgaben – sogenannte verbal-instruierte, metaphorische Gesten – ausführen, d. h. die Teilnehmer stellten sich zuerst Armbewegungen in einer Bühnensituation vor und führten diese Gesten anschließend aus. Währenddessen wurden dreidimensionale Positionsdaten der Bewegungen durch das Motion-Capture-System erfasst. Anschließend wurden die Daten der Handbewegungen mit Hilfe dreier verschiedener Mapping-Strategien sonifiziert und Licht-Punkt-Filme der Gestenbewegungen erstellt (siehe Abbildung 1).

Die drei Sonifikationen unterschieden sich durch verschiedene Mapping-Strategien. In einer „kinetischen“ Sonifikation (kinSon) wurden vertikale Positionsdaten der Bewegungen des relevanten Markers (grüner Marker im Standbild eines Licht-Punkt-Films, Abbildung 1, rechts) mit der Tonhöhe sowie horizontale Bewegungsdaten mit einem Stereo-Panning eines gefilterten weißen Rauschens mit windartigem Klang verknüpft. Sagittale Positionsdaten wurden mit der Impulsrate eines Geigerzähler-ähnlichen Signals verknüpft. Die „energetische“ Sonifikation (enSon) bestand zusätzlich zu den Mappings der kinSon aus einer Verknüpfung von Geschwindigkeitsdaten der Bewegungen mit Lautstärkeveränderungen des Klanges. Abbildung 2 stellt zur Veranschaulichung des Mappings das Geschwindigkeitsprofil einer beispielhaften Bewegung und die Wellenform des entsprechenden Sonifikationsklanges dar. In der „dynamischen“ Sonifikation (dynSon) wurde zusätzlich zu den beschriebenen Mappings (kinSon und enSon) die absolute Beschleunigung der Bewegung mit einer Amplitudenmodulation der Klangfrequenz und Klangintensität („Rauheit“) verknüpft.

Im Rahmen einer ersten Studie sollte anhand eines multimodalen Selbst-Fremd-Erkennungsparadigmas (Schmitz & Effenberg, 2012, Sevdalis & Keller, 2010; Wöllner, 2012) getestet werden, ob darin implementierte Bewegungssonifikationen Prozesse der Wahrnehmungs-Handlungs-Kopplung, multimodaler Integration und erlebten Urheberschaft (Agency) beeinflussen. Neun Monate nach der Aufnahme der Bewegungsdaten konnten 27 Teilnehmer der ursprünglichen Stichprobe für ein Online-Experiment mit einem zweifaktoriellen (Modalität x Sonifikation) Messwiederholungs-Design gewonnen werden, in dessen Rahmen sie die Aufgabe hatten, jeweils nach den visuellen (Licht-Punkt-Film), auditiven (Sonifikationen) und audiovisuellen Darstellungen eigener und fremder Bewegungen ihre eigenen Handlungen zu identifizieren.

Die Ergebnisse zeigen, dass entgegen unseren Vermutungen die Selbsterkennung nur in vier der elf Bedingungen erfolgreich war (d’-prime Werte als abhängige Variablen; Signal Detection Theory, Green & Swets, 1966; siehe auch Wöllner, 2012). Die Teilnehmer erkannten sich signifikant überzufällig in der audiovisuellen, freien Bedingung mit dynamischer Sonifikation und anhand der audiovisuell dargestellten, stark instruierten Bewegungen mit Hilfe der dynamischen und energetischen Sonifikationen. Trotz der Trainingsphase konnten die Teilnehmer sich nicht allein anhand der rein auditiv dargestellten Bewegungsinformationen identifizieren (siehe auch Hohagen & Wöllner, 2016; andere Ergebnisse erzielten Schmitz & Effenberg, 2012). Weitere Ergebnisse einer Messwiederholungs-ANOVA bestätigten jedoch unsere Hypothese, dass die Selbsterkennung in den audiovisuellen Darstellungen und mit Hilfe der energetischen und dynamischen Sonifikationen besser gelingt als in der kinetischen Sonifikation. Die Teilnehmer waren also bei der Wahrnehmung in der Lage, die Übertragungen von dynamischen Bewegungsinformationen (Geschwindigkeits- und Beschleunigungsdaten) in Verklanglichungen ihrer Bewegungen multimodal zu integrieren und so die Erkennungsleistung durch die umfassendere Sonifikation zu steigern.

Die zweite Studie bestand aus einem Online-Experiment zur ästhetischen Beurteilung von vier verschiedenen musikalischen Gesten, die aus den bereits beschriebenen Bewegungsaufnahmen ausgewählt wurden, und der drei verschiedenen Sonifikationen (kinSon, enSon, dynSon). Hier bewerteten 54 Teilnehmer 7s-Ausschnitte von multimodalen Darstellungen der Gesten im Rahmen eines Evaluationsparadigmas hinsichtlich des Gefallens und der Korrespondenz zwischen Bewegung und Sonifikation (immer audiovisuell), d. h. sie sollten angeben, wie gut der gehörte Klang mit der gesehenen Bewegung zusammenpasst. Die visuellen Darstellungen bestanden aus Licht-Punkt-Filmen eines modifizierten Oberkörpermodells (11-Marker; Kopf, Rumpf, rechter Arm, siehe Abb. 1), um den Fokus auf die Gesten des rechten Armes zu legen.

Die Ergebnisse zeigen, dass die enSon signifikant besser gefiel, als die anderen Mapping-Strategien. Eine Erklärung, warum die dynSon weniger gut bewertet wurde, liegt eventuell in einem Nicht-Gefallen der im Rahmen dieser Mapping-Strategie ergänzten Rauheit des Klanges. Insgesamt gefielen die audiovisuellen Darstellungen wie angenommen signifikant besser als die rein auditiven Bewegungspräsentationen. Im Hinblick auf die Korrespondenzurteile zeigen die Ergebnisse außerdem, dass die dynamischen Sonifikationen (enSon und dynSon) signifikant besser zu den zusätzlich visuell dargestellten Bewegungen passten als die kinSon allein.

Zusammenfassend geben die Ergebnisse Hinweise auf psychologische Prozesse bei der Wahrnehmung verschiedener Sonifikationsstrategien. So konnten wir zeigen, dass Mapping-Strategien mit zusätzlichen dynamischen Bewegungsinformationen in einem Selbst-Fremd-Erkennungstest dazu führen, die eigenen Handlungen besser zu erkennen (Hohagen, in Vorb.). Diese Befunde spiegeln sich auch in den Ergebnissen zu den ästhetischen Bewertungen und Korrespondenzurteilen wider. Hier zeigen die Analysen größeres Gefallen und stärkere Korrespondenz für Sonifikationen, welche dynamische Bewegungsinformationen verklanglichen. Dies könnte ein weiteres Indiz dafür sein, dass ästhetische Beurteilungen bei Prozessen der multimodalen Integration und Wahrnehmungs-Handlungs-Kopplung eine wichtige Rolle spielen und demnach auch bei Experimenten zum Bewegungslernen durch auditives Feedback verstärkt berücksichtigt werden sollten.