Forschungsberichte zum Themenschwerpunkt

Ökologisch valides Motion Capture von Dirigierbewegungen mit dem kinelyze-System

Ecologically valid motion capture of conducting movements with the kinelyze-system

Vera Gehrsa, Christoph Louvenb*

Jahrbuch Musikpsychologie, 2018, Vol. 28: Musikpsychologie — Musik und Bewegung, Artikel e18, https://doi.org/10.5964/jbdgm.2018v28.40

Eingereicht: 2019-01-07. Akzeptiert: 2019-04-02. Publiziert (VoR): 2019-05-28.

Begutachtet von: Clemens Wöllner; Claudia Spahn.

*Korrespondenzanschrift: Institut für Musikwissenschaft und Musikpädagogik, Universität Osnabrück, Neuer Graben/Schloss, 49069 Osnabrück; E-Mail: clouven@uos.de

Dieser Open-Access-Artikel steht unter den Bedingungen einer Creative Commons Namensnennung 4.0 International Lizenz, CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/deed.de). Diese erlaubt für beliebige Zwecke (auch kommerzielle) den Artikel zu verbreiten, in jedwedem Medium zu vervielfältigen, Abwandlungen und Bearbeitungen anzufertigen, unter der Voraussetzung, dass der Originalartikel angemessen zitiert wird.

Zusammenfassung

Der vorliegende Beitrag untersucht am Beispiel von ganzkörperlichen Dirigierbewegungen die grundsätzliche Einsetzbarkeit und Aussagekraft unserer Motion Capture Software kinelyze auf Basis der Microsoft Kinect Hardware für die ökologisch valide, minimal-invasive Erfassung von Musikerbewegungen in realen Bühnensituationen. Die Kinect ist ein kleines, mit Infrarotsensoren ausgestattetes Gerät, das unauffällig auf der Bühne platziert werden kann ohne die Situation signifikant zu verändern, und das insbesondere zur Erfassung ganzkörperlicher Bewegungsmuster geeignet ist. kinelyze transformiert die erfassten Bewegungsdaten in ein frei skalierbares und um die vertikale Körperachse drehbares Strichmännchen. In einem Vorversuch wurden zunächst die grundsätzliche Handhabbarkeit und Verlässlichkeit für den Einsatz in einer realen Bühnensituation getestet. Die Eignung und Aussagekraft der von kinelyze generierten Strichmännchen für die valide Wiedergabe von ganzkörperlichen Dirigierbewegungen wurden in der anschließenden Hauptstudie untersucht. Dazu wurden fünf Dirigentinnen um das Dirigat zu einer Audioaufnahme der Exposition des 1. Satzes von Mozarts ‚Eine kleine Nachtmusik‘ (KV 525) gebeten. Die Bewegungen wurden mit kinelyze aufgezeichnet und in Strichmännchen-Darstellungen transformiert. Diese Strichmännchen-Darstellungen wurden von 65 Probandinnen wieder den ihnen bekannten Dirigentinnen zugeordnet und u.a. die Urteilssicherheit, die Zuordnungsgründe und die individuellen Erfahrungen mit den einzelnen Dirigentinnen erhoben. Die Ergebnisse lassen darauf schließen, dass die von kinelyze generierten Strichmännchen trotz der fehlenden Darstellung von Hand-, Fingerbewegungen und Mimik das charakteristische ganzkörperliche Bewegungsmuster der Dirigentinnen in einer Form wiedergeben, die grundsätzlich ein deutlich überzufälliges und urteilssicheres Erkennen einer Person ermöglicht. Im Einzelfall hängt dies jedoch auch von der jeweiligen Bewegungsprägnanz des Strichmännchens, vom allgemeinen Bekanntheitsgrad einer Person als Dirigent sowie den individuellen Erfahrungen der Beurteilenden ab. Grundsätzlich sprechen die hier vorgestellten Befunde für eine Eignung des kinelyze-Systems und der generierten Strichmännchen-Darstellung als Werkzeuge zur Erfassung von Ganzkörperbewegungen für entsprechende Forschungsfragen.

Schlüsselwörter: Motion Capture, Kinect, Bewegungsverhalten, Dirigieren, ökologische Validität, minimal-invasiv

Abstract

In this study, we examined the usability and validity of our software kinelyze, based on the Microsoft Kinect hardware, for ecologically valid, minimal-invasive capturing of musicians‘ movements in real stage situations, using the example of full body conducting movements. The Kinect is a small device, equipped with infrared sensors, that is simply placed on stage without significantly changing the situation and is especially suitable for capturing full body movement patterns. kinelyze transforms the data into a free scalable and rotatable, animated 3D stick-figure. In a pretrial, the basic manageability and reliability of the kinelyze system in a real stage situation were examined. The following main study examined the suitability and validity of the stick-figures generated by kinelyze to reproduce the full body conducting movements. Five conductors were asked to quasi-conduct an audio recording of the exposition of the first movement of Mozart's 'Eine kleine Nachtmusik' (KV 525). The conducting movements were captured and transformed into stick-figures with kinelyze. These stick-figures were presented to 65 subjects acquainted with the five conductors. Subjects were asked to re-allocate the stick-figures, rate the certainty of their judgement, explain their choice in detail and report further details on their individual experiences with the conductors. The results suggest that – despite the lack of hand and finger movements – the stick-figures reproduce the characteristics of full body conducting movements in a form that allows for a clear and reliable recognition of a person. However, this also depends on the particular concision of the stick-figure, the general awareness of a person as a conductor and the individual experiences of the subject. Basically, the findings presented support for a suitability of the kinelyze system and the generated stick-figures as tools for capturing full body movements in corresponding research.

Keywords: motion capture, Kinect, movement behaviour, conducting, ecological validity, minimally invasive

Dirigentinneni vermitteln ihre musikalische Gestaltungsidee vor allem über prä-klangliche Gestik und Mimik (Wöllner, 2007). Daher ist das Bewegungsverhalten von Dirigentinnen ein besonders interessantes und aufschlussreiches Feld für die Erforschung der aktiven Verkörperung von Musik sowie der Prinzipien non-verbaler musikalischer Kommunikationsprozesse. Eine valide Methodik zur empirischen Erforschung von ganzkörperlichen Dirigierbewegungen steht dabei vor drei grundlegenden Herausforderungen:

  1. Um das Bewegungsverhalten jenseits einer rein qualitativen Beschreibung systematisch und detailliert analysieren zu können, müssen die Bewegungen der Dirigentin in Echtzeit objektiv erfasst und für die Auswertung im Zeitverlauf numerisch quantifiziert werden, auch differenziert nach einzelnen Körperpartien und -teilen.

  2. Zahlreiche Studien zeigen, dass externe, außermusikalische Faktoren wie z.B. Geschlecht, Kleidungsstil oder körperliche Attraktivität die Wahrnehmung von Musikerinnen und Musikern auf dem Podium ggf. signifikant beeinflussen (z.B. Griffiths, 2008; Wapnick, Campbell, Siddell-Strebel & Darrow, 2009; Wapnick, Darrow & Mazza, 1998; Wapnick, Darrow, Kovacs & Dalrymple, 1997; Wapnick, Mazza & Darrow, 2000). Daher sollte das methodische Vorgehen die Möglichkeit beinhalten, diese potenziellen Störvariablen auszuschalten, um das dirigentische Bewegungsverhalten unbeeinflusst von diesen Faktoren untersuchen zu können.

  3. Das dirigentische Bewegungsverhalten ist untrennbar mit einer kommunikativen Intention verbunden und formt sich unmittelbar in Folge eines kommunikativen Wechselspiels zwischen Dirigentin, Musikerinnen und auch dem Publikum. Daher ist eine valide Erforschung von Dirigierbewegungen nur unter Bewahrung dieses kommunikativen Austauschs möglich, z.B. in Rahmen einer realen Proben- oder Konzertsituation. Daher muss ein ökologisch valides methodisches Vorgehen ‚minimal-invasiv’ konzipiert sein. Der Begriff stammt ursprünglich aus der Medizin, hat sich aber auch in anderen Bereichen zur Kennzeichnung von Methoden durchgesetzt, die den zu untersuchenden Gegenstand möglichst wenig bzw. gar nicht (‚non-invasiv‘) stören oder beeinflussen, z.B. in der Pädagogik (‚Minimal Invasive Education‘, Mitra, 2003), der Tierbeobachtung (z.B. Stewart, Webster, Schaefer, Cook & Scott, 2005) oder bei der Untersuchung von Kunstwerken (z.B. Daniel & Mounier, 2015). In unserem Zusammenhang bezeichnet er Methoden, die die reale Situation auf dem Konzertpodium in ihrer ‚natürlichen‘ Form untersuchen und diese durch die Untersuchung so wenig wie möglich stören oder verändern.

Ein Weg zur Erfüllung der ersten beiden Forderungen ist die Erfassung der Körperbewegungen der Dirigentin mittels computergestützter Motion Capture Verfahren. Diese Verfahren ermöglichen es, die Position eines sich bewegenden, menschlichen Körpers und seiner einzelnen Körperpartien und -teile (z.B. charakteristischer Gelenkpunkte) im 3-dimensionalen Raum im Zeitverlauf exakt zu vermessen. Die so gemessenen, zeitabhängigen Raumkoordinaten ermöglichen die Umsetzung in eine abstrakte, von personenspezifischen Störvariablen entkoppelte Darstellungsform, z.B. in Form von Lichtpunkten an den Gelenkstellen (‚point light displays‘, z.B. Berry, Kean, Misovich & Baron, 1991; Renner, 2005; Wöllner & Deconinck, 2012), oder in Form von ‚Strichmännchen‘-Darstellungen (‚stick-figures’, z.B. Burger, 2013; Carlson, Burger & Toiviainen, 2018; Piana, Staglianò, Camurri & Odone, 2013).

Die letztgenannte Forderung nach einem ökologisch validen methodischen Setting durch den Einsatz minimal-invasiver Instrumente kann allerdings mit den bislang gebräuchlichen optischen Motion Capture Verfahren (z.B. OptiTrack, Vicon, Qualisys) nur eingeschränkt erfüllt werden, da diese die aufwändige Installation und Kalibrierung mehrerer Kamerasysteme im Untersuchungsraum sowie die Ausstattung der zu erfassenden Person(en) mit einer Spezialkleidung mit optischen Markerpunkten voraussetzen. Ein solch auffälliges Equipment hat jedoch eine gravierende Veränderung der zu untersuchenden Situation durch die Untersuchung selbst zur Folge. So würde insbesondere die Wahrnehmung der Person der Dirigentin und das kommunikative Verhalten von Musikerinnen und Publikum deutlich beeinflusst, würde diese vom üblichen Dresscode im klassischen Konzert drastisch abweichen und z.B. in einem hauteng anliegenden Anzug mit zahlreichen weißen Markerpunkten statt in einem Frack auf das Podium treten. Die Erfassung der Podiumssituation mit herkömmlichen Motion Capture Verfahren bringt daher eine unvermeidbare Beeinflussung des Verhaltens der beteiligten Personen mit sich und bedeutet damit eine mehr oder weniger starke Einschränkung der ökologischen Validität.

Motion Capture mit dem kinelyze-System

Einen Ausweg aus dieser Situation bieten technische Neuentwicklungen zur Erfassung von Körperbewegungen, die in den letzten Jahren zunächst zur Steuerung von Computerspielen entstanden sind. Hierbei handelt es sich um relativ kleine und preiswerte Geräte, die mithilfe spezieller Infrarotsensoren in einem Erfassungsbereich von mehreren Metern vor dem Gerät die Körperbewegungen von Personen erfassen und z.B. in die Bewegungen von Spiel-Avataren umsetzen. Derartige Geräte weisen gegenüber den üblichen, markerbasierten Motion Capture Systemen einige entscheidende Unterschiede auf:

  • Die Geräte können Personen in Alltagskleidung erfassen. Eine Ausstattung der Personen mit Markeranzügen oder -punkten wird nicht benötigt.

  • Zur Bewegungserfassung in einem beliebigen Raum genügt die Platzierung des Geräts mit ‚Blickrichtung‘ auf die Personen. Ein aufwändiger Aufbau z.B. von Kameras an einer Traverseninstallation oder eine aufwändige Kalibrierung des Systems sind nicht erforderlich.

  • Die Geräte werden als Consumer-Produkte in großen Stückzahlen produziert und sind daher erheblich günstiger als die üblichen Systeme, deren Kosten eine 5- bis 6-stellige Höhe erreichen.

  • Die Geräte bieten eine deutlich geringere räumliche und zeitliche Auflösung und sind daher nicht für die Erfassung schneller, feinmotorischer Bewegungen (z.B. Fingerbewegungen), wohl aber für die Erfassung ganzkörperlicher Bewegungsmuster geeignet.

  • Da die Geräte die Personen nur aus einer Perspektive erfassen, können Maskierungen und Artefakte auftreten, wenn z.B. eine Person einen Arm hinter dem Rücken verdeckt.

Das bekannteste Gerät dieser Art war die von Microsoft in Kooperation mit der Firma PrimeSense entwickelte und von 2010 bis 2018 als Zusatzgerät zur Spielekonsole Xbox 360 für ca. 250 EUR erhältliche ‚Kinect’, deren 2. Version (erschienen 2014) auch in der vorliegenden Studie verwendet wurde. Die Kinect besteht aus einem schlanken, nur ca. 25 cm breiten Kunststoffgehäuse, in das eine Farb-Kamera, ein Infrarot-Emitter, ein Infrarot-Tiefensensor und eine Reihe von Mikrophonen eingebaut sind. Diese Sensoren ermöglichen neben normalen Video- und Tonaufnahmen auch die Erfassung der Position von Objekten und Personen im dreidimensionalen Raum in einem Bereich von ca. 4m Breite und 5m Tiefe vor dem Gerät. Durch die Kombination der Sensorinformationen erlaubt die Kinect das sogenannte ‚Skeletal Tracking‘. Hierbei werden die wahrgenommenen Personen mit einem Skelettmodell versehen, wobei für jeden einzelnen Skelettpunkt kontinuierlich dreidimensionale Koordinaten gemessen werden. Alternativ erlaubt die Kinect auch das Tracking von Gesichtsbewegungen und damit die Erfassung der Mimik (u.a. Malawski, Kwolek & Sako, 2014; Rizzo et al., 2016; Smolyanskiy, Huitema, Liang & Anderson, 2014).

Verschiedene Pilotstudien u.a. aus den Bereichen Sportmedizin, Rehabilitation und Emotionspsychologie (z.B. Chang et al., 2012; Fernandez-Baena, Susin & Lligadas, 2012; LaBelle, 2011; Mobini, Behzadipour & Saadat Foumani, 2014; Scherer et al., 2013; Stratou, Scherer, Gratch & Morency, 2013), aber auch in der der musikalischen Ensembleforschung (Hadjakos, Großhauser & Goebl, 2013) zeigen das Potenzial von Geräten wie der Kinect als Werkzeug in der wissenschaftlichen Forschung und sprechen für eine hohe Reliabilität und Validität der erfassten Daten (siehe auch Ballester & Pheatt, 2013; Khoshelham & Elberink, 2012; Malawski, Kwolek & Sako, 2014; Ren, Yuan, Meng & Zhang, 2013; Smolyanskiy, Huitema, Liang & Anderson, 2014; Wasenmüller & Stricker, 2017).

Da die mit der Kinect ausgelieferte Software keinerlei Möglichkeiten zur Datenspeicherung, Visualisierung und numerischen Datenanalyse bietet, haben wir mithilfe des von Microsoft zur Verfügung gestellten Kinect-SDK die Software kinelyze für Windows-Rechner entwickelt und vorgestellt (Gehrs & Louven, 2014; Louven & Gehrs, 2015). kinelyze speichert die aufgezeichneten 3D-Bewegungsdaten und kann diese u.a. in eine in alle Raumrichtungen drehbare Strichmännchen-Darstellung umsetzen. In ähnlicher Form reduzierte Darstellungen (z.B. ‚point-light displays’ oder ‚stick-figures‘), haben sich v.a. in persönlichkeits- und differentialpsychologischen Studien als geeignet zur Identifikation von Menschen, einfachen Emotionen und Handlungen erwiesen (vgl. Renner, 2005).

Leider wird die verwendete Kinect-Hardware von Microsoft nicht mehr weiterentwickelt, der Verkauf wurde Ende 2018 eingestellt. Allerdings gibt es von anderen Herstellern zahlreiche weiterentwickelte Geräte des gleichen Grundprinzips, die zum Teil noch deutlich bessere Tracking-Leistungen aufweisen (z.B. Orbbec Astra Pro, https://orbbec3d.com/product-astra/). kinelyze soll in kommenden Projekten auch an diese alternativen Hardware-Plattformen und ihre zusätzlichen Möglichkeiten angepasst und anschließend kostenlos für Forschungszwecke zur Verfügung gestellt werden.

Schon mit der noch auf der Kinect aufbauenden kinelyze-Software steht erstmals im wissenschaftlichen Kontext ein einfach einsetzbares, kostengünstiges Motion Capture Werkzeug zur Verfügung, das grundsätzlich zur minimal-invasiven Erfassung von Musikerbewegungen in realen Bühnensituationen geeignet erscheint. Abgesehen von der einfachen Positionierung der Kinect im Raum ist für das Tracking von bis zu sechs Personen (Kinect v2) keinerlei weitere Veränderung der Realsituation erforderlich: der aufzunehmende Raum bleibt unbeeinflusst und die zu erfassende(n) Person(en) benötigt bzw. benötigen keinerlei Spezialkleidung. Unklar war bislang allerdings, ob das kinelyze-System auch in der Lage ist, unter den besonderen Anforderungen einer realen Podiumssituation eine Dirigentin zuverlässig zu erfassen, und ob die von kinelyze generierten Strichmännchen-Darstellungen für Studien zum dirigentischen Bewegungsverhalten ein geeignetes, valides Ausgangsmaterial darstellen.

Fragestellungen

Die vorliegende, explorative Studie untersucht die grundsätzliche Eignung des kinelyze-Systems als Werkzeug für die ökologisch valide Erfassung des Bewegungsverhaltens von Dirigentinnen. Die zwei damit verbundenen methodischen Teilfragestellungen leiten sich aus den oben skizzierten Grundanforderungen für einen ökologisch validen Forschungsansatz ab:

1. Ermöglicht das kinelyze-System eine zuverlässige Erfassung des Bewegungsverhaltens von Dirigentinnen in realen Bühnensituationen? 
Neben der praktischen Handhabbarkeit im Bühnenraum muss das System in der Lage sein, zuverlässig die Bewegungen einer Dirigentin zu erfassen, die in normaler (Konzert)-Kleidung auf einem von Scheinwerfern beleuchteten Podium hinter einem Dirigierpult steht. Das System darf dabei von Dirigentin und Musikerinnen nicht als beeinflussend oder störend wahrgenommen werden. Dies wurde im Rahmen eines explorativen Vorversuchs in der Praxis erprobt.

2. Ist die durch kinelyze generierte Strichmännchen-Visualisierung der Kinect-Trackingdaten hinreichend aussagekräftig zur Erforschung des dirigentischen Bewegungsverhaltens? Beim Tracking des ganzen Körpers erfasst die Kinect zwar 23 Gelenkpunkte inkl. der Gesamtposition der Hände, dabei wird aber weder die Haltung den einzelnen Finger noch die Mimik der Person erfasst. Damit simplifiziert das System gerade zwei Körperpartien, die z.B. bei Wöllner (2007, S. 243 ff) als besonders bedeutsam für das Kommunikationsverhalten von Dirigentinnen benannt werden. 
Im Rahmen der Hauptstudie untersuchen wir, ob und mit welcher Sicherheit Probandinnen das Dirigat ihnen bekannter Dirigentinnen anhand der Strichmännchen-Darstellung wiedererkennen und den Personen zuordnen können. Dies werten wir als Indiz für eine hinreichend aussagekräftige und charakteristische Wiedergabe relevanter dirigentischer Ganzkörperbewegungsmerkmale durch das System.

Methode

Vorversuch

Im Rahmen eines explorativen Vorversuchs wurde die Dirigentin eines Kammerensembles in einer realen Generalprobe unmittelbar vor einem Konzert kontinuierlich aufgezeichnet. Die Kinect wurde dabei inmitten der acht Musiker in ca. 1,5 m Entfernung frontal vor der Dirigentin auf einem ca. 80 cm hohen Stativ postiert. Die in schwarzer Konzertkleidung hinter einem hüfthohen Dirigierpult stehende Dirigentin wurde leicht von unten blickend frontal erfasst. Dabei blickten die Kinect-Sensoren zudem genau in Richtung einiger der zur Bühnenbeleuchtung an einer Lichttraverse schräg oberhalb der Dirigentin angebrachten LED-Scheinwerfer. Der Vorversuch stand dabei unter folgenden Fragen:

  • Arbeitet das Kinect-/kinelyze-System auch unter den besonderen Rahmenbedingungen einer realen Bühnensituation zuverlässig?

  • Sind die unter diesen besonderen Bedingungen generierten Daten verwertbar?

  • Fühlen sich die Dirigentin bzw. die Musikerinnen durch die Platzierung der Kinect im Bühnenraum gestört oder anderweitig beeinträchtigt?

Trotz dieser insgesamt schwierigen Rahmenbedingungen bestätigte sich grundsätzlich die Robustheit und Zuverlässigkeit der Kinect Hardware sowie der kinelyze-Software. Zwar war das normale 2D-Videobild aufgrund des direkten Blicks in die Scheinwerfer insgesamt übersteuert. Dies hatte jedoch auf die 3D-Erfassung durch den Infrarotemitter und -sensor keine erkennbaren Auswirkungen: Die Kinect konnte die Bewegungen der Dirigentin trotz des Dirigierpults und trotz der Bühnenscheinwerfer lückenlos dreidimensional erfassen. Es zeigten sich dabei keine erkennbaren Unterschiede oder Einschränkungen zum Trackingverhalten in anderen Situationen. Dies legt nahe, dass die Kinect bzw. kinelyze auch in vielen anderen realen Bühnensituationen als verlässliches System zur Bewegungserfassung verwendet werden kann.

Im Anschluss an die aufgezeichnete Probe wurden die Dirigentin und die acht Musikerinnen mündlich zu ihrer Wahrnehmung der zwischen dem Ensemble platzierten Kinect befragt. Die Musikerinnen und die Dirigentin gaben übereinstimmend an, sich durch die Kinect in keiner Weise beeinflusst oder gar gestört gefühlt zu haben. Zwar handelt es sich hier nur um wenige, informell erhobene Angaben. Sie sind aber insbesondere deshalb aussagekräftig, weil die Musikerinnen gerade in diesem kleinen Ensemble alle recht nahe sowohl zur Dirigentin als auch zu der zwischen ihnen stehenden Kinect platziert waren. Eine möglicherweise als störend empfundene Präsenz der Kinect wäre daher eher zu erwarten gewesen als z.B. bei der Platzierung inmitten eines größeren Orchesters.

Insgesamt erwies sich das kinelyze-System im Vorversuch damit als grundsätzlich geeignet für eine zuverlässige, minimal-invasive Bewegungserfassung einer Dirigentin in einer realen Bühnensituation. Damit war für uns die grundlegende Bedingung erfüllt, um in der anschließenden Hauptstudie die grundsätzliche Aussagekraft der generierten Strichmännchen-Darstellung für die Wahrnehmung ganzkörperlicher Dirigierbewegungen zu untersuchen.

Hauptstudie

Die Aussagekraft der Strichmännchen-Darstellung wurde in der Hauptstudie anhand der Ausgangs-Fragestellung untersucht, ob Probandinnen ihnen bekannte Dirigentinnen aus den Bewegungen der Strichmännchen wiedererkennen können. Da Hand- und Fingerbewegungen sowie die Mimik von kinelyze nicht erfasst und wiedergegeben werden können, findet in der Strichmännchen-Darstellung eine Reduktion auf die Ganzkörperbewegungen statt. Darunter werden in den Bewegungs- und Sportwissenschaften im Allgemeinen Bewegungen verstanden, die den gesamten Körper bzw. größere Körperpartien wie die Gliedmaßen und/oder den Rumpf aktivieren. Die Laban Bewegungsanalyse (Laban, 1988) fasst darunter u.a. die Körperhaltung (z.B. Ausmaß der vertikalen Aufrichtung, Weite des Stands), die Ausnutzung der Kinesphäre, also des persönlichen Umraums (z.B. Reichweite der Bewegungen von Gliedmaßen, Nutzung der verschiedenen Raumebenen), die Körperaktionen – also Veränderungen der Stellung des Körpers oder seiner Teile im Raum (z.B. Gesten, Fortbewegung oder Drehungen), und die Formqualitäten (z.B. ausbreitende vs. schließende Bewegung der Arme, vorstrebende vs. zurückziehende Bewegung des Rumpfes). Laban erkannte, dass sich im Ganzkörperbewegungsverhalten, insbesondere in der Körperhaltung, nicht nur momentane Gefühlsstimmungen, sondern auch charakteristische Verhaltensmuster von Menschen erkennen lassen. Wenn die von kinelyze generierten Strichmännchen die charakteristischen Bewegungsmuster von Dirigentinnen so realitätsnah wiedergeben, dass ein Erkennen eines persönlichen Dirigierstils überzufällig häufig gelingt, werten wir dies als Indiz für die Aussagekraft der Strichmännchen-Darstellungen und damit die Validität des kinelyze-Systems.

Zur Erstellung des Materials wurden fünf am Institut für Musikwissenschaft und Musikpädagogik der Universität Osnabrück tätige Dirigentinnen und Dirigenten um das Dirigat eines einheitlichen, vorbereiteten Musikausschnitts gebeten (Mozart, ‚Eine kleine Nachtmusik’ KV 525, Exposition des 1. Satzes, Dauer ca. 1 min 45 s). Um die Aufnahmen später ohne weitere Tempo- oder Agogik-Manipulation der Audiospur in einem gemeinsamen Zuordnungs-Interface für die Probandinnen kombinieren zu können, mussten alle Dirigate den gleichen zeitlichen Verlauf aufweisen. Daher fand das Dirigat zu einer vorbereiteten Tonaufnahme statt. Um den Dirigentinnen dennoch ein möglichst charakteristisches und authentisches Bewegungsverhalten zu ermöglichen, hatten diese im Vorfeld ausführlich Gelegenheit, sich mit der betreffenden Aufnahme zu beschäftigen. Die Dirigentinnen trugen bei der Aufzeichnung normale Straßenkleidung (siehe Abbildung 1). Neben der 3D-Erfassung mit kinelyze wurden ergänzend 2D-HD-Videos der Dirigate aus der Frontalperspektive aufgezeichnet.

Abbildung 1

Untersuchungsaufbau der Hauptstudie

Die dreidimensional erfassten Bewegungsdaten der Dirigate wurden mit kinelyze in eine einheitliche, prinzipiell frei um die Raumachsen drehbare Strichmännchen-Darstellung umgewandelt (rotes Strichmännchen auf weißem Grund, siehe Abbildung 2).

Abbildung 2

Strichmännchen-Darstellung frontal und mit 90° Rotation

Die Strichmännchen wurden im Hinblick auf die sichtbare Körpergröße vereinheitlicht, mittels eines jeweils zu Beginn aufgezeichneten optisch-akustischen Ankerpunkts zur Musik zeitlich synchronisiert und zu einem gemeinsamen Videobild kombiniert, in dem die fünf Strichmännchen in Frontalansicht nebeneinanderstehen und gleichzeitig dirigieren (Abbildung 3). Um Reihenfolgeeffekte zu vermeiden und eine gegenseitige Beeinflussung der Probandinnen zu erschweren, wurden drei Videoversionen (A, B, C) mit verschiedenen, zufälligen Anordnungen der Strichmännchen erstellt und den Probandinnen zufällig zugewiesen.

Abbildung 3

Darstellung für die Probandinnen (Videoversion C)

65 Studierende des Instituts für Musikwissenschaft und Musikpädagogik der Universität Osnabrück (43,4% männlich, 56,6% weiblich; Alter M = 24,98, SD = 5,78 Jahre) wurden gebeten, die dirigierenden Strichmännchen den ihnen bekannten Dirigentinnen des Instituts zuzuordnen. Den Probandinnen war dabei bekannt, um welche fünf Personen es sich grundsätzlich handelt, lediglich die Zuordnung der Personen zu den Strichmännchen sollte vorgenommen werden. Die Probandinnen konnten das ca. 1 min 45 s dauernde Video beliebig oft anschauen und sich durch Scrollen frei darin bewegen. Neben der eigentlichen Personenzuordnung wurden die Probandinnen jeweils gebeten, die Sicherheit ihres Urteils einzuschätzen sowie die Gründe ihrer Zuordnung verbal zu formulieren. Zudem wurden Art und Umfang der Erfahrungen erhoben, die die Probandinnen im Rahmen ihres Studiums bereits mit den beteiligten Dirigentinnen gemacht hatten.

Ergebnisse

Tabelle 1 zeigt die Gesamtmatrix aller Zuordnungen der Strichmännchen (Zeilen) zu den Personen (Spalten), die richtigen Zuordnungen finden sich auf der Diagonalen (Gesamtzahlen kleiner als N = 65 entstehen durch die Ausweichoption „Kann ich nicht zuordnen!“).

Tabelle 1

Zuordnung der Strichmännchen zu den Personen (alle Probandinnen)

SM Person
Gesamt
A
B
C
D
E
N (%) sR N (%) sR N (%) sR N (%) sR N (%) sR N (%)
A 24 (38,1) 3,21 7 (11,1) -1,58 14 (22,2) 0,39 15 (23,8) 0,68 3 (4,8) -2,70 63 (100)
B 23 (35,9) 2,85 14 (21,9) 0,34 8 (12,5) -1,34 11 (17,2) -0,50 8 (12,5) -1,34 64 (100)
C 7 (11,5) -1,49 11 (18,0) -0,34 28 (45,9) 4,52 7 (11,5) -1,49 8 (13,1) -1,20 61 (100)
D 7 (11,7) -1,44 22 (36,7) 2,89 9 (15,0) -0,87 17 (28,3) 1,44 5 (8,3) -2,02 60 (100)
E 4 (6,3) -2,42 3 (4,8) -2,70 6 (9,5) -1,86 9 (14,3) -1,01 41 (65,1) 8,00 63 (100)
Ges. 65 57 65 59 65

Anmerkung. SM = Strichmännchen. N (%) = Anzahl der Person-Strichmännchen Zuordnungen (Zeilenprozent); sR = standardisiertes Residuum gegen die Gleichverteilung (Werte > 2 in fettem Schrifttyp).

Insgesamt zeigt die Tabelle einen höchst signifikanten Zusammenhang zwischen dem Strichmännchen und der Personenzuordnung (χ2(16, N = 311) = 153,52, p < ,001). Die standardisierten Residuen sR in Tabelle 1 zeigen die Abweichung der jeweiligen Zuordnung gegenüber der gleichverteilten Ratewahrscheinlichkeit von je 20% für jede der fünf Personenzuordnungen pro Strichmännchen. Standardisierte Residuen ≥ 2 zeigen dabei eine signifikante, solche ≥ 2,6 eine sehr signifikante und solche ≥ 3 eine höchst signifikante Abweichung an (Bühl, 2008, S. 340). Bei drei der fünf Strichmännchen (A, C, E) wurden die richtigen Personen höchst signifikant besser als mit 20% Ratewahrscheinlichkeit zugeordnet. Bei den Strichmännchen B und D hingegen traten falsche Personenzuordnungen sehr signifikant häufiger auf als die richtige Zuordnung (Strichmännchen B als Person A: 35,9%, sR 2,85; Strichmännchen D als Person B: 36,7%, sR 2,89). Das häufige Auftreten dieser falschen Zuordnungen lässt sich erklären, wenn man den unterschiedlichen Grad der Erfahrungen der einzelnen Probandinnen mit den jeweiligen Dirigentinnen in die Betrachtung einbezieht.

Tabelle 2 schlüsselt die Prozentzahl richtiger Zuordnungen danach auf, ob die Probandinnen bereits selbst einmal unter der jeweiligen Dirigentin musiziert hatten.

Tabelle 2

Erfahrungen und richtige Zuordnungen (unter Dirigentin X gespielt ja/nein)

SM N (%) schon unter X gespielt?
N (%) richtige Zuordnung
ja nein ja, schon unter X gespielt nein, nicht unter X gespielt Gesamt
A 36 (57) 27 (43) 16 (44,4) 8 (29,6) 24 (38,1)
B 13 (20) 51 (80) 6 (46,2) 8 (15,7) 14 (21,9)
C 52 (85) 9 (15) 23 (44,2) 5 (55,6) 28 (45,9)
D 31 (52) 29 (48) 10 (32,3) 7 (24,1) 17 (28,3)
E 22 (35) 41 (65) 15 (68,2) 26 (63,4) 41 (65,1)

Anmerkung. SM = Strichmännchen.

Auffallend ist zunächst der starke Unterschied richtiger Zuordnungen bei Person B, mit der nur 20% der Probandinnen bereits eigene Musiziererfahrungen hatten. Bei dieser war die Erkennensquote mit 46,2% signifikant höher (χ2(1, N = 64) = 5,63, p = ,018), wenn die Probandinnen schon unter dieser gespielt hatten. Einen schwach signifikanten Einfluss auf das Erkennen dieser Dirigentin hatte auch ein zurückliegendes Konzerterlebnis (χ2(1, N = 64) = 3,63, p = ,057). Dies deutet darauf hin, dass B einen recht charakteristischen, den meisten Probandinnen aber unbekannten Dirigierstil besitzt. Obwohl das Strichmännchen diesen auch wiedergibt, wird er ohne eigene Musizier- oder Konzerterfahrungen nicht mit B in Verbindung gebracht.

Eine weitere Auffälligkeit in Tabelle 2 ist die durchgehend hohe Erkennensquote bei E unter allen Probandinnen, selbst unter denjenigen, die noch nicht selbst unter E gespielt hatten. Dies ist ein erstes Indiz für eine Ausnahmestellung von E, die sich in weiteren Ergebnissen betätigen wird.

Betrachtet man alle Personenzuordnungen zusammen, so bestätigt sich der Einfluss persönlicher Erfahrungen: die Dirigentinnen wurden insgesamt signifikant öfter korrekt aus den Strichmännchen identifiziert, wenn die Probandinnen bereits selbst einmal unter der jeweiligen Dirigentin musiziert (χ2(1, N = 311) = 3,97, p = ,046) oder diese bereits einmal im Konzert gesehen hatten (χ2(1, N = 311) = 5,45, p = ,020).

Neben der Angabe konkreter Musizier- und Konzerterfahrungen wurden die Probandinnen um die globale Einschätzung ihrer Bekanntheit/Vertrautheit (BEK) mit den einzelnen Dirigentinnen sowie der Urteilssicherheit der einzelnen Personenzuordnungen (US) auf endpunktbenannten Likertskalen von 1 (sehr unbekannt/unsicher) bis 6 (sehr bekannt/sicher) gebeten. Tabelle 3 zeigt das arithmetische Mittel der BEK-Werte für jede Person sowie die mittleren US-Werte für jede Zuordnung. Zusätzlich sind rechts bzw. unten die mittleren Urteilssicherheiten für die richtigen bzw. falschen Zuordnungen pro Strichmännchen bzw. Person aufgeführt.

Tabelle 3

Bekanntheit der Dirigentinnen und Urteilssicherheit der Zuordnung

SM Person (BEK)
US r/f
A (4,00)
B (1,95)
C (5,10)
D (3,26)
E (3,35)
N (%) US N (%) US N (%) US N (%) US N (%) US
A 24 (38,1) 3,25 7 (11,1) 2,00 14 (22,2) 4,71 15 (23,8) 2,93 3 (4,8) 3,67 3,25/3,54f
B 23 (35,9) 4,57 14 (21,9) 4,36 8 (12,5) 4,38 11 (17,2) 3,73 8 (12,5) 3,50 4,36/4,18g
C 7 (11,5) 3,71 11 (18,0) 1,80 28 (45,9) 4,43 7 (11,5) 2,00 8 (13,1) 3,00 4,43/2,55h***
D 7 (11,7) 2,86 22 (36,7) 1,86 9 (15,0) 3,67 17 (28,3) 3,56 5 (8,3) 1,80 3,56/2,40i**
E 4 (6,3) 2,75 3 (4,8) 2,67 6 (9,5) 4,33 9 (14,3) 4,33 41 (65,1) 4,47 4,74/3,82j*
US r/f 3,25/3,95a 4,36/1,92b*** 4,43/4,32c 3,56/3,29d 4,74/3,00e***

Anmerkung. SM = Strichmännchen; BEK = mittlerer Bekanntheitswert; N (%) = Anzahl der Person-Strichmännchen Zuordnungen (Zeilenprozent); US = mittlere Urteilssicherheit des Zuordnungspaars; US r/f = mittlere Sicherheit richtige/falsche Zuordnung.

at(63) = 1,87, p = ,066; bt(51) = 6,58, p < ,001; ct(63) = 0,29, p = ,772; dt(56) = 0,58, p = ,568; et(60) = 5,10, p < ,001; ft(59) = 0,69, p = ,492; gt(62) = 0,40, p = ,690; ht(57) = 5,33, p < ,001; it(56) = 2,69, p = ,009; jt(59) = 2,51, p = ,015.

*p < ,05. **p < ,01. ****p < ,001.

Die von den 65 Vpn berichteten Bekanntheitswerte der fünf Dirigentinnen korrelieren dabei primär mit den eigenen Musiziererfahrungen der Probandinnen unter der Dirigentin, r(312) = ,723, p < ,001, auch für jede Dirigentin einzeln betrachtet (A: r(61) = ,625, p < ,001; B: r(61) = ,860, p < ,001; C: r(61) = ,467, p < ,001; D: r(60) = ,703, p < ,001; E: r(61) = ,597, p < ,001). Etwas schwächer ist der generelle Zusammenhang der Bekanntheit mit der Erfahrung, eine Dirigentin bereits im Konzert gesehen zu haben (r(312) = ,365, p < ,001). Bei einzelner Betrachtung zeigt sich dieser generelle Zusammenhang bei den beiden bekanntesten Dirigentinnen A und C nicht (A: r(61) = ,105, p = ,411; B: r(61) = ,383, p = ,002; C: r(61) = –,066, p < ,607; D: r(60) = ,502, p < ,001; E: r(61) = ,302, p = ,016).

Die Quote richtiger Personenzuordnungen nimmt mit zunehmender Bekanntheit der jeweiligen Dirigentin zu. Abbildung 4 zeigt, dass dieser Zusammenhang annähernd linear ist, mit Ausnahme der Dirigentin E. Die auch hier wieder sichtbar werdende Ausnahmestellung der Dirigentin E lässt sich dadurch erklären, dass E als einzige der Dirigentinnen vor allem im Jazz-Bereich aktiv ist und sich im Dirigierstil (u.a. überwiegend einarmiges Dirigat) auffällig von den anderen unterscheidet. Trotz der moderaten mittleren Bekanntheit von E haben die Probandinnen hier vermutlich anhand des besonderen Stils auf die bekanntermaßen einzige Jazzerin unter den Dirigentinnen geschlossen. Lässt man E unberücksichtigt, beträgt die Korrelation zwischen der durchschnittlichen Bekanntheit der Personen und der Prozentzahl richtiger Zuordnungen r(2) = ,98, p = ,016.

Abbildung 4

Zusammenhang Bekanntheit / Prozentzahl richtiger Zuordnungen

Die Probandinnen wurden bei jeder Zuordnung einer Person zu einem Strichmännchen jeweils um eine Einschätzung der Urteilssicherheit gebeten. Tabelle 3 zeigt in den Tabellenzellen die mittleren Urteilssicherheiten jedes Zuordnungspaares, fasst darüber hinaus aber auch die Urteilssicherheiten in beiden Dimensionen zusammen, jeweils differenziert nach richtigen und falschen Zuordnungen: rechts die mittleren Sicherheiten, mit denen verschiedene Personen in einem einzelnen Strichmännchen erkannt wurden; unten die mittleren Sicherheiten, mit denen eine einzelne Person verschiedenen Strichmännchen zugeordnet wurde.

Die mittlere Sicherheit bei der Zuordnung der einzelnen Personen korreliert deutlich mit deren Bekanntheit: je bekannter eine Person ist, mit desto größerer Sicherheit wird die Zuordnung vorgenommen (r(3) = ,89, p = ,046). Der Zusammenhang geht dabei vor allem auf die falschen Zuordnungen zurück (r(3) = ,97, p = ,006), während die Sicherheit der richtigen Zuordnungen klar nicht mit der Bekanntheit korreliert (r(3) = -,09, p = ,89). Die Urteilssicherheit bei den Strichmännchen hingegen zeigt insgesamt keinen bzw. einen (nicht signifikant) negativen Zusammenhang mit der Bekanntheit (r(3) = -,64, p = ,25). Abbildung 5 zeigt diese Zusammenhänge im Überblick.

Abbildung 5

Zusammenhang Bekanntheit / Urteilssicherheit

Eine mögliche Erklärung dieser Befunde ergibt sich aus der detaillierteren Betrachtung der Personen bzw. Strichmännchen C und B. Bei diesen liegen die Verhältnisse genau komplementär:

  • Person C ist den Probandinnen als Dirigentin deutlich am bekanntesten (BEK 5,10) und die Zuordnungen der Person werden mit großer Sicherheit vorgenommen (US 4,43) – selbst wenn es sich bei dem Strichmännchen gar nicht um C handelt (US 4,32). Der Dirigierstil von C kann dabei insgesamt als recht zurückgenommen und sparsam in den Bewegungen charakterisiert werden. Entsprechend sind die Probandinnen bei den falschen Zuordnungen zu dem sich recht sparsam bewegenden Strichmännchen C auch eher unsicher (US 2,55) – im Gegensatz zu denen, die genau in diesem sparsamen Bewegungsverhalten des Strichmännchens korrekt die Charakteristik von C erkennen (US 4,43).

  • Bei B liegen die Verhältnisse umgekehrt: Die Person ist als Dirigentin deutlich am unbekanntesten (BEK 1,95). Entsprechend unsicher sind die Probandinnen darin, in einem Strichmännchen die relativ unbekannte Person B zu erkennen (US 1,92) – es sei denn, B wird, v.a. auf Basis eigener Erfahrungen, mit großer Sicherheit richtig zugeordnet (US 4,36). Dies kann darauf zurückgeführt werden, dass B im Unterschied zu C einen deutlich raumgreifenderen und insgesamt bewegteren Dirigierstil pflegt. Bei der Zuordnung zu dem sich intensiv bewegenden Strichmännchen B urteilen die Probandinnen dann auch durchgehend mit großer Sicherheit, sowohl bei richtiger (US 4,36) als auch bei falscher Zuordnung (US 4,18).

Wir deuten diese Befunde als Indiz für das Ineinandergreifen von Top-down- und Bottom-up-Prozessen im Zuordnungsprozess: charakteristische Merkmale einer gut bekannten Person (wie C) werden in einem Top-down-Prozess in den Strichmännchen gezielt gesucht. Falls diese Suche erfolgreich verläuft, wird die Person dem Strichmännchen mit großer Sicherheit zugeordnet. Bei unbekannten Personen (wie B) wissen die Probandinnen hingegen nicht, worin sie diese in den Strichmännchen erkennen sollen und urteilen entsprechend unsicher.

Die Sicherheit, mit der in einem einzelnen Strichmännchen verschiedene Personen erkannt werden, ist hingegen über Bottom-up-Prozesse auf Basis der Charakteristika des Strichmännchens zu erklären. Diese können jedoch nur stattfinden, wenn die von kinelyze generierten Strichmännchen trotz der fehlenden Wiedergabe von Mimik und detaillierten Handbewegungen die ganzkörperlichen Charakteristika des Bewegungsverhaltens der einzelnen Dirigentinnen hinreichend prägnant wiedergeben.

Diskussion und Ausblick

Grundsätzlich sprechen die hier vorgestellten Befunde für eine Eignung des kinelyze-Systems und der generierten Strichmännchen-Darstellung als Werkzeuge für entsprechende Forschungsfragen. Allerdings lässt sich das Ergebnis des hier vorgestellten Vorversuchs zur Einsetzbarkeit von kinelyze in realen Bühnensituationen aufgrund der geringen Datenbasis mit nur einer einzigen Realsituation und wenigen befragten Musikerinnen noch nicht verallgemeinern. Der Einsatz in weiteren, möglichst unterschiedlichen musikalischen Realsituationen (Konzerte, Proben, Prüfungen, etc.) ist erforderlich um die umfassende Eignung des kinelyze-Systems sowie die Reliabilität der erfassten Bewegungsdaten weitergehend zu überprüfen und abzusichern.

Die von kinelyze generierten Strichmännchen geben das charakteristische Bewegungsmuster der Dirigentinnen in einer Form wieder, die grundsätzlich ein deutlich überzufälliges und urteilssicheres Erkennen einer Person ermöglicht. Im Einzelfall hängt dies jedoch auch von der jeweiligen Bewegungsprägnanz des Strichmännchens, vom allgemeinen Bekanntheitsgrad einer Person als Dirigentin sowie den individuellen Erfahrungen der Beurteilenden ab (ob diese z.B. bereits einmal unter einer Person musiziert haben).

Neben den hier bislang präsentierten Ergebnissen bieten die in der Hauptstudie ebenfalls erhobenen freien Äußerungen der Probandinnen zu den Gründen für ihre jeweilige Person-Strichmännchen-Zuordnung die Möglichkeit einer tiefergehenden, qualitativen Analyse. Eine erste grobe Kategorisierung der Begründungen hat bereits gezeigt, dass die richtigen Zuordnungen auf typischen, voneinander klar abgrenzbaren Merkmalen beruhen, die je nach Person eindeutig lokalisierte oder eher globale Aspekte des Dirigier-/Bewegungsverhaltens oder auch konkrete musikalische Gestaltungsmerkmale umfassen können. Insbesondere eine erste, grobe Analyse der falschen Zuordnungen hat zudem weitere Hinweise darauf ergeben, dass bei der Urteilsfindung sowohl Top-down- als auch Bottom-up-Prozesse eine Rolle spielen, wobei die individuelle Erfahrung der Probandinnen mit den einzelnen Dirigentinnen modulierend wirkt. Eine weiterführende Auswertung und Interpretation der freien Begründungen unter Anwendung der etablierten Laban Bewegungsanalyse (Laban, 1988) bleibt einer weiteren Publikation vorbehalten. Neben der qualitativen Auswertung der Zuordnungsbegründungen ist eine Online-Folgestudie geplant, in der anhand der Strichmännchen-Darstellungen unter anderem Präzision, Expressivität und musikalische Gestaltung, aber auch die Bedeutung einzelner Körperteile/-partien eingeschätzt sowie das Dirigat charakterisiert werden sollen.

Aus methodischer Perspektive stellt das hier vorgestellte kinelyze-System auf Basis der Kinect eine einfach handhabbare, zuverlässige, inhaltlich wie ökologisch valide und dabei kostengünstige Erfassung des Bewegungsverhaltens von Dirigentinnen dar. Da, wie oben erwähnt, die Kinect als Hardware-System inzwischen nicht mehr erhältlich ist, sollen im Rahmen eines geplanten Forschungsprojekts 1. vergleichbare Hardware-Systeme anderer Hersteller für den Einsatz mit kinelyze überprüft, ein geeignetes neues System ausgewählt und kinelyze ggf. angepasst werden; 2. die numerische Auswertung der Daten durch Entwicklung und Verwendung geeigneter Algorithmen vereinfacht und flexibilisiert werden; 3. die Möglichkeiten des Systems z.B. durch die Koppelung mehrerer Sensor-Systeme zur Erfassung eines größeren Raumes und zur multiperspektivischen Erfassung verbessert werden.

Anmerkungen

i) In diesem Beitrag verwenden wir aus Gründen der einfacheren Lesbarkeit durchgehend weibliche Personenbezeichnungen. Männliche Personen sind jeweils mit gemeint.

Finanzierung

Die Autoren haben keine Finanzierung zu berichten.

Interessenkonflikte

CL ist Herausgeber des Jahrbuchs Musikpsychologie war aber bei der Begutachtung dieses Beitrags nicht beteiligt.

Danksagung

Die Autoren haben keine Unterstützung zu berichten.

Ethikerklärung

Das Projekt wurde in Übereinstimmung mit ethischen Standards durchgeführt.

Datenverfügbarkeit

Die Forschungsdaten für diesen Beitrag sind als ergänzende Materialien verfügbar.

Ergänzende Materialien

Zu diesem Artikel sind die vollständigen Daten zu den Erfahrungen der Probanden mit den einzelnen Dirigentinnen sowie den Zuordnungsdaten Strichmännchen-Personen als CSV-Datei im PsychArchives Repositorium verfügbar (Gehrs & Louven, 2019; https://doi.org/10.23668/psycharchives.2439):

Quellenverzeichnis der ergänzenden Materialien

  • Gehrs, V., & Louven, C. (2019). Materialien zu "Ökologisch valides Motion Capture von Dirigierbewegungen mit dem kinelyze-System".PsychOpen. Abrufbar im PsychArchives Repositorium: https://doi.org/ 10.23668/psycharchives.2439

Literatur

  • Ballester, J., & Pheatt, C. (2013). Using the Xbox Kinect sensor for positional data acquisition. American Journal of Physics, 81(1), 71-77. https://doi.org/ 10.1119/1.4748853

  • Berry, D. S., Kean, K. J., Misovich, S. J., & Baron, R. M. (1991). Quantized displays of human movement: A methodological alternative to the point-light display. Journal of Nonverbal Behavior, 15(2), 81-97. https://doi.org/ 10.1007/BF00998264

  • Burger, B. (2013). Move the way you feel. Effects of musical features, perceived emotions, and personality on music-induced movement. Jyväskylä, Finnland: University of Jyväskylä.

  • Bühl, A. (2008). SPSS 16: Einführung in die moderne Datenanalyse. München, Deutschland: Pearson.

  • Carlson, E., Burger, B., & Toiviainen, P. (2018). Dance like someone is watching. Musicae Scientiae, 1, 1-16. https://doi.org/ 10.1177/2059204318807846

  • Chang, C.-Y., Lange, B., Zhang, M., Koenig, S., Requejo, P., Somboon, N., . . . & Rizzo, A. A. (2012). Towards pervasive physical rehabilitation using Microsoft Kinect. 6th International Conference on Pervasive Computing Technologies for Healthcare (PervasiveHealth), 2012, 159-162.

  • Daniel, F., & Mounier, A. (2015). Mobile hyperspectral imaging for the non-invasive study of a mural painting in the Belves Castle (France, 15th C). STAR. Science & Technology of Archaeological Research, 1(2), 81-88. https://doi.org/ 10.1080/20548923.2016.1183942

  • Fernandez-Baena, A., Susin, A. & Lligadas, X. (2012). Biomechanical validation of upper-body and lower-body joint movements of kinect motion capture data for rehabilitation treatments. Intelligent Networking and Collaborative Systems (INCoS), 2012 4th International Conference on Intelligent Networking and Collaborative Systems, 656-661. doi:https://doi.org/ 10.1109/iNCoS.2012.66

  • Gehrs, V. & Louven, C. (2014). Das Microsoft Kinect-System als Werkzeug in der musikpsychologischen Forschung. In F. Olbertz (Ed.), Jahrestagung der Deutschen Gesellschaft für Musikpsychologie, Erlangen 2014 (p. 31). Hannover, Deutschland: DGM.

  • Griffiths, N. K. (2008). The effects of concert dress and physical appearance on perceptions of female solo performers. Musicae scientiae: The journal of the European Society for the Cognitive Sciences of Music, 12(2), 273-290.

  • Hadjakos, A., Großhauser, T. & Goebl, W. (2013). Motion analysis of music ensembles with the Kinect. In Conference on New Interfaces for Musical Expression, 106-110.

  • Khoshelham, K., & Elberink, S. O. (2012). Accuracy and resolution of Kinect depth data for indoor mapping applications. Sensors (Basel), 12(2), 1437-1454. https://doi.org/ 10.3390/s120201437

  • Laban, R. v. (1988). Die Kunst der Bewegung. Wilhelmshaven, Deutschland: Noetzel.

  • LaBelle, K. (2011). Evaluation of Kinect joint tracking for clinical and in-home stroke rehabilitation tools. Undergraduate Thesis. University of Notre Dame.

  • Louven, C. & Gehrs, V. (2015). OpenEar, emoTouch, kinelyze – Musikpsychologische Forschungssoftware aus Osnabrück. In A. Bense, M. Gieseking & B. Müßgens (Eds.), Musik im Spektrum technologischer Entwicklungen und Neuer Medien. Festschrift für Bernd Enders (pp. 111-124). Osnabrück, Deutschland: epOs.

  • Malawski, F., Kwolek, B. & Sako, S. (2014). Using Kinect for facial expression recognition under varying poses and illumination. In D. Slezak, G. Schaefer, S. T. Vuong & Y.-S. Kim (Eds.), Active Media Technology. 10th International Conference, AMT 2014 Warsaw, Poland, August 11–14, 2014 Proceedings (pp. 395-406). Heidelberg, Deutschland: Springer.

  • Mitra, S. (2003). Minimally invasive education: A progress report on the “hole-in-the-wall” experiments. British Journal of Educational Technology, 34(3), 367-371. https://doi.org/ 10.1111/1467-8535.00333

  • Mobini, A., Behzadipour, S., & Saadat Foumani, M. (2014). Accuracy of Kinect’s skeleton tracking for upper body rehabilitation applications. Disability and Rehabilitation. Assistive Technology, 9(4), 344-352. https://doi.org/ 10.3109/17483107.2013.805825

  • Piana, S., Staglianò, A., Camurri, A. & Odone, F. (2013). A set of full-body movement features for emotion recognition to help children affected by autism spectrum condition. Proceedings from IDGEI International Workshop. http://fdg2013.org/program/workshops/papers/IDGEI2013/idgei2013_4.pdf

  • Ren, Z., Yuan, J., Meng, J., & Zhang, Z. (2013). Robust part-based hand gesture recognition using kinect sensor. IEEE Transactions on Multimedia, 15(5), 1110-1120. https://doi.org/ 10.1109/TMM.2013.2246148

  • Renner, K. H. (2005). Verhaltensbeobachtung. In H. Weber & T. Rammsayer (Eds.), Handbuch der Persönlichkeitspsychologie und Differentiellen Psychologie (pp. 149-157). Göttingen, Deutschland: Hogrefe.

  • Rizzo, A., Scherer, S., DeVault, D., Gratch, J., Artstein, R., Hartholt, A., . . . Nazarian, A., (2016). Detection and computational analysis of psychological signals using a virtual human interviewing agent. Journal of Pain and Symptom Management, 9, 311-321.

  • Scherer, S., Stratou, G., Mahmoud, M., Boberg, J., Gratch, J., Rizzo, A. & Morency, L.-P. (2013). Automatic behavior descriptors for psychological disorder analysis. Proceedings from 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), 2013 (pp. 1-8)

  • Smolyanskiy, N., Huitema, C., Liang, L., & Anderson, S. E. (2014). Real-time 3D face tracking based on active appearance model constrained by depth data. Image and Vision Computing, 32, 860-869. https://doi.org/ 10.1016/j.imavis.2014.08.005

  • Stewart, M., Webster, J. R., Schaefer, A. L., Cook, N. J., & Scott, S. L. (2005). Infrared thermography as a non-invasive tool to study animal welfare. Animal Welfare (South Mimms, England), 14(4), 319-325.

  • Stratou, G., Scherer, S., Gratch, J. & Morency, L.-P. (2013). Automatic nonverbal behavior indicators of depression and PTSD: Exploring gender differences. Proceedings from Humaine Association Conference on Affective Computing and Intelligent Interaction (ACII), 2013 (pp. 147-152).

  • Wapnick, J., Campbell, L., Siddell-Strebel, J., & Darrow, A.-A. (2009). Effects of non-musical attributes and excerpt duration on ratings of high-level piano performances. Musicae scientiae. The Journal of the European Society for the Cognitive Sciences of Music, 13(1), 35-54.

  • Wapnick, J., Darrow, A.-A., & Mazza, J. K. (1998). Effects of performer attractiveness, stage behavior, and dress on violin performance evaluation. Journal of Research in Music Education, 46(4), 510-521. https://doi.org/ 10.2307/3345347

  • Wapnick, J., Darrow, A.-A., Kovacs, J., & Dalrymple, L. (1997). Effects of physical attractiveness on evaluation of vocal performance. Journal of Research in Music Education, 45(3), 470-479. https://doi.org/ 10.2307/3345540

  • Wapnick, J., Mazza, J. K., & Darrow, A.-A. (2000). Effects of performer attractiveness, stage behavior, and dress on evaluation of children’s piano performances. Journal of Research in Music Education, 48(4), 323-335. https://doi.org/ 10.2307/3345367

  • Wasenmüller, O. & Stricker, D. (2017). Comparison of Kinect V1 and V2 depth images in terms of accuracy and precision. In Computer Vision – ACCV 2016 Workshops: Lecture Notes in Computer Science (pp. 34-45). Cham, Switzerland: Springer International Publishing.

  • Wöllner, C. (2007). Zur Wahrnehmung des Ausdrucks beim Dirigieren. Eine experimentelle musikpsychologische Untersuchung. Berlin, Deutschland: LIT.

  • Wöllner, C. & Deconinck, F. (2012). Movement expertise influences gender recognition in point-light displays of musical gestures. In 12th International conference on Music Perception and Cognition (ICMPC 2012); 8th Triennial conference of the European Society for the Cognitive Sciences of Music (ESCOM 2012). Aristotle University of Thessaloniki. School of Music Studies.