Inhaltspezifische Aktionen

PROBRAL CAPES/DAAD-Projekt (2022-2026)

 „The multimodal coordination of intercultural video-mediated interaction in pandemic and post-pandemic times“

PROBRAL CAPES/DAAD-Projekt (2022-2026) mit Beteiligung der UFMG, UFLA und UESP in Brasilien sowie der Justus-Liebig-Universität Gießen, Universität Heidelberg, Universität Duisburg- Essen sowie Universität Potsdam

Videokonferenzen sind ein wachsender Trend, da Konferenzen, Organisationen und Netzwerke immer globaler werden. Das Projekt konzentriert sich auf die multimodalen Besonderheiten interkultureller Kommunikation vor dem Hintergrund der neuen Möglichkeiten videobasierter Interaktion. Dazu gehören visuelle und auditive Einschränkungen, neue Formen der Partizipation, veränderte Bedingungen für die Koordination von Blickkontakt und die Zuweisung von Rederecht, die Integration eigener Bilder der Teilnehmer:innen und der Wechsel von 3D- zu 2D-Erfahrungen. Aufbauend auf den Ergebnissen der laufenden Kooperation zwischen mehreren deutschen und brasilianischen Partneruniversitäten wird in diesem Forschungsprojekt weiter untersucht, wie Gesprächspartner:innen in videogestützter Interaktion Bedeutung ko-konstruieren und Interkulturen auf verbaler, prosodischer und gestischer Ebene herstellen. Dazu werden in den Teilprojekten der Projektbeteiligten die folgenden übergreifenden Forschungsfragen bearbeitet:

  1. Wie unterscheidet sich der Partizipationsrahmen in der videovermittelten Interaktion von dem der Interaktion in Kopräsenz und wie beeinflusst dies den Fluss der interkulturellen Kommunikation?
  2. Wie variieren gestische und prosodische Mittel in videogestützter Interaktion unter verschiedenen Bedingungen, d.h. zwischen Muttersprachlern und Sprechern mit unterschiedlichem sprachlich-kulturellem Hintergrund? Wie lassen sich diese Variablen quantitativ messen?
  3. Wie werden in interkulturellen Videokonferenzen Gemeinsamkeiten und interkulturelle Räume hergestellt? Welche verbalen, prosodischen und körperlich-visuellen Ressourcen werden gezeigt?
  4. Wie entsteht Interkultur und wie wird sie ad hoc und in situ auf mehrsprachiger und multisensorischer Ebene in Bedeutungsverhandlungen in videovermittelten interkulturellen Interaktionen ko-konstruiert?

Zu diesem Zweck wird ein Mixed-Methods-Ansatz verfolgt, der sowohl quantitative als auch qualitative Methoden umfasst, auf den Konventionen des internationalen Forschungszentrums ICMI basieren, das von den beiden PIs des Projekts geleitet wird. Dies beinhaltet:

  • die Aufzeichnung der Videokonferenzen, die zum ständig wachsenden Korpus des ICMI beitragen;
  • die Organisation der Forschungsdaten in einer Forschungsdatenbank;
  • automatische Transkription mit Software wie Whisper, Amberscript oder aTrain;
  • überarbeitete Transkription und Annotation nach GAT 2 EXMARaLDA oder ELAN
  • eine Feinannotation ausgewählter Sequenzen nach Methoden der Gestenforschung: (a) Analyse von Form und Funktion der Gesten; (b) Analyse von Gesichtsgesten (mit dem Facial Action Coding System - FACS);
  • quantitative Analyse der Koordination von Prosodie, Bewegung und Gestik mithilfe von Flow Analyzer sowie OpenPose;
  • Qualitative Inhaltsanalyse (QCA);
  • multimodale Interaktionsanalyse.

Im Rahmen dieses Programms haben wir bereits eine Doktorandin und eine Postdoktorandin von der UFMG empfangen, die im Rahmen eines (pos)doutorado sanduiche sechs bis acht Monate bei uns verbrachten und aktiv an den Forschungs- und Lehraktivitäten am Lehrstuhl für Romanistische Sprach- und Kulturwissenschaft teilnahmen. Im WS 2025/26 kommt ein Postdoktorand von der UFLA und setzt sein Projekt über “Embodiment in video-mediated interactions” hier um. In diesem Zusammenhang besteht auch eine Kooperation mit Kollegen aus dem Bereich der engenheira elétrica der UFMG, die sich mit der quantitativen Berechnung der Koordination in Videokonferenzen beschäftigen.

Diese und weitere Projekte sind auch Teil der internationalen Forschungsgruppe Intercultural Communication in Multimodal Interactions (ICMI: http://www.letras.ufmg.br/icmi/), die, neben dem bereits beschrieben Fokus auf die Erforschung der Multimodalität von Onlineinteraktion, eine multimodale Datenbank mit transkribierten Audio- und Videoaufnahmen aufbaut. Die Aktivitäten der Forschungsgruppe umfassen unter anderem regelmäßiger Videokonferenzen (alle zwei Wochen), bei denen aktuelle Forschungsdaten und Veröffentlichungen besprochen werden.