Systematische Analyse und Automatisierung von Mehrkamera-Videoaufnahmen am Beispiel von Theateraufzeichnungen

Dipl.-Ing. Eckhard Stoll

Fachhochschule Südwestfalen
Lindenstr.53
59872 Meschede

AudioVisuellesMedienZentrum
Künstlerischer Leiter
Chefredakteur radioFH!

Vita


  • Universität Karlsruhe (TH), Studium der Elektrotechnik, Vertiefung Elektrooptik und Optoelektronik, Abschluss: Diplom
  • Wissenschaftlicher Mitarbeiter an der TUHH, Technische Universität Hamburg-Harburg, Institut für Informatik und Bildverarbeitung
  • Medienwerkstattleiter und Ausbildungsleiter im Bereich Bürgermedien: Bergische Welle, BergTV, Sauerland Welle
  • Seit 2007: Chefredakteur von radioFH!, Campusradio der Fachhochschule Südwestfalen in Meschede und Lehrbeauftragter an der Fachhochschule Südwestfalen in Meschede im Bereich Medienproduktionen
  • Seit 2013: Künstlerischer Leiter des Audiovisuellen Medienzentrums (AVMZ) der Fachhochschule Südwestfalen (AVMZ-Leitung: Prof. Dr. Stephan Breide) und Leiter der Regionalstelle Bürgermedien Südwestfalen

Mehrkamera-Produktionen


Als Abiturient erste „Quasi“-Mehrkameraproduktion: Mitschnitt mit einer Kamera von vier Aufführungen des Theaterstücks „Himmelwärts“ von Ödon von Horvath, Theater in der Maurerwerkstatt Ludwigshafen, aufgenommen von vier verschiedenen Kamerapositionen und nachfolgendem Mehrkamera-Schnitt

  • 2003 – 2019 Mehrkameraproduktionen mit bis zu 8 Kameras von Schultheateraufführungen von Berufskolleg Bergkloster Bestwig, Realschule Olsberg, Musikschule Hochsauerlandkreis, Realschule Meschede und Gymnasium der Benediktiner Meschede
  • 2008 – 2020 Mehrkamera-Live-Mitschnitte der Kinder-Unis der Fachhochschule Südwestfalen in Meschede
  • April 2018 Teilnahme als Hospitant bei einer viertägigen NDR-Aufzeichnung im Ohnsorg-Theater Hamburg

Kurzfassung des Vortrags No. 37


Mitschnitte von Vorführungen, Konzerten oder Theateraufführungen mit mehreren Kameras stellen für Produzierende im nichtprofessionellen Umfeld eine Herausforderung dar. Laien an den Kameras kennen oft nicht die Gestaltungsregeln für sachkundige Bilder und können Bewegungen der Aufführenden meist nicht schnell und kompetent folgen.

Mit 4K/8K-Kameras lassen sich beispielsweise HD-Szenen aus der höheren Auflösung extrahieren. Hier bietet sich ein großer Freiraum in der Nachbearbeitung. Schwenks und Zooms lassen sich nachträglich aus den vorhandenen Aufnahmen erstellen. Neue Einstellungen, wie z.B. Halbnahe oder Nahaufnahmen lassen sich aus Halbtotalen gewinnen.

In den hochauflösenden Aufnahmen werden Körperposen und Körperbewegungen von Personen auf der Bühne analysiert. Verwendung findet ein Mehrpersonen-Erkennungssystem, das den menschlichen Körper, Hand, Gesichts- und Körperpunkte (insgesamt 137 Schlüsselpunkte) erkennt. Das System basiert auf einem neuronalen Netzwerk unter Verwendung von COCO- und MPII-Datensätzen.

Sprachsegmentierungen werden mit speaker diarisation durchgeführt und die Erkennung der sprechenden Personen mit Gesichtserkennung und Analysen der Lippenbewegungen im Bild vorgenommen.

Im Vortrag werden Ansätze für eine Automatisierung von Amateur-Multikamera-Produktionen vorgestellt. Dazu wird eine Taxonomie entwickelt und exemplarisch gezeigt, wie dies die Qualität von Mehrkamera-Theateraufzeichnungen besonders im Amateurbereich verbessern kann.

 



Autor: Dipl.-Ing. Eckhard Stoll, Fachhochschule Südwestfalen
Co-Autor: Prof. Dr.-Ing. Stephan Breide, Fachhochschule Südwestfalen
Co-Autor: Prof. Dr.-Ing. Alexander Raake, Technische Universität Ilmenau