Am 1. Dezember 2023 wurde „Holo Harmonies“ zur Musik von Franz Schuberts „Der Tod und das Mädchen“ zeitgleich in Baden-Baden und Prag uraufgeführt. Hintergründe zur technischen Realisierung eines ganz besonderen Kulturereignisses.
In Baden-Baden erlebten die Gäste im Festspielhaus live den Elektromusiker Sven Helbig gemeinsam mit dem Stuttgarter Kammerorchester unter Leitung von Thomas Zehetmair. In Prag tanzte dazu live das Tschechische Nationalballett nach einer Choreographie von Mauro Bigonzetti. Die Tänzerinnen und Tänzer waren in Baden-Baden als hinzugeschaltete Hologrammprojektion zu sehen, während die Musikerinnen und Musiker des Stuttgarter Kammerorchesters als Hologramme in der Nationaloper Prag erschienen.
Das Animations-Team hinter „Holo Harmonies“
- XR-Regie: Jana Günther
- Animation Regie: Moritz Mayerhofer
- CG-Artist: Henning Schild
- Lead Developer: Felix Lange
- 3D-Scan: Benjamin Hopfmann, Felix Bucella
- Consultant: Andreas Dahn
Technisches Setup und Prävisualisierung
Das Setup bestehend aus Gaze (11,5 Meter x 7,10 Meter) und lichtstarken Projektoren sowie der Einrichtung eines Livestreams an beiden Standorten lieferte Musion Holotec unter der Leitung von Robin Maass. Die Künstlerinnen und Künstler wurden durch die Gaze gefilmt und dann das Livebild mit einer Latenz von rund 20 Millisekunden an die jeweils andere Location gesendet.
Das gestreamte Bild wurde in Lebensgröße als Frontprojektion auf eine halbtransparente Gaze projiziert. Diese ist zwischen dem Publikum und den Künstlerinnen und Künstlern auf der Bühne aufgebaut. Der Bühnenaufbau wurde dafür klar in zwei Hälften getrennt, damit sich reale und projizierte Künstler nicht überlagern.
Über den Köpfen der Künstler bot die Gaze eine Fläche von ca.46 m², die laut Information des Realisationsteams ausschließlich für die Projektion von begleitenden Animationen genutzt wurde. Diese wurden mittels eines 4k-Projektors projiziert und konnten in manchen Passagen der Aufführung auch die ganze Fläche der Gaze (ca. 81m²) einnehmen.
Prävisualisierung des Projekts
Basis für eine umfassende Prävisualisierung des Projekts waren von Benjamin Hopfmann angefertigte Lidar-Scans der Locations, Festspielhaus Baden-Baden und Nationaloper in Prag. Dabei wurden ein FARO 3D Premium 150 terrestrischer Laserscanner mit 360° 3D Kamera eingesetzt.
Die so generierten Punktwolken wurden von CG-Artist Felix Bucella als 3D-Geometrien aufbereitet. In diesen virtuellen Locations wurden zur Veranschaulichung der geplanten Arbeiten eine virtuelle Leinwand sowie Platzhalter für Orchester und Ballett eingerichtet, um so maßstabsgetreu technische Aspekte wie Projektionen, Licht- und Kameraaufbau zu planen.
Animationskonzept und -umsetzung
Die begleitenden animierten Visuals wurden in einem Zeitraum von über sechs Monaten entwickelt und mittels 3D-Animationen zum Leben erweckt. Als Basis diente eine umfangreiche Bildrecherche der XR-Regisseurin Jana Günther. Diese wurden von Animations-Regisseur Moritz Mayerhofer durch Designs und Concept Art erweitert und zu einem visuellen Konzept weiterentwickelt.
Herstellung der Animations-Assets
Die Bildinhalte der Visuals beinhalteten abstrakte Geometrien, die unter anderem mittels Geometry Nodes in der 3D Software Blender hergestellt und zur weiteren Verarbeitung in die Realtime-Engine Unity übertragen wurden. Dort setzte CG-Artist Henning Schild Lichtsetzung, Oberflächengestaltung sowie umfangreiche Partikeleffekte mittels VFX-Graph um.
Lead-Developer und Technical Artist Felix Lange entwickelte für die Produktion verschiedene Tools, mit denen nicht nur lange Szenen (bis zu 16 Minuten) leichter handhabbar wurden, sondern auch grafische Funktionen wie etwa das Zerfallen von Oberflächen in einer komplexen Verbindung von Shader-Programmierung, VFX-Graph und physikalischen Funktionen.
Der Einsatz eines Cloud-basierten Versionsverwaltungstools ermöglichte es mehreren Artists standortunabhängig und gleichzeitig am Projekt arbeiten zu können.
Realtime Engine
Ein Argument für die Nutzung einer Realtime-Engine war laut des Animations-Teams u. a. die Möglichkeit auf reale Einflüsse der Orchester-Performance, wie etwa Tempoveränderungen einzugehen, um so audioreaktive Inhalte in die Visuals einfließen zu lassen.
Ein weiterer Vorteil waren die verhältnismäßig geringen Datenmengen. Da zudem verschiedene Gewerke beteiligt waren, wurde bekam „der Aspekt der Flexibilität eine starke Gewichtung.“
-AB
Bilder: Preview Animationen von Moritz Mayerhofer