Nutzung von 360°-Video bei hybriden Veranstaltungen

Steffen Günther

Fraunhofer Heinrich-Hertz-Institut, HHI

Steffen Günther ist wissenschaftlicher Mitarbeiter am Fraunhofer Heinrich Hertz Institut in Berlin, mit akademischem Hintergrund und praktischer Erfahrung in der audio-visuellen Medienproduktion. Nachdem er seinen Bachelor-Abschluss in Audiodesign an der Hochschule der populären Künste (hdpk) im Jahr 2018 erworben hatte, setzte Steffen seine akademische Laufbahn fort und erlangte 2022 seinen Master-Abschluss in Computing and the Arts an der SRH Berlin School of Popular Arts. Als studentischer Mitarbeiter am Fraunhofer HHI beschäftigte sich Steffen Günther bereits intensiv mit der Aufnahme und Produktion immersiver Medieninhalte. Er hat umfangreiche Erfahrungen als Toningenieur für Aufnahme und Postproduktion sowie in der Programmierung im Bereich der interaktiven, audio-visuellen Medien. Als Spezialist für Aufnahme und Produktion lehrt er im Fachgebiet 3D-Audio seit mehr als fünf Jahren and er SRH Berlin School of Popular Arts.

Co-Referenten


Laura Amaro
Fraunhofer Heinrich-Hertz-Institut, HHI

Laura Magdaleno Amaro ist Masterstudentin der Angewandten Informatik mit dem
Schwerpunkt Visual Computing an der Hochschule für Technik und Wirtschaft Berlin.
Bereits während ihres Bachelorstudiums sammelte sie umfangreiche praktische
Erfahrungen als Entwicklerin für Extended-Reality-Anwendungen, insbesondere an der
Schnittstelle zu Kunst und Kultur.

Am Fraunhofer HHI befasst sie sich in erster Linie mit der Entwicklung von Trainings- und
Simulationsszenarien in der virtuellen Realität. Dabei vertieft sie ihre Kompetenzen im
Bereich der 3D-Game-Engines und der Programmierung von interaktiven audiovisuellen
Medien.

Kurzfassung des Vortrags


Mittwoch, 5. Juni 2024
9:00 bis 10:40 Uhr

Saal 2: Themenblock Virtual Production

Einleitung

360º-Videoinhalte finden auf Grund technischer Hürden noch wenig Verwendung. Außerhalb der Social-Media Portale YouTube und Facebook, das allerdings von einer Weiterentwicklung absieht [1], existieren nur wenige Plattformen, die diese Formate unterstützen. Obwohl der Nutzen für Meetings und Veranstaltungen bereits durch Technologien wie die Meeting Owl [2] oder durch Panorama-Fototouren [3, 4] zu erahnen ist, sind gerade im Kontext hybrider Veranstaltungsformate noch keine verbreiteten Anwendungen zu finden. Im Rahmen des Forschungsprojektes ToHyVe [5] werden deshalb Anwendungsbeispiele im Kontext plattformübergreifender Nutzbarkeit und technischer Realisierbarkeit evaluiert und innovative Demonstratoren in einem interdisziplinären Konsortium aus Industrie und Forschung entwickelt. Die Lösungen der technologischen Herausforderungen zur Realisierung verschiedenster Demonstratoren werden in einem Toolkit für hybride Veranstaltungen zusammengetragen.

Ansatz

Ein Beispiel hierfür ist die Virtualisierung realer Räumlichkeiten durch 360-Videoaufnahmen. Durch eine konstante Kamerabewegungsgeschwindigkeit entlang festgelegter Pfade kann die spätere Position im Raum im VR-Demonstrator mit Hilfe der Auswahl des entsprechenden Video-Frames bestimmt werden. Somit wird eine 6DOF Bewegung innerhalb des hochauflösenden Videopanoramas entlang dieser Pfade möglich. Dies kann mit Hilfe moderner Game-Engines wie Unreal Engine 5 oder Unity3D, mit beliebigen virtuellen Assets ergänzt werden. Durch eine Geometrieanpassung des sphärischen 360º-Videomaterials lassen sich auch die Verdeckungs-Effekte von Säulen, Stützpfeilern oder anderen fixen Raumelementen auf die virtuell positionierten Assets, wie z.B. Technologiedemonstratoren oder Möbel, realistisch simulieren. Die passenden Entsprechungen der verdeckenden Elemente wurden dafür in der Game Engine nachmodelliert und dort positioniert, wo sie in der VR-Umgebung perspektivisch verortet werden. Die realistische Beleuchtung der Assets wird durch virtuelle Lichtquellen ermöglicht, welche realitätsnahe Einfalls- und Ausbreitungswinkel, Farbtemperaturen und Diffusionseigenschaften haben. Raumtouren, Raumdesign, Teilnahme an Veranstaltungen und die Interaktion mit Exponaten sind nur einige denkbare Anwendungen, welche durch diesen Ansatz im hybriden Format realisierbar erscheinen.

Ausblick

Die Integration in bestehende Plattformen wie Web-Browser, Stand-Alone Apps wie Iventic [6] und TriCAT spaces® [7], VR-Headsets und immersive Veranstaltungsräume mit Multiprojektionssystemen [8, 9] verspricht einen hohen Zusatznutzen für hybride Veranstaltungen, gerade für Online-Teilnehmende. Für die Virtualisierung von Veranstaltungsräumen stellt der Ansatz von 360º-Videopanoramen als Ersatz für die aufwändige, vollständige 3D-Nachmodellierung realer Räumlichkeiten eine wesentlich unaufwändigere und damit kostengünstige Alternative bei realistischerem visuellem Ergebnis und gleichbleibenden Interaktivitätsmöglichkeiten dar.