Round table real-time 3D communication system for hybrid conferencing

Ingo Feldmann

Fraunhofer Heinrich Hertz Institute

Ingo Feldmann leitet am Fraunhofer Heinrich-Hertz-Institut in Berlin die Forschungsgruppe “Immersive Medien & Kommunikation”. Seine Forschungsschwerpunkte liegen im Bereich der 3D Erfassung, semantischen Analyse sowie 3D Darstellung von realen Umgebungen, Objekten und Personen, u.a. im Kontext von Virtual-, Augmented- und Mixed-Reality-Anwendungen. Gemeinsam mit seinem Kollegen Oliver Schreer ist er für die Entwicklung der Technologie des Volumetrischen Videos und des Volumetrischen Studios am Fraunhofer HHI verantwortlich. Für seine Forschungsergebnisse erhielt er mehrere Auszeichnungen, u.a. den Joseph-von-Fraunhofer Preis (2019) und den Advanced Imaging Society (AIS) Technology Award (2017). Er veröffentlichte mehr als 140 wissenschaftliche Artikel und ist Miteditor verschiedener Fachbücher.

Co-Referenten


Marcus Zepp
Fraunhofer Heinrich Hertz Institute

Decai Chen
Fraunhofer Heinrich Hertz Institute

Weiwen Hu
Fraunhofer Heinrich Hertz Institute

Dr. Oliver Schreer
Fraunhofer Heinrich Hertz Institute   

Kurzfassung des Vortrags


Dienstag, 4. Juni 2024
9:00 bis 10:40 Uhr

Saal 2: Themenblock Dienste

We present a real-time capable end-to-end communication system for hybrid conference events. The system allows two local persons to communicate with a third remote person. It simulates a round table scenario. Each local participant perceives his own view of the remote person on a dedicated dual-view display. Eye contact and body gesture awareness are created based on real-time 3D acquisition system, which allows to freely adapt and correct the viewing perspective. In order to achieve real-time by keeping high-end video quality, our algorithmic workflow combines lower resolution stereoscopic 3D acquisition (HD quality) with high resolution video acquisition (8K). The system is implemented and evaluated in a real-time prototype demonstrator.