Softwaredefiniertes Video‐over‐IP‐System mit extrem niedriger Latenz und Kompression

Business Lebenslauf

Dipl. Ing. Wolfgang Heppner

 

Ausbildung / Studium

1986 bis 1993 Studium der Elektrotechnik an der Friedrich Alexander Universität Erlangen-Nürnberg

Beruflicher Werdegang

  • 1993 bis 1996: Freier Mitarbeiter am Fraunhofer Institut für Integrierte Schaltungen IIS in Erlangen
  • 1996 bis 2010 Wissenschaftlicher Mitarbeiter am Fraunhofer IIS in der Abteilung Bildsensorik
  • Seit 2010 Gruppenleiter „Systeme und Geräte“ am Fraunhofer IIS in der Abteilung Bewegtbildtechnologien. Der Forschungsschwerpunkt der Gruppe liegt im Bereich Videocodierung für professionelle Anwendungen (Kontribution) und hier hauptsächlich in der Weiterentwicklung und Anwendung des Standards JPEG XS

 

Do., 17.03.2022 - 10:24

Kurzfassungs des Vortrags No. 24


"Der Trend, bei Studios, Broadcastern und Streamingdiensten dedizierte SDI-Leitungen durch IP-basierte Netzwerke zu ersetzen ist ungebrochen. Eine Video-over-IP Übertragung erfordert jedoch eine Abwägung zwischen Bandbreite, Latenz und Flexibilität der Implementierung. Niedrige Latenzzeiten bei gleichzeitig hohem Datendurchsatz sind besonders wichtig bei Live-Produktionen und wenn in hybriden Systemen SDI- und IP-basierte Technik zusammen betrieben wird.

Eine unkomprimierte Übertragung besitzt einen hohen Bandbreitenbedarf, während die zur Komprimierung erforderliche Verarbeitungszeit in der Regel zu einer höheren Latenz führt. Bei UHD-1- und UHD-2-Videos ist dies eine noch größere Herausforderung, denn unkomprimierte Videodaten erfordern hier leistungsstarke Ethernet-Netzwerke. Nutzt man dagegen Komprimierung, bietet der kürzlich bei der ISO standardisierte Bildcodec JPEG XS zwar eine sehr geringe algorithmische Latenz, diese kann in der Praxis aber nur mit speziellen Hardware-Implementierungen (FPGA, ASIC) auch realisiert werden.

In einigen Fällen sind jedoch Software-Implementierungen auf Standard-COTS (Commercial off the shelf) Geräten von Vorteil, um mehr Flexibilität zu ermöglichen. JPEG XS bietet dafür die Möglichkeit, sowohl bei der Komprimierung als auch bei der Dekomprimierung die zu verarbeitenden Daten auf mehrere Threads aufzuteilen. Dazu wird das Quellbild nach der anfänglichen Wavelet-Transformation in Scheiben (Slices) aufgeteilt, die unabhängig voneinander und damit parallel verarbeitet werden können. Die Aufteilung nach der Wavelet-Transformation verhindert, dass Slicegrenzen im dekodierten Bild störend sichtbar werden. Diese parallele Verarbeitung bietet nicht nur einen skalierbaren, hohen Datendurchsatz auf Multicore Systemen, sondern ermöglicht es auch, ein softwarebasiertes Übertragungssystem mit geringer Latenz zu realisieren. Für eine Optimierung der Latenz muss allerdings darauf geachtet werden, wie die zu verarbeitenden Daten auf mehrere Threads verteilt werden und wie groß die Anzahl der Threads ist. Ferner muss in der gesamten Systemarchitektur jede Stufe im Datenpfad hinsichtlich ihres Beitrages zur Gesamtlatenz betrachtet und ggf. optimiert werden.

Dieser Beitrag gibt einen Überblick über JPEG XS und stellt eine Fallstudie vor, in der auf Basis von COTS Komponenten eine softwarebasierte UHD-1 Video-over-IP Übertragung realisiert wurde. Das System besteht aus einem Encoder Rechner mit einer SDI Capture Karte und einem Decoder Rechner mit einer SDI Playout Karte. Beide Rechner sind über 10Gb Ethernet verbunden, die IP Übertragung basiert auf RTP Paketen und folgt SMPTE ST 2110. Die JPEG XS En- und Dekodierung erfolgt ausschließlich in Software. Dabei wird eine Standardimplementierung mit einem optimierten Design verglichen, das eine Latenz von weit unter einem Bild ermöglicht. "