KI-basierte SDR-HDR-Konversion für den Markt nutzbar machen

Pascal Kutschbach

Für seine Masterarbeit „Approaches to Colorspace Conversions using Deep Learning“ an der Hochschule RheinMain erhielt Pascal Kutschbach den Hochschul-Absolventen-Preis 2021. Im Interview erzählt er uns mehr über die Enstehung des Themas, aber auch, wie es damit in Zukunft weitergeht.



Du bist seit 2018 Mitglied der FKTG. Was war für Dich der Grund für den Beitritt?

Ich habe mich vor allem deswegen dazu entschlossen, FKTG-Mitglied zu werden, um auf das FKT-Archivmaterial zugreifen zu können, das ich häufiger als Quelle für meine Ausarbeitungen genutzt habe. 

Damals habe ich auch, gemeinsam mit Mark Benyamin, meinen ersten Beitrag für die FKT* verfasst.


Was bedeutet die Auszeichnung mit dem Hochschul-Absolventen-Preis für Dich?

Ich habe mich sehr darüber gefreut und gar nicht erwartet, dass ich mit dieser Arbeit gewinne. Aber es zeigt, dass ich mit meiner Forschung den Zeitgeist in diesem Bereich getroffen habe, zumindest was die Broadcast-Welt in Deutschland angeht. 

Ich denke, das ist ein guter Grundstein für die zukünftige weitere Forschung, die ich aktuell betreibe. Man muss allerdings dazu sagen, dass auch Lucien Lenzen, der ja zuvor Doktorand an der Hochschule RheinMain war, viel zu diesem Thema beigetragen hat. Es ist eine Gemeinschaftsleistung der Arbeitsgruppe der Hochschule.
 


* Kutschbach, Pascal; Benyamin, Mark: HDR unter Berücksichtigung der menschlichen Kontrastwahrnehmung.


 

Erzähle uns noch ein bisschen mehr zum Thema Deiner Masterarbeit. Wie ist das genau entstanden?

Auch da muss ich wieder auf die Arbeiten von Lucien Lenzen verweisen,  der ja zuvor ein Konversionsprogramm entwickelt hat, dass eine Farbraumkompression durchführt, also eine HDR/SDR-Konversion bzw. Down-Konvertierung. Das war die Basis für weitere Verfahren in diese Richtung. 

Wir haben uns dann überlegt, dass es sinnvoll wäre, das Verfahren zu invertieren, um Bildmaterial mit wenig Farb- und Helligkeitsumfang zu expandieren und zum Beispiel für modernere, HDR-/WCG-fähige Wiedergabegeräte aufzubereiten.

Ein erster Ansatz war es, dies algorithmisch zu lösen - daran hat ebenfalls Lucien Lenzen gearbeitet. Als zweiter Ansatz sollte dann eine KI-Lösung zum Einsatz kommen. Dabei ging es nicht zwingend darum, eine finale Lösung zu entwickeln, sondern vielmehr zu überprüfen, ob dies überhaupt ein gangbarer Weg ist. Dabei müssen Broadcast-Anforderungen berücksichtigt werden, wie beispielsweise die Echtzeitfähigkeit des Verfahrens.

In der Folge habe ich dann drei KI-basierte Verfahren mit unterschiedlichen algorithmischen Anteilen entwickelt und damit nachgewiesen, dass die SDR/HDR-Konvertierung auch KI-basiert funktioniert. Insofern war die Motivation für die Arbeit ein schon existierender Algorithmus, der verbessert werden sollte.
 

Woran arbeitest Du aktuell?

Ich führe an der Hochschule RheinMain als Wissenschaftlicher Mitarbeiter das Forschungsthema meiner Masterarbeit fort, also die SDR-HDR-Upkonvertierung mittels KI. 

Ich habe inzwischen das komplette Framework in einer anderen Programmiersprache geschrieben. Das diente vor allem dazu, dass die Berechnungsgeschwindigkeit wesentlich schneller wird, denn die Konversion soll irgendwann in Echtzeit funktionieren. Eine der Herausforderungen im Broadcast ist es ja, Bildverarbeitungen in Echtzeit vorzunehmen, wenn man Live-Signale hat. 

Mo., 28.11.2022 - 13:11

Mittlerweile ist die Verarbeitung schneller und qualitativ besser geworden, wenn ich es mit dem Stand der Masterarbeit vergleiche. Es geht schrittweise voran.


Was steht für Dich beruflich als nächstes an?

Es gibt ein weiterführendes Forschungsprojekt, bei dem dieses Verfahren auch auf Hardware implementiert werden soll. Hierfür arbeiten wir mit der Firma Lynx Technik in Weiterstadt und der Firma The Chainless aus Freiburg zusammen. Lynx wird das Verfahren auf ein FPGA bringen und The Chainless soll es in die Cloud bringen. Wir versuchen also jetzt schon, das Verfahren in Ansätzen im Markt zu etablieren. Später wird es darum gehen, Kunden zu finden, die diese Lösung testweise einsetzen.

Es wird allerdings noch einige Zeit dauern, bis mit brauchbaren Ergebnissen zu rechnen ist. Zwar bekommt man die Portierung in die Cloud relativ gut hin, beim FPGA gibt es noch gewisse Herausforderungen, das KI-Netz so zu komprimieren, dass es auf ein FPGA passt, sowohl was den Speicher als auch die Verarbeitungsgeschwindigkeit angeht. Insgesamt sind wir aber aus meiner Sicht auf einem guten Weg. 


Du trittst bei der Hochschule RheinMain in die Fußstapfen von Dr. Lucien Lenzen, der ja ebenfalls von der FKTG für seine Abschlussarbeit ausgezeichnet wurde. Sehen wir Dich demnächst wieder auf der Bühne der FKTG Fachtagung, dann zur Verleihung des Richard-Urtel-Preises?

Ich arbeite daran. Allerdings ist das noch ein weiter Weg. Ich bin ja erst letztes Jahr als Doktorand eingestiegen und es liegt noch viel Arbeit vor mir. Aber das ist definitiv mein Ziel.

Aber selbst wenn es nicht zum weiteren Preis reichen sollte, werde ich bestimmt wieder zur FKTG Fachtagung kommen. Es ist für mich einfach ein guter Austausch und man nimmt immer sehr viel Input mit. Vor allem sieht man auch, woran die Firmen selbst arbeiten - so hält man den Bezug zum Markt.

-AB