Qualitätsbeurteilung in Video und Film

Was verändert sich gerade?

Die JOANNEUM RESEARCH entwickelt Lösungen und Technologien für Wirtschaft und Industrie in einem breiten Branchenspektrum und betreibt Spitzenforschung auf internationalem Niveau. Mit dem Fokus auf angewandte Forschung und Technologieentwicklung nimmt sie als INNOVATION COMPANY eine Schlüsselfunktion im Technologie- und Wissenstransfer in der Steiermark ein. DIGITAL, das Institut für Informations- und Kommunikationstechnologien betreibt Forschungen auf den Gebieten Fernerkundung und Geoinformation, Bildanalyse und Messsysteme. Weltraumtechnik und Kommunikationstechnologie, Intelligente Informationssysteme, Intelligente Akustische Lösungen und Audiovisuelle Medien.

Peter Schallauer von der Audiovisual Media Group (AVM) des JOANNEUM RESEARCH (JR) in Graz referierte am 21. Oktober 2013 auf der FKTG-Regionalveranstaltung / IRT-Kolloquium in München zum Thema: Essenz Qualitätsbeurteilung in Video und Film - Was verändert sich gerade?

Das AVM hat seinen Schwerpunkt in Bildverarbeitung, Computer Vision, Machine Learning und Medien Archive, sowie Film- /Video Restaurierung, Qualitätsbewertung. Zum Thema Metadata arbeitet sie bei der Standardisierung z.B  des MPEG-7 Audiovisual Description Profile (AVDP) mit.

Kurzinhalt

Es gibt verschiedene Ebenen der Qualitätskontrolle (Quality Control, QC), wie File, Wrapper, Streaming, besonders wird aber auf die Inhalte-Qualitätsbeurteilung in Video und Film eingegangen. Die notwendigen Funktionalitäten in den verschiedenen Workflows und deren Automatisierbarkeit wurden erläutert und es folgte eine Diskussion der Ergebnisse und deren Verwendung. Abschließend ging der Referent noch auf die verschiedenen QC-Standardisierungsinitiativen ein.

Qualitätsbeurteilung bei Video- und Film-Essenz

Bei den  verschiedenen Video-QC-Layern legt die AVM der Joanneum Research ihren Schwerpunkt auf die Fehler im Inhalt. Weitere Anwendungen gäbe es bei der File-Integrität, den Wrappern (MXF, MOV, AVI) oder bei der  Überprüfung der Verstöße gegen Standards.

Beurteilung an der Quelle

Die Qualitätsbeurteilung der Essenz erfolgt im Basisband und ist damit Inhalte bezogen. Das heißt, die Analyse der Bilddaten wird im Ursprungsformat und damit unabhängig von der Codierung durchgeführt. Die Veränderungen in Video-Files und in Filmen und die Fehler bei Mehrgenerationen-Dateien sowie die Fehler, die analog oder digital entstanden sind, werden unabhängig von der Auflösung detektiert. Dabei wird keine Vergleichsaufnahme benötigt, es erfolgt eine direkte Beurteilung der Quelle.

Typische Fallbeispiele für die Beurteilung der Fehler in der Qualität sind die Digitalisierung der Archive mit QC für die Migration sowie das Suchen und die Auswahl von Inhalten mit speziellen Qualitätsanforderungen. Dabei werden Qualitätsbetrachtungen bei ankommenden und abgehenden Video-Files und Filmen in der Nachbearbeitung durchgeführt. Es wird der Aufwand bei einer Restaurierung abgeschätzt und es werden Hilfen für die Auswahl der Restaurations-Werkzeuge gegeben. Die Sicherstellung der Qualität vor der Ausstrahlung oder des Austauschs ist damit gewährleistet. Streaming-Services für auf Qualität ausgesuchte Inhalte werden unterstützt.

Kostenreduzierung durch QC

Die Automatisierung der Fehlersuche im Inhalt gibt sichere Informationen für den Operator zur nachträglichen manuellen Beurteilung in Sachen Rauschen, Schärfe des Bildes und Digi-Beta-Fehler wie zum Beispiel Dropouts. Die manuelle Begutachtung erlaubt zwar die höchste Qualität, ist aber sehr teuer. Deutlich preiswerter innerhalb begrenzter Anforderungen ist die automatische Kontrolle. Es sollte deshalb das Ziel sein, eine weitgehende automatische Analyse und eine händische Nachbearbeitung der gefundenen Fehler zu erreichen  (Bild 1).

[caption align=left]Bild 1. Automatische Inhalte-Qualitäts-Analyse mit nachträglicher Bearbeitung[/caption]

Vergrößern per Mausklick

Speziell entwickelte Analyse-Bausteine und -Detektoren bieten für die automatische Bearbeitung eine schnelle Erkennung der Fehler und spezielle Nachbearbeitungen der gefundenen Fehler und Abweichungen. Gesucht wird zum Beispiel nach Unterbrechungen im Inhalt, nach auffallenden Rauschanteilen und Filmkorn, Digital Betacam Chrominanz- und Luminanz-Fehlern, Schärfeverlusten, einfarbigen Bildern, defekten Bildern, Testbild-Einstreuungen und beim Ton möglichen Störungen und Dolby-E-Fehlern. Eine Überprüfung der Metadaten nach MPEG-7/AVDP (XML) wird vorgenommen. Es lassen sich auch kundenbezogene Analyse-Vorgaben realisieren. Die kundenspezifischen User Interfaces, mit einem Videoplayer-Support auf einem zweiten Display erlauben einen effizienten Einsatz der menschlichen Sinne für die Inspektion.

Qualitätskontrolle und danach?

In erster Linie hängt die Verwendung vom Workflow ab. Wie relevant ist der Defekt? Ist vielleicht eine Wiederholung mit anderen Parametern, anderem Licht notwendig oder eine Wiederholung der Übertragung? Ist eine neue Codierung des Inhalts nötig? Das sind zum Beispiel realistische und notwendige Fragen in der Praxis, die sich bei der Qualitätskontrolle ergeben.  

Standardisierung der Qualitätskontrollen

Die Standardisierung der Qualitätskontrolle ist wichtig für Videos. Mit ihr beschäftigen sich mehrere Gremien, Gruppen und Untergruppen weltweit.

EBU

Die EBU hat deshalb ein Strategieprogramm für QC aufgelegt. Ziele sind eine Liste der Anforderungen an die Qualitätskontrolle sowie Testbeispiele und Vorschriften, wie man die Qualitätskontrolle am besten in jeweils speziellen Fällen einsetzen kann. Dabei werden Benutzerbeispiele für den Ingest, die Archive für die Umsetzung im Rahmen der Digitalisierung, den Programmaustausch und die Programmausstrahlung erarbeitet. Die Unterstützung erfolgt durch Rundfunkanstalten und alle QC-System-Hersteller.

Ein erster Entwurf von 53 Testbeispielen wurde veröffentlicht. Weitere etwa 80 sind soweit festgelegt, dass die nächste Ausgabe zur EBU PTS im Januar 2014 geplant wird. Sie bietet  Prüfungen auf verschiedenen Ebenen, wie Wrapper, Bitstream oder im Basisband (Inhalt). Es sind insgesamt etwa 120 bis 140 Testbeispiele vorgesehen.

AMWA (Advanced Media Workflow Association)

Die EBU/AMWA arbeitet an einer „Quality Analysis (FIMS-QA) für die Standardisierung von Interfaces in der Medienproduktion und lokalen Netzwerken“. Das erste Treffen fand im Frühjahr 2013 statt. Zur Zeit wird eine Analyse der Anwendungsfälle für das QA Service Interface durchgeführt. Die QC-Profile (Satz von Testbeispielen) und QC-Berichtsformate  werden in gemeinsamer Arbeit der EBU SP-QC-Gruppe beraten. Einsetzbare Interfaces und Referenz-Implementierungen werden in 2014 erwartet.

MPEG

Das MPEG-7 Audiovisual Description Profile (AVDP) ist eine Untermenge des MPEG-7 Standards und speziell zugeschnitten auf die Medienproduktion und die Archivanwendungen.

Es sollen time-based metadatas detailliert beschrieben werden, die von AIE-Tools (Automatic Information Extraction) erstellt werden. EBU, NHK, RAI, VRT, JRS arbeiten zusammen. Die Standardisierung erfolgte durch die ISO in 2012. Es soll die Interoperabilität der Metadata für time-based metadatas zwischen Werkzeugen, Systemen und Organisationen sichergestellt werden (Bild 2).

[caption align = left]Bild 2. Struktur der MPEG-7/AVDP[/caption]

Vergrößern per Mausklick

Es gibt ferner das MPEG Multimedia Preservation Application Format (MP-AF) für Metadaten in den Langzeitarchiven. Diese Standards werden von den Digitalen Bibliotheken (z.B. Library of Congress PREMIS, entwickelt und gepflegt. Es fehlt aber an einem Standard für Metadaten für Archivierung von Multimedia-Inhalten, dem Austausch zwischen den  Archivsystemen und den Service-Providern als auch der Archiv-Service für andere Organisationen. MP-AF enthält einen Vorschlag für ein Metadatenmodell mit einer Hierarchie der digitalen Items, Prozesse und Metadaten-Typen unter Nutzung der MPEG-Technik, wie MPEG-7, MPEG-21, in Verbindung und Zusammenarbeit mit der EBU-Qualitätsgruppe.

In der Zukunft sollen an Qualitäts-Metadaten behandelt werden:

  • Fehler im Bitstream/Wrapper,
  • Verletzungen der technischen Parameter,
  • die Beschreibung der händischen Eingriffe und
  • die Behebung sowie Inkonsistenz der technischen Metadaten zwischen Formaten, Wrappern, Inhalten (cross check results).


In MPEG-7 sind bereits Werkzeuge für qualitätsbezogene Metadaten in Audiosequenzen (part4/AMD1) vorhanden.

Abschlussbetrachtung

In der Zusammenfassung der Bemühungen zur Video-Qualitätsprüfung für die Herstellung und die Nachbearbeitung, für das Archiv und die Distribution wurden die Vorteile der QC herausgestellt. Ein automatisierter Ablauf ist für die Qualitätskontrolle sehr wichtig und spart Kosten. Dafür sind verlässliche Verfahren und Algorithmen notwendig. Die Standardisierung ist ein wichtiger Punkt bei MPEG, EBU, AMWA.

In der Diskussion verwies Reinhard Knör vom IRT auf die Arbeiten der BBC und der dpp.

Auch einige weitergehende Forderungen wurden vorgetragen, wie Eingangsprüfungen zu Schmutz, Schrammen und anderes auf Filmen detektieren zu können und um eine schnellere Beurteilung der Kosten für die Restaurierung erstellen zu können.

Prof. Dietrich Sauter