Dipl.-Ing. Georg Thallinger
JOANNEUM RESEARCH
Georg Thallinger studierte Telematik an der Technischen Universität Graz und ist seit 1992 bei JOANNEUM RESEARCH tätig. Er leitet die Gruppe "Smart Media Solutions" innerhalb der Forschungsgruppe "Intelligent Vision Applications" von DIGITAL. Seine Forschungsschwerpunkte sind Methoden im Bereich der inhaltsbasierten Analyse und Suche von audiovisuellen Medien für Anwendungen in den Bereichen Medienproduktion und -überwachung, audiovisuelles Kulturerbe sowie Mobilität und Sicherheit.
Er ist Koordinator von FAIRmedia und DIDYMOS-XR und hat eine Reihe von nationalen und internationalen Projekten geleitet (z.B. DIAMANT, SALERO, FascinatE, SIMMARC, SIMPLE, TailoredMedia).
Co-Referenten
Dipl.-Ing. Gernot Rottermanner
Fachhochschule St. Pölten
Christoph Bauer
Österreichischer Rundfunk
BA BSc Manuel Kerzner
APA - Austria Presse Agentur
Kurzfassung des Vortrags
Das österreichische Forschungsprojekt TailoredMedia - "Tailored and Agile enrIchment and Linking fOR sEmantic Description of multiMedia" hatte das Ziel, KI-basierte Methoden zur automatischen Analyse von audiovisuellen Inhalten zu entwickeln, um die Wiederverwendung von Inhalten zu erleichtern. Die KI-basierten Analysewerkzeuge umfassen unter anderem Named Entity Extraction und semantisches Lifting, Szenenklassifikation, Objekterkennung, Szenentexterkennung und Segmentierung von Radioprogrammen. Im Rahmen des Projekts wurden User Interfaces für die Überprüfung und Validierung der generierten Anmerkungen sowie für die Suche nach Archivinhalten entwickelt, die von Taylor - einem Avatar für die KI-Fähigkeiten des Systems - ergänzt werden. Die User Interfaces wurden im Rahmen von Usability Tests mit Archivar*innen und Redakteur*innen positiv evaluiert.
Das darauf aufbauende Projekt FAIRmedia -"Fair And Trusted Data Sets for Media Computing" erforscht Methoden zur Erstellung von fairen und vertrauenswürdigen Datensätzen für KI-Anwendungen in den Medien. Der Fokus liegt auf der Entwicklung eines Werkzeugkastens zum effizienten Erstellen und Bereitstellen von vertrauenswürdigen Datensätzen aus aktuellen und archivierten Inhalten österreichischer Medienorganisationen für den Einsatz im Training von KI-Modellen. Die meisten solcher Datensätze stammen derzeit von Organisationen außerhalb der EU, insbesondere aus den USA und China. Dies führt nicht nur zu Abhängigkeiten von globalen Technologieunternehmen, sondern birgt auch das Risiko, dass anwendungskritische Datensätze jederzeit zurückgezogen werden können. Zudem besteht die Gefahr, dass die damit entwickelten KI-Tools nicht mit der DSGVO und kommenden KI-Regulierungen konform sind.
Die Hauptziele von FAIRmedia sind (i) die Schaffung von Werkzeugen für die effiziente Erstellung von fairen und vertrauenswürdigen Datensätzen, (ii) die Erstellung von No-/Low-Code-Tools für das Training von KI-Modellen ohne tiefgehende Programmierkenntnisse durch Journalist:innen, Redaktionsleiter:innen, Publikumsmanager:innen und Archivar:innen und (iii) die Entwicklung von post-hoc erklärbaren KI-Tools zur Beurteilung der trainierten Modelle und der Ausgewogenheit von Datensätzen.
Dieser Vortrag präsentiert erste Ergebnisse hinsichtlich der Analyse der Benutzeranforderungen sowie des Designs von Werkzeugen und Workflows für die Erstellung von Datensätzen und deren Validierung im Training eines KI Modells für eine spezifische Anwendung.