TailoredMedia - Menschenzentrierte Werkzeuge für KI-gestützte Inhaltsbeschreibung und -Suche

Werner Bailer; Christoph Bauer; Dr.Thomas Kurz; Gernot Rottermanner; Georg Thallinger: Das österreichische Forschungsprojekt TailoredMedia hat sich zum Ziel gesetzt, KI-basierte Methoden zur automatischen Analyse von audiovisuellen Inhalten zu entwickeln, um die Wiederverwendung von Inhalten zu erleichtern. Die KI-basierten Analysewerkzeuge umfassen unter anderem Named Entity Extraction und semantisches Lifting, Szenenklassifikation, Objekterkennung, Szenentexterkennung und die Segmentierung von Radioprogrammen. Im Rahmen des Projekts wurden User Interfaces für die Überprüfung und Validierung der generierten Annotationen sowie für die Suche nach Archivinhalten entwickelt, die von Taylor – einem Avatar für die KI-Fähigkeiten des Systems – ergänzt werden. Die User Interfaces wurden im Rahmen von Usability Tests mit Archivar*innen und Redakteur*innen positiv evaluiert.

Zum Artikel >>

The Austrian research project TailoredMedia set out to develop methods for the automatic analysis of audio-visual content based on AI in order to facilitate reuse of content. The AI-based analysis tools include among others named entity extraction and semantic lifting, scene classification, object detection, scene text recognition and radio programme segmentation. The project has developed user interfaces for checking and validating generated annotations as well as for archive content search, enhanced with Taylor – an avatar for the system’s AI capabilities. The user interfaces have been positively evaluated in studies with archivists and editors.