Noch haben wir keine KI entdeckt, die für uns Audiodeskriptionen, also Szenenbeschreibungen für Menschen mit Sehbehinderung, auf Knopfdruck erstellt. Deshalb hören wir uns in unserem neuesten Blogbeitrag in der Welt der Wissenschaft und Forschung um. Wie weit sind Forschende und Entwickler*innen? Das und mehr haben wir Prof. Dr. Gottfried Zimmermann und Prof. Dr. Johannes Maucher gefragt. Beide lehren an der Hochschule der Medien in Stuttgart. Der eine ist Experte für digitale Barrierefreiheit, der andere für KI.

Herr Zimmermann, Herr Maucher, für wie realistisch halten Sie es, dass eine KI in naher Zukunft Audiodeskriptionen „per Mausklick“ erstellt?

Gottfried Zimmermann: KI zur Erzeugung von Barrierefreiheit hat ein Riesenpotenzial. Also bei der Bildbeschreibung, da haben wir ja schon ganz gute Fortschritte, auch bei der Objekterkennung. Das funktioniert schon richtig gut. Allerdings gehört zum Beschreiben von Videoszenen mehr dazu, als nur Objekte zu erkennen. Da sind wir noch weit davon entfernt, dass man das maschinell hinbekommt. Die KI muss wissen:was ist das Wichtige für die Geschichte, was kann oder muss ich weglassen, damit ein Mensch mit Sehbehinderung das gleiche Erlebnis hat wie jemand, der sehen kann.

Johannes Maucher: Das kann ich bestätigen. Auch Emotionserkennung geht gut. Aber bei Videos geht es ja um viel mehr als nur darum, das Sichtbare zu beschreiben. Das Offensichtliche zu beschreiben geht per KI schon relativ gut. Auf semantischer Ebene zu erkennen, was wirklich bedeutsam ist in einer Szene, ist weitaus schwieriger. Es wird daran geforscht, aber ich habe noch nichts gesehen, was wirklich richtig gut funktioniert.

Woran liegt das? Was sind Fallstricke?

Gottfried Zimmermann: Es ist vor allem eine Sache der fehlenden Trainingsdaten. Angenommen wir hätten hunderttausend Filme, für die eine Audiodeskription in Textform vorläge und wir würden eine KI damit trainieren, dann würden wir sicherlich ein ordentliches Ergebnis kriegen. Aber die Trainingsdaten fehlen. Die Skripte gibt es nicht frei verfügbar, auch wenn Plattformen wie Amazon und Netflix immer mehr Filme mit Audiodeskription anbieten. An die Skripte in Textform kommen Forschende nicht ran.

Johannes Maucher: Wenn wir die Zeitkomponente rausnehmen, dann ist eine Szenenbeschreibung ja nichts anderes als eine Bildbeschreibung und das funktioniert immer besser und kann auch für Videobeschreibungen genutzt werden.

Wie geht man dabei vor? Wie kann man sich das vorstellen?

Johannes Maucher: Stellen Sie sich einfach vor, Sie haben einen zweidimensionalen Raum, in den sowohl Bilder als auch Text projiziert werden. Man versucht durch ein neuronales Netz, die Projektion so zu lernen, dass das, was semantisch zusammen gehört, also die Bilder und die zugehörigen natürlich-sprachlichen Beschreibungen, in diesem Vektorraum nah zusammen liegen. CLIP von Open AI ist ein Beispiel dafür. Für Videos wird versucht, das Ganze um die Zeitdimension zu erweitern: Man versucht, sowohl sprachliche Beschreibungen als auch Szenen, kurze Clips, so in einen multimodalen Vektorraum zu projizieren, dass das, was die gleiche Bedeutung hat, im Vektorraum nahe beieinander liegt.

Gottfried Zimmermann: Das heißt, wenn wir jetzt zusätzlich zu diesen hunderttausend Videos noch viele Menschen hätten, die die Beschreibungen zuordnen zu einzelnen Objekten oder Szenen, könnten wir KI-generierte Audiodeskription sicher nochmals verbessern.

Johannes Maucher: Genau, man braucht richtig viele Daten. Für CLIP konnten sich die Open AI-Entwickler einfach im Internet bedienen. Da gibt es unzählige Bilder mit Bildbeschreibungen. Mit 40 Millionen Bildern und Beschreibungen haben sie CLIP trainiert. So etwas bräuchten wir auch für Videos.

Gäbe es also eine frei verfügbare Datenbank mit Szenenbeschreibungen und Videosequenzen, würde es Audiodeskriptionen auf Knopfdruck geben?

Gottfried Zimmermann: Stand heute kommen wir ganz grob vielleicht auf 10.000 Filme, für die es Audiodeskriptionen gibt, auf denen aber die großen Player, wie eben Amazon oder Netflix, ihre Copyrights drauf haben. Wenn es so etwas gäbe wie das Marrakesch Treaty von 2016, dann käme man da vielleicht ran. Dabei geht es um die Einschränkung von Urheberrechten bei Büchern, damit es leichter wird, sie für Menschen mit Behinderungen barrierefrei zu machen. Das wurde unter der UN 2013 ausgehandelt. So etwas müsste man auch für Filme in Gang setzen.

In den USA sind die Anbieter ja schon verpflichtet, barrierefreie Filme zu erstellen, in Deutschland sind es die Öffentlich-Rechtlichen, die sich selbst dazu verpflichtet haben. Die potenzielle Datenbank wächst also stetig. Ich kann mir auch vorstellen, dass Amazon und Netflix anfangen, eine KI mit ihren eigenen Titeln zu trainieren. Dann denke ich, dass wir in zwei bis drei Jahren eine KI haben, die etwas Brauchbares liefern kann. Aber nicht auf dem Qualitätsniveau einer von Experten erzeugten Audiodeskription.

Johannes Maucher: Ich bin da etwas zurückhaltender. Sieben bis acht Jahre, denke ich, ist realistischer. Worüber wir noch nicht gesprochen haben, sind die Kontextinformationen, die bei isolierten Szenenbeschreibungen fehlen. Also Dinge, die in anderen Szenen passiert sind und nicht unbedingt zwei oder drei Sekunden vorher, sind für das Verständnis eines Films und damit der zu beschreibenden Sequenz ja immens wichtig.

Also müssen wir uns noch etwas gedulden. Was wäre Ihre Empfehlung an uns, wie können wir KI oder auch andere Tools schon jetzt nutzen, um aufwandsarm Audiodeskriptionen zu erstellen?

Gottfried Zimmermann: Tools für die Erstellung von textbasierten Audiodeskriptionen. In diesem Fall wird die Audiodeskription als Textdatei hinterlegt und per Sprachsynthese ausgegeben. Via Player kann das dann zu- und abgeschaltet werden. Die User können sich dann die Geschwindigkeit selbst einstellen oder auch eine für sich gut klingende Stimme auswählen. Grundsätzlich muss man sagen, dass die Community sehr offen gegenüber künstlichen Stimmen ist. Sie sind es gewöhnt. Sie lassen sich schon immer Inhalte vom Screenreader vorlesen. Das ist ganz anders als Gehörlose, die sich mit Gebärden-Avataren sehr schwer tun und dies eher ablehnen.

Vielen Dank für die wertvollen Einblicke!

Das Gespräch führte Annette Link.

Prof. Dr. Gottfried Zimmermann lehrt an der Hochschule der Medien in Stuttgart (HdM) im Studiengang Mobile Medien und leitet das dortige Kompetenzzentrum für digitale Barrierefreiheit. Das Kompetenzzentrum berät und auditiert Hochschulen und andere Organisationen, insbesondere öffentliche Einrichtungen, zur digitalen Barrierefreiheit.

Darüber hinaus engagiert er sich in nationalen und internationalen Gremien zur Standardisierung inklusiver Medien. Seine Forschungsschwerpunkte liegen im Bereich der barrierefreien Gestaltung von Benutzungsschnittstellen sowie in den Bereichen Assisted Living und personalisiertes E-Learning.

Prof. Dr. Johannes Maucher ist ebenfalls Professor an der HdM Stuttgart.

Seit 2004 hat er ein breites Lehrangebot im Bereich Künstliche Intelligenz in den Studiengängen Medieninformatik (Bachelor) und Computer Science and Media (Master) aufgebaut.

Er forscht zu Anwendungen tiefer neuronaler Netze für die Verarbeitung natürlicher Sprache und Computer Vision. Seit 2019 leitet er das von ihm mitbegründete Institute for Applied Artificial Intelligence (IAAI) an der Hochschule der Medien.