In den letzten Monaten, haben wir uns eingehend mit KI-generierten Gebärdenavataren beschäftigt. Dabei haben wir einen Entwickler eines solchen Gebärdenavatars, eine Gebärdendolmetscherin und gehörlose Menschen zu den Avataren befragt und so verschiedene Sichtweisen auf die Technologie bekommen. Gebärdensprachavatare wurden immer wieder als noch nicht ausgereift beschrieben. So haben sie zum Beispiel zu wenig Mimik und können nicht auf regionale Dialekte angepasst werden. Heißt das, unsere KI-Journey in Richtung Barrierefreiheit ist hier zu Ende? Wir geben noch nicht auf. Schließlich geht die Entwicklung der Gebärdensprachavatare stetig weiter. In diesem Blogbeitrag stellen wir drei zukunftsweisende Projekte mit unterschiedlichen Ansätzen vor.

AVASAG – Der interaktive Gebärden-Avatar aus Deutschland

Kennen wir schon: Das erste Projekt ist AVASAG, das Projekt, das wir in den letzten Blogposts bereits vorgestellt und gemeinsam mit Betroffenen und einer Gebärdendolmetscherin auf den Prüfstand gestellt haben. AVASAG (Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) ist ein vom Bundesministerium für Bildung und Forschung (BMBF) gefördertes Projekt, das von der Firma Charamel in Zusammenarbeit mit der RWTH Aachen und anderen Partner*innen entwickelt wurde. Ziel war es, einen interaktiven KI-Avatar zu schaffen, der Texte in die Deutsche Gebärdensprache (DGS) übersetzen kann.

Technischer Ansatz:
AVASAG kombiniert regelbasierte Übersetzungsmethoden mit neuronalen Netzwerken. Während KI zur Sprach- und Syntaxanalyse genutzt wird, sorgt eine 3D-Avatar-Technologie für die visuelle Darstellung. Durch Motion-Capturing  wurden realistische Bewegungen und Mimik aufgezeichnet, die das 3D-Modell wiedergeben kann. Der Avatar soll in verschiedene digitale Anwendungen integriert werden, darunter öffentliche Informationssysteme und Kundenservices.

Vorteile:
Übersetzt zuverlässig Text in die DGS
Pilotprojekt für die DGS

Nachteile:
Die KI-basierte Übersetzung kann noch nicht die volle Ausdrucksvielfalt menschlichen Dolmetschens erreichen. Insbesondere die Mimik ist nicht ausreichend.
AVASAG ist auf die deutsche Gebärdensprache beschränkt und dadurch weder für Menschen, die Dialekte der Gebärdensprache gewohnt sind, noch für internationale Nutzer*innen geeignet.

EASIER – Ein europäisches Projekt mit Bidirektionaler Kommunikation

EASIER ist ein von der EU gefördertes Forschungsprojekt, das darauf abzielt, Gebärdensprache mit gesprochener Sprache in beide Richtungen zu übersetzen. Im Gegensatz zu AVASAG konzentriert sich EASIER also nicht nur auf die Darstellung durch Avatare, sondern auch auf die Erkennung von Gebärden durch Kameras und Computer-Vision-Technologie.

Technischer Ansatz:
EASIER nutzt ein multimodales KI-System, das Bilderkennung, Deep Learning und Natural Language Processing (NLP) kombiniert. KI analysiert dabei sowohl visuelle Gebärden als auch gesprochene Sprache und kann sie in Echtzeit umwandeln. Damit ermöglicht EASIER nicht nur die Erzeugung von Gebärdensprache durch Avatare, sondern auch die Erkennung und Interpretation von Gebärden der Nutzer*innen.

Vorteile:
Bidirektionale Kommunikation (gesprochene Sprache in Gebärdensprache umwandeln und umgekehrt)
EU-weite Förderung für mehrere europäische Gebärdensprachen

Nachteile:
Die Erkennung von Gebärdensprache durch Bilderkennung ist noch fehleranfällig, besonders bei Dialekten und schnellen Bewegungen
Die EASIER-Avatare haben derzeit sehr wenig Mimik, was die Verständlichkeit der Gebärden erheblich beeinflusst
ES gibt Datenschutzbedenken durch die Verwendung von Kameras zur Erfassung von Gebärden

Lenovo & DeepBrain AI – Ein hyperrealistischer KI-Avatar

Ein besonders innovatives Projekt kommt von Lenovo in Zusammenarbeit mit DeepBrain AI und der Scott-Morgan Foundation. Hier geht es um die Entwicklung hyperrealistischer KI-Avatare, die Stimme, Mimik und Gestik realer Menschen sehr genau nachahmen können. Obwohl der Fokus nicht in erster Linie auf Gebärdensprachavataren liegt, zeigt die Technologie, dass detailliertere Mimik und Gestik von Avataren technisch möglich sind.

Technischer Ansatz:
Mithilfe von Deep Learning und hochauflösenden Videoaufnahmen wird ein virtueller Avatar generiert, der mit 96 % Genauigkeit das Aussehen und die Bewegung eines realen Menschen imitiert. Diese Avatare können in unterstützende Kommunikationssysteme integriert werden. Die Technologie wurde entwickelt, damit Menschen mit schweren Behinderungen ihre nonverbale Ausdrucksweise mittels eines Avatars, der ihr Aussehen und ihre Stimme hat, bewahren können.

Vorteile:
Höchste Realitätsnähe durch Deep Learning
Potenzial für personalisierte Gebärdenavatare
Erweiterbar für verschiedene Anwendungsfälle

Nachteile:
Die hyperrealistischen Avatare erfordern enorme Rechenkapazitäten und sind aktuell nicht in Echtzeit skalierbar
Bisher liegt der Fokus eher auf individuellen Lösungen für Menschen mit schweren Behinderungen als auf Gebärdensprachübersetzung

Zusammenfassung:

Während AVASAG eine spezialisierte Lösung für den deutschen Sprachraum bietet, ist EASIER ein vielseitiges europäisches Projekt und kann nicht nur Text in Gebärdensprache umwandeln, sondern andersrum auch Gebärden aufnehmen und diese übersetzen. Die hyperrealistischen Avatare von Lenovo und DeepBrain AI zeigen, dass Gebärdensprach-Avatare in Zukunft noch natürlicher wirken könnten.

Leider noch keine Testversionen verfügbar
Ein wichtiger Aspekt, den wir anmerken müssen, ist, dass keines der vorgestellten Projekte derzeit für die Öffentlichkeit zugänglich ist – weder für Testzwecke noch für eine breitere Nutzung. Weder AVASAG noch EASIER oder die hyperrealistischen Avatare von Lenovo und DeepBrain AI bieten aktuell eine offene Plattform, auf der Interessierte die Technologie selbst ausprobieren könnten. Das bedauern wir sehr, denn gerade ein direkter Test hätte wertvolle Einblicke in die tatsächliche Qualität der Übersetzungen, die Nutzerfreundlichkeit und die Alltagstauglichkeit der Avatare geliefert. Auch was den Einsatz für unsere Filme betrifft. Es bleibt daher abzuwarten, wann und in welcher Form diese Technologien der breiten Masse zugänglich gemacht werden.

Fazit: Die Zukunft von KI-generierten Gebärdenavataren
Die Entwicklungen im Bereich der KI-generierten Gebärdenavatare zeigen, dass die Zukunft mit technischen Hilfsmitteln inklusiver werden kann. Die größte Herausforderung bleibt die flüssige, grammatikalisch korrekte Übersetzung in Gebärdensprache – eine visuell und räumlich sehr komplexe Kommunikationsform. Doch mit Fortschritten in der KI, Bilderkennung und Motion Capturing ist es nur eine Frage der Zeit, bis Gebärdenavatare eine echte Alternative oder Ergänzung zu menschlichen Dolmetscher*innen werden. Wo die Gebärdenavatare sinnvoll zum Einsatz kommen werden, wo weiterhin menschliche Gebärdensprachdolmetscher*innen die bessere Wahl sind, und wo Untertitel als Medium für Gehörlose weiterhin bevorzugt werden, bleibt aber abzuwarten. Für uns heißt das, Avatare helfen und  derzeit nicht, unsere Filme barrierefreier zu gestalten. Wir  bleiben aber dran, verfolgen die Technologien weiter und hoffen auf spannende Entwicklungen.