Filme automatisch in Gebärdensprache übersetzen – Werkzeuge, die das können, haben wir nicht gefunden. Dafür aber das AVATASI-Projekt des Zeppelin Museums Friedrichshafen und die Charamel GmbH zur Vermittlung von Sachinformationen in deutschen Museen. Wie weit ist diese Technik und wann ergibt ihr Einsatz überhaupt Sinn? Das und mehr fragen wir in diesem Blogpost Alexander Stricker, den Geschäftsführer und Mitgründer von Charamel. Die Firma leitet führende Forschungsprojekte zum Thema KI-Gebärdensprachübersetzung und bietet für Kommunen einen kommerziell einsetzbaren Avatarbaukasten zur Vermittlung von Bürgerinformationen in Gebärdensprache an.
Herr Stricker, wo sehen Sie die Stärken und Schwächen eines Gebärdensprachavatars?
Zuerst muss man verstehen, dass solche, mit KI entwickelten Technologien, unheimlich viele Komponenten beinhalten. Es gab zum Beispiel in der Gebärdensprache keinen Datensatz, den wir zum Trainieren einer KI nutzen konnten. Wo kriegen wir also diese Daten her? Dann gab es eine erste Studie im Bundesministerium für Arbeit und Soziales mit der gehörlosen Zielgruppe, in der geprüft wurde, ob Gebärdensprachavatare Sinn ergeben können. Man hat festgestellt, dass die Avatare durchaus ihre Berechtigung haben. Sie werden aber wegen Punkten wie roboterhafter Bewegung auch kritisch gesehen. Wenn man die Gebärdensprache beobachtet, fällt auf, dass auch feine Unterschiede den Sinn der Aussage verändern können. Das sehen wir Hörenden teilweise überhaupt nicht, auch die Fehler nicht. Dieses Problem haben wir bei unserem Avatar bemerkt und uns die Kritikpunkte zu Herzen genommen.
Wo liegen die Anwendungsgebiete in der Zukunft?
Wir sehen die Anwendung in Zukunft überall dort, wo digitale Produkte oder Services im Einsatz sind. Aber erst mal, ich glaube sogar langfristig, nicht im Bereich der eins-zu-eins Übersetzung. Sprachausgabe mit maschineller Übersetzung gibt es auch erst seit ein paar Jahren, obwohl es Sprachausgabe allein quasi schon gibt, seit wir gegründet haben. Diese Prozesse müssen wachsen. Da werden wir in Zukunft, glaube ich, noch viel sehen.
Mittlerweile gibt es auch das AVATASI-Projekt des Zeppelin Museums Friedrichshafen, das deutschen Museen zum Vermitteln von Ausstellungsinhalten in Gebärdensprache dienen soll. Sie sind auch hier für die technische Umsetzung mit Ihrem Avatarsystem verantwortlich. Es geht also um die Vermittlung vielfältiger Fachthemen. Wie funktioniert das aus technischer Sicht?
Wir haben uns das Baukastenformat überlegt, was auch wirklich durchweg die richtige Lösung war, und es immer noch ist. Der Baukasten setzt sich aus einzelnen Gebärden zusammen, die wir als Motion Capture Daten mit menschlichen Dolmetscher*innen aufnehmen. Es werden also die Bewegungen aufgezeichnet, überarbeitet und auf einen Avatar übertragbar gemacht. Der vorgegebene Wortschatz ging bei diesem Projekt sehr stark in die Richtung, bestimmte Exponate zu beschreiben
Was waren die Schwierigkeiten bei der Umsetzung?
Zunächst einmal: Woher überhaupt die Daten nehmen, um eine KI für einen so speziellen Zweck zu trainieren? Es war das erste Projekt dieser Art, Am Anfang lief es mit unglaublich vielen Fehlern. Wir fanden keine Übersetzer, wir fanden keine gehörlosen Dolmetscher, Darsteller fehlten. Die Übersetzung gestaltete sich unheimlich schwierig. Es ging um kunsthistorische Themen. Man musste also sehr stark aus der Sicht des Regisseurs überlegen, wie man das darstellt. Und dann muss man gucken, wie man das überhaupt in ein technisches System umsetzen kann. Wir hatten für dieses Projekt knapp acht bis neun Monate Zeit. Jetzt haben wir einen Wortschatz von 3.500 Gebärden. Diese sind derzeit in einer Qualität, die nicht gut genug ist. Das sage ich ganz ehrlich. Aber die Gebärden werden laufend überarbeitet. Davon lebt das System im Prinzip auch.
Wie vermeiden Sie Fehler im System?
Für die Qualitätssicherung haben wir vier unterschiedliche Personenkreise. Gebärdensprachexperten bzw. taube Menschen, die prüfen, ob es verständlich ist und wo es noch Schwierigkeiten gibt. Und dann bessern wir nach. Das ist noch viel manuelle Arbeit, aber wir haben hier mittlerweile den Produktionsaufwand innerhalb eines Dreivierteljahres durch KI-Instrumente um 30 Prozent reduzieren können. Das kriegt man nicht mit, wenn man hier einfach einen Text hinein kopiert, aber dahinter läuft wahnsinnig viel.
Können Sie sich vorstellen, dass so etwas wie das AVATASI-Projekt in Zukunft auch für die Filmübersetzung möglich wird?
Das ist schwer zu sagen. Es hängt sicherlich auch davon ab, welche Daten wir bekommen. Wir haben am Ende des Forschungsprojektes mit den Gebärdensprach-Experten evaluiert, welche Anwendungsfälle realistisch sind. Der Fernsehbereich ist, glaube ich, noch weit entfernt. Denn in den Anfängen ist es auf jeden Fall teurer als ein menschlicher Gebärdensprach-Dolmetscher. Ich weiß auch nicht, ob man für die Aussenwirkung schon offen ist. Wir haben mit dem WDR einen Test gemacht. Dabei haben wir einen Beitrag aus einem Nachrichtenmagazin übersetzt und das mit einer Zielgruppe getestet. Das kam auch sehr gut an. Aber für Fernseh- oder Filmqualität ist es noch einen Schritt zu früh. Und eine Live-Transkription, die man drüber laufen lässt, das wird auch noch dauern. Da würde ich nichts versprechen wollen.
Das Ziel bei den Projekten ist am Ende eine Nutzbarkeit, auch für Anwender ohne Kenntnis der Gebärdensprache.
Genau, wir möchten es so niedrigschwellig halten wie möglich. Wir haben uns als Vorbild die ganz klassischen Textübersetzer genommen. Es soll den Ansprechpartnern in den Kommunen die Möglichkeit geben, modular und mit einfacher Useability etwas zusammenzustellen. Die Logik dahinter liefert das System mit KI-Regeln. Wir sind im deutschsprachigen Raum, glaube ich, die einzigen, die so ein Produkt anbieten. Ab nächstem Jahr kommt das Barrierefreiheitsstärkungsgesetz. In diesem Rahmen wird es wichtig, dass Unternehmen mit Produktdienstleistungen und Services, diese auch interpretierbar, übersetzbar machen – und das so niedrigschwellig wie möglich.
Wir werden aber auch oft gefragt, warum wir keine App an Gehörlose liefern: Uns ist es wichtig, dass Unternehmen ihren Servicegedanken inklusiver gestalten. Das erhöht den sozialen Impact: Jeder soll mitgenommen werden!
Es gab auch viel Kritik an der Umsetzung der Gebärdenavatare. Das Kompetenzzentrum Gebärdensprache Bayern e.V. (KOGEBA) hat zum Beispiel die Meinung einer mangelnden Zusammenarbeit mit den Verbänden vertreten. Auch der zu starke wirtschaftliche Fokus der staatlichenen Förderungen wurde hier kritisiert. Was waren da Ihre Erfahrungen?
Wir hatten einige Gehörlosenverbände, oder zumindest Vertreter der Verbände im Beirat, mit denen wir zusammenarbeiten. Das war ein wertvoller Input. Ich verstehe die Kritik natürlich, und wir nehmen sie auch ernst. Leider sind wir nicht gefragt worden, ob die in der Stellungnahme des KOGEBA angebrachten Inhalte auch tatsächlich so stimmen. Vieles können wir nicht nachvollziehen. Das hat auch die Firma yomma [die als Unternehmen für menschliche Gebärdensprachübersetzung ebenfalls an den Forschungsprojekten beteiligt ist, Anm. der Redaktion] damals in einem Statement mit bekräftigt. In der zweiten Stellungnahme ging es ja um die Qualität des Avatars, darüber haben wir schon geredet. Über die Forschungspolitik, die in der ersten Stellungnahme kritisiert wird, möchte ich mich nicht auslassen, das ist ein hochkomplexes Thema. Jeder hat die Möglichkeit, Forschungsgelder zu beantragen. Es ist auch gut, dass Forderungen gestellt werden, sonst würde sich vielleicht nichts ändern. In der zweiten Stellungnahme wurden wir sehr extrem angegriffen, auch als Firma. Wir suchen den Austausch und das läuft immer besser. Aber für uns ist wichtig, dass Forschung und Entwicklung erst mal frei von jeglicher Politik sind. Sonst sind wir in engen Möglichkeiten gefangen und die Entwicklung geht nicht voran.
Gibt es zum Thema Barrierefreiheit und KI noch etwas, das Ihnen besonders wichtig ist?
Es gibt ganz viele Punkte, die wir durch die einzelnen Prozesse gelernt haben. Ich glaube, es ist extrem positiv, dass die Zusammenarbeit von komplett heterogenen Zielgruppen so gut funktionieren kann. Jeder hat seine Verantwortung, jeder hat seine Kompetenz. Damit es mit der Entwicklung weiter vorangeht, muss die Zukunftsfähigkeit mitgedacht werden: Für unsere Forschungsarbeit und die Projekte erhalten wir eine anteilige Förderung, also nie hundert Prozent, sondern viel, viel weniger. Wir investieren wahnsinnig viel Geld in diese Weiterentwicklung. Da muss nachher auch ein wirtschaftlicher Fokus drin sein. Anders geht es auch nicht, sonst würde die Technologie sterben.
Vielen Dank für das informative Gespräch!
Das Gespräch führte Jonas Thurn.
Alexander Stricker ist Geschäftsführer und Mitgründer der Kölner Firma Charamel GmbH, die seit 1999 3D Avatare für TV und Internet produziert. Das Ziel der Firma war es von Anfang an, die Visualisierung von Informationen menschlicher zu gestalten. Bereits 2003 entstand im Gespräch mit einem gehörlosen Geschäftsführer einer anderen Firma die Idee eines Übersetzungs-Chatbots für Gebärdensprache. Damals war die Technik noch nicht so weit. Heute gibt es die Forschungsprojekte AVASAG, den Avatar-basierte Sprachassistent zur automatisierten Gebärdenübersetzung, der zur Kommunikation im öffentlichen Dienst und den öffentlichen Verkehrsmitteln dient, und das Anschlussprojekt BIGEKO (Bidirektionale Gebärdensprach-Kommunikation) unter der Leitung der Charamel GmbH als Verbundkoordinator. Alexander Stricker ist hierbei Konsortial- und Projektleiter. Das Ziel sind möglichst niedrigschwellig einsetzbare Übersetzungssysteme für mehr Barrierefreiheit und Teilhabe der Gehörlosen-Community.
