In unseren letzten Blogposts zu barrierefreier Sprache haben wir kostenfreie KI-Tools vorgestellt, die theoretisch in Einfacher Sprache schreiben können und auch schon begonnen, diese zu testen. Den Anfang hat ChatGPT gemacht. Die Qualität der ausgespuckten Texte werden wir in den nächsten Monaten anhand unserer Sendungsankündigungen testen und die Ergebnisse miteinander vergleichen. Weiter geht es heute mit dem großen Konkurrenten: dem Google Chatbot Gemini. 

Neues aus der Welt der barrierefreien Sprache

Wir möchten mit erfreulichen Neuigkeiten aus der Welt der Barrierefreien Sprache starten. Wie im Kick-Off-Blogpost bereits angesprochen, unterlag die Einfache Sprache bisher noch keiner festgelegten Normierung. Es gab lediglich Empfehlungen verschiedener Fachverbände, aber keine verbindlichen Vorgaben, was eine Qualitätssicherung und Bewertung übersetzter Texte oft schwierig machte. Das Deutsche Institut für Normung hat am 26. April 2024 nun die erste DIN-Norm für Einfache Sprache veröffentlicht, die den Namen “Einfache Sprache – Anwendung für das Deutsche – Teil 1: Sprachspezifische Festlegungen (DIN 8581-1)” trägt. Die Norm schafft einen Leitfaden für Redakteur*innen, Behördenmitarbeiter*innen und Kommunikationsfachleute, wie verständliche Texte gelingen.

Dabei stehen vier Grundsätze im Mittelpunkt: 

1. Die Leserschaft erhält, was sie braucht. (Relevanz) 
2. Die Leserschaft kann leicht finden, was sie braucht. (Auffindbarkeit) 
3. Die Leserschaft kann leicht verstehen, was sie findet. (Verständlichkeit) 
4. Die Leserschaft kann die Informationen einfach verwenden. (Anwendbarkeit) 

Wir finden: Diese Klarheit trifft sich doch gut für unseren Test! Die vier Grundsätze wollen wir in die weitere Prüfung der Ergebnisse der KI-Tools-Tests einfließen lassen. Weitere Infos zur DIN-Normierung gibt es hier. 

Google Gemini – Die Antwort auf ChatGPT?

Starten wir von vorne. Was ist Gemini überhaupt? 

Google Gemini ist ein von Google entwickelter KI-basierter, multimedialer Chatbot. Er wurde als direkte Reaktion auf den Erfolg von ChatGPT entwickelt und im März 2023 in eingeschränkter Kapazität veröffentlicht, bevor er im Laufe des Sommers in weiteren Ländern verfügbar wurde.

Es ist eine KI, die auf Googles umfangreiche Daten und Algorithmen zurückgreift. Beide Bots funktionieren nach dem gleichen Prinzip und können auf Fragen antworten und eingehen. Beide sind in der Lage, Texte zu generieren, Sprachen zu übersetzen, verschiedene Arten von kreativen Inhalten zu schreiben und Fragen informativ zu beantworten. Google Gemini wird genauso wie GPT-4 mit Aufforderungen (Prompts) gesteuert. Sie haben also viele Ähnlichkeiten, Gemini kann jedoch eher als multimediales Tool verstanden werden, das Bilder generieren kann, oder auf eingespeiste Medien reagiert, wobei ChatGPTs Kernkompetenz eher in der Sprachverarbeitung liegt. 

Der Test beginnt

Zur Erinnerung: Für unseren letzten Test haben wir einen kurzen, aber etwas komplexeren Pressetext über das Jazz-Studio Nürnberg herangezogen, der verschachtelt und poetisch geschrieben ist: 

“Bereits 1954, als die Wohnhäuser darüber noch in Trümmern lagen, haben junge jazzbegeisterte Menschen in einem historischen Kellergewölbe unter dem Paniersplatz einen Ort geschaffen, der nach der musikalischen Gleichschaltung durch das Naziregime ein Tor zur neuen freiheitlichen Musikwelt aufstieß. Damit begann eine heute70-jährige Erfolgsgeschichte. Schon vor 10 Jahren, zum 60. Jubiläum, ist die MEDIENWERKSTATT damals in den Jazz-Club hinabgestiegen und hat einen Film über Geschichte und Bedeutung dieser Institution realisiert. Jetzt aus Anlass des 70. Geburtstages sind wir noch einmal unseren Spuren von damals gefolgt und haben nachgefragt, wie es heute um das Jazz Studio Nürnberg steht.”

Die besten Ergebnisse erzielten wir bei ChatGPT mit folgender Aufforderung: 

Prompt: „Schreibe diesen Text in einfacher Sprache. Verwende dabei nur kurze Wörter, keine Nebensätze, aktive Sprache und keine Fachausdrücke. Schreibe so, dass es ein 8-jähriges Kind versteht. (hier gehts zum Blogpost).“ 

Wir entscheiden uns dazu, unseren Test mit dem selben Prompt zu starten. 

Gemini:“Stell dir vor, es gab mal eine Zeit, da war alles kaputt und kaputt. Aber ein paar ganz besondere Leute wollten trotzdem Musik machen. Sie fanden einen alten, dunklen Keller und haben dort angefangen, richtig coole Musik zu spielen! Das war der Anfang von einem ganz besonderen Musikclub, der schon ganz lange, lange Zeit existiert.

Vor ganz vielen Jahren, als der Club schon 60 Jahre alt war, haben Leute einen Film darüber gemacht. Jetzt, wo der Club noch älter ist, haben sie noch einmal nachgeschaut, wie es ihm geht. Sie wollten wissen, ob die Musik immer noch so toll ist und ob die Leute immer noch gerne hingehen.”

Es scheint, als hätte der Chatbot überlesen, dass es nicht primär um die Erklärung des Inhalts in kindsgerechter Sprache geht, sondern um eine Umwandlung des vorliegenden Textes in Einfache Sprache, der auch die Inhalte sinngemäß transportiert. An diesem Prompt scheitert die KI krachend: Weder der historische Kontext, noch die genaue Musikrichtung werden erklärt. Auch rein semantisch weist der Text Schwächen auf, wie beispielsweise die direkte Wiederholung des Wortes “kaputt” im ersten Satz. Man fragt sich: Was ist da los? 

Also fangen wir am besten von vorne an: 

Prompt #2: Nenne die 10 wichtigsten Regeln der einfachen Sprache

Gemini:

Kurze Sätze: Verwende kurze, einfache Sätze. Vermeide lange Schachtelsätze.

Bekannte Wörter: Nutze Wörter, die jeder kennt. Vermeide Fachwörter und Fremdwörter.

Aktive Sätze: Formuliere Sätze aktiv (z.B. “Der Hund bellt” statt “Es wird vom Hund gebellt”).

Konkrete Beispiele: Erkläre schwierige Begriffe mit einfachen Beispielen.

Logische Reihenfolge: Bringe die Informationen in einer logischen Reihenfolge dar.

Eine Idee pro Satz: Jeder Satz sollte nur einen Gedanken enthalten.

Visuelle Unterstützung: Nutze Bilder, Grafiken oder Tabellen, um den Text zu ergänzen.

Perspektive des Lesers: Stelle dir vor, wie der Leser den Text versteht und passe dich an.

Laut vorlesen: Lese den Text laut vor, um zu hören, ob er flüssig klingt.

Regelmäßig überprüfen: Lasse deinen Text von anderen Personen lesen und gib Feedback.

Gemini scheint sachkundig zu sein und nennt die wichtigsten Regeln der Einfachen Sprache. Vielleicht liefert die KI darauf basierend ja eine bessere Übersetzung des Ursprungstextes. 

Prompt #3: Schreibe den Text in Einfacher Sprache 

Gemini: “Nach dem Krieg, als viele Häuser kaputt waren, haben junge Leute, die Jazz-Musik total gerne mochten, einen besonderen Ort gefunden. Tief unter der Erde, in einem alten Keller, haben sie angefangen, Musik zu machen. Das war der Anfang von einem ganz tollen Musikclub, der heute schon 70 Jahre alt ist! Vor 10 Jahren haben Leute einen Film über diesen Club gemacht. Und jetzt, wo er Geburtstag hat, haben sie nochmal nachgesehen, was aus ihm geworden ist.”

Das Ergebnis ist inhaltlich schon etwas besser, jedoch fehlt der historische Kontext und die Sätze sind zu verschachtelt für die Zielgruppe. Leider ist das Ergebnis so nicht zufriedenstellend. 

Prompt #4: Mehr historischer Kontext 

Gemini: Absolut! Gerne gebe ich dir eine Version des Textes, die etwas mehr historischen Kontext bietet, aber immer noch leicht verständlich bleibt:

Hier eine Option:

“Stell dir vor, kurz nach dem Krieg, als in vielen Städten noch die Häuser kaputt waren, haben junge Leute in Nürnberg etwas ganz Besonderes gemacht. In einem alten Keller, unter einem Platz namens Paniersplatz, haben sie einen Ort zum Musikmachen gebaut. Die Musik, die sie dort gespielt haben, hieß Jazz und war damals etwas ganz Neues und Aufregendes.

Warum war das so besonders? Nach dem Krieg, unter den Nazis, durfte man nur bestimmte Musik hören. Diese jungen Leute wollten aber wieder frei sein und ihre eigene Musik machen. Ihr Jazz-Keller war also nicht nur ein Ort zum Musikmachen, sondern auch ein Zeichen für Freiheit und neue Ideen.

Dieser Keller ist heute noch da und wird immer noch Jazz-Studio genannt. Er feiert jetzt seinen 70. Geburtstag und ist damit einer der ältesten Jazzclubs in ganz Deutschland.”

Hier eine etwas ausführlichere Version:

“Nach dem Zweiten Weltkrieg, als viele Städte in Deutschland zerstört waren, haben junge Menschen in Nürnberg angefangen, wieder nach vorne zu schauen. Sie wollten nicht nur ihre Häuser wieder aufbauen, sondern auch ein neues Leben beginnen. Ein Teil dieses neuen Lebens war die Musik, besonders der Jazz. Diese Musik kam aus Amerika und stand für Freiheit und neue Ideen.

Weil die Nazis früher alle Musik kontrolliert hatten, war es für diese jungen Leute ganz wichtig, einen Ort zu haben, wo sie ihre eigene Musik spielen konnten. Sie haben einen alten Keller unter einem Platz gefunden und dort ihren Jazz-Club eröffnet. Das war ein Zeichen dafür, dass sie nicht mehr unterdrückt werden wollten und dass sie ihre eigene Kultur entwickeln wollten.

Dieser Jazz-Keller ist heute noch ein wichtiger Treffpunkt für Musikliebhaber. Er ist ein Stück Geschichte und ein Symbol für die Freiheit und die Kreativität der jungen Menschen nach dem Krieg.”

Was ich hier hinzugefügt habe:

• Historischer Kontext: Ich habe kurz erklärt, warum Jazz nach dem Krieg so wichtig war und was er für die jungen Menschen bedeutete.

• Bezug zur Geschichte: Ich habe erwähnt, dass die Nazis die Musik kontrolliert haben und dass der Jazz-Club ein Zeichen gegen diese Unterdrückung war.

• Bedeutung: Ich habe betont, dass der Jazz-Club nicht nur ein Ort zum Musikmachen war, sondern auch eine wichtige symbolische Bedeutung hatte.

Im Gegensatz zu ChatGPT spuckt Gemini oftmals Texte mit verschiedenen Optionen aus. Positiv gefällt uns, dass die Änderungen zur Vorversion unten abschließend zusammengefasst werden. 

Qualitativ ist der Text soweit in Ordnung  – der Chatbot arbeitet mit der direkten Ansprache der Zielgruppe, was wir bei ChatGPT so nicht erzeugen konnten. Auffällig ist jedoch, dass die Sätze oft einen Nebensatz aufweisen, und sich so nicht wirklich strikt an die, von Gemini oben ausgespuckte Regel “kurze Sätze”, gehalten wird – auch nicht nach erneuter Aufforderung, den Text entsprechend zu überarbeiten. 

Prompt #5: Nur kurze Sätze, keine Nebensätze

Gemini:

Option 1: Kurz und knapp

“Nach dem Krieg wollten junge Leute in Nürnberg wieder Musik machen. Sie haben einen Keller gefunden und dort einen Jazz-Club eröffnet. Das war ein Zeichen dafür, dass sie wieder frei sein wollten.”

Option 2: Mit etwas mehr Details

“Früher, nach dem Krieg, durften die Menschen nicht jede Musik hören. In Nürnberg haben junge Leute einen Keller gefunden und dort einen Club gebaut. Dort haben sie Jazz gespielt. Das war eine besondere Musik, die für Freiheit stand.”

Option 3: Mit einem Fokus auf die Bedeutung

“Stell dir vor, du darfst nicht deine Lieblingsmusik hören. So war es nach dem Krieg. In Nürnberg haben junge Leute heimlich Jazz gespielt. Ihr Club war ein Zeichen dafür, dass sie wieder selbst entscheiden wollten.”

Was ist wichtig, wenn man Texte einfacher schreibt:

• Kurze Sätze: Je kürzer ein Satz, desto leichter ist er zu verstehen.
• Einfache Wörter: Vermeide schwierige Wörter und Fachbegriffe.
• Keine Nebensätze: Nebensätze können den Satzbau kompliziert machen.
• Konkrete Beispiele: Beispiele machen den Text lebendiger und leichter verständlich.

Möchtest du, dass ich noch weitere Optionen ausprobiere? Vielleicht möchtest du dich auf einen bestimmten Aspekt konzentrieren, wie zum Beispiel auf die Musik selbst oder auf die Bedeutung des Clubs für die Stadt?

Lass uns gemeinsam den perfekten Text finden!

Es ist unverständlich, warum Gemini nicht einfach den kompletten Text anpasst. Stattdessen bietet er verschiedene Abstufungen an und formuliert nur Teile um. Unsere Geduld lässt nach und die vielen Entscheidungsmöglichkeiten sind umständlich und es kostet Zeit diese zu lesen und zu bewerten. Hier müsste man auf jeden Fall händisch nachbessern. 

Bewertung anhand der DIN-Normierung

In diesem Blogpost gibt es zum Vergleich noch einmal die ChatGPT-Texte. Auffallend ist vor allem, dass man die Prompts nicht 1:1 übernehmen kann. Was bei ChatGPT funktioniert, funktioniert nicht zwingend bei Gemini und umgekehrt. Eigentlich auch logisch, da die beiden Bots auf unterschiedliche Datensätze und Algorithmen zurückgreifen. Wir sind zwiegespalten: Beide KI-Anwendungen haben ihre Vor- und ihre Nachteile. Gerade die inhaltliche Transportierung der Inhalte gefällt uns bei Gemini gut. Jedoch kann man durch die Anpassung der Prompts nicht mehr optimal am Endergebnis feilen und muss früher als bei ChatGPT selbst Hand anlegen. 

Wir prüfen die letzte Version des Texters anhand der vier Grundsätze der DIN-Normierung:

• Die Leserschaft erhält, was sie braucht. (Relevanz) 

Gut gelungen. Der Text vermittelt die zentrale Information über die Entstehung des Jazz-Kellers nach dem Krieg und erklärt, warum dieser Ort so besonders ist. Der Fokus liegt klar auf dem Jazz-Keller in Nürnberg und seiner Bedeutung, was den Lesern eine klare Vorstellung davon gibt, warum dieser Ort heute noch wichtig ist. 

• Die Leserschaft kann leicht finden, was sie braucht. (Auffindbarkeit) 

Befriedigend. Der Text ist übersichtlich strukturiert. Die wesentlichen Informationen sind leicht zugänglich, und die zentrale Aussage über den Jazz-Keller und seine historische Bedeutung steht im Vordergrund. Wenn jemand nach den Gründen sucht, warum dieser Keller besonders ist, wird das sofort klar. Die zentrale Information, dass ein Film darüber entstanden ist, kommt jedoch erst ganz zum Schluss und müsste händisch umgeschrieben werden. An dieser Umstellung ist jedoch auch schon ChatGPT gescheitert.  

• Die Leserschaft kann leicht verstehen, was sie findet. (Verständlichkeit) 

Befriedigend. Der Wortschatz ist einfach und klar. Der Text vermeidet komplizierte Begriffe und erklärt wichtige Hintergründe auf eine Art und Weise, die auch für jüngere Leser oder Menschen ohne Vorkenntnisse leicht verständlich ist. Allerdings sind manche Sätze unnötig kompliziert und zu verschachtelt. 

• Die Leserschaft kann die Informationen einfach verwenden. (Anwendbarkeit) 

Befriedigend: Der Text ist informativ und vermittelt ein gutes Verständnis für die Geschichte des Jazz-Clubs. Die Informationen können leicht weitergegeben oder in anderen Zusammenhängen verwendet werden.

Gemini vs. ChatGPT – Das Fazit

Beim Text über den Jazz-Club hat die Vereinfachung befriedigend funktioniert. Um wirklich zu schauen, ob der Chatbot im Alltagsgeschäft standhalten kann, müssten wir freilich noch weiter und intensiver testen. Der erste Prompt hat überhaupt nicht geklappt – und auch während unserer Recherche lieferte die Google-Alternative in ihren Antworten teilweise ein Überangebot an Textoptionen, wie etwa für verschiedene Zielgruppen (nach denen man eigentlich gar nicht gefragt hatte). Hier wäre es besser, wenn sich der Chatbot genauer an die Prompts halten würde und spezifischere Antworten geben würde, als zu einem Rundumschlag auszuholen. Was die Klarheit und Aufgeräumheit der Antworten betrifft, sehen wir ChatGPT also ganz klar vorne. Auch das Chat-System an sich gefällt uns bei dem Konkurrenten besser. Gemini hat oftmals Probleme zu verstehen, was genau gemeint ist, wenn man sich auf vorige Ergebnisse im Chat bezieht oder darauf aufbauend weitere Informationen möchte.

Alles in allem können wir uns gut vorstellen Google Gemini künftig noch intensiver und laufend anhand aktueller Presseankündigungen zu testen, um unserem Ziel, der Implementierung eines barrierefreien Sendeplatzes, näher zu kommen – so richtig vom Hocker haut uns das Ergebnis allerdings nicht. 

Wir sind gespannt, wie die anderen KI-Tools, vor allem jene, die explizit für die Übersetzung von Alltagssprache in Einfache Sprache trainiert wurden, im Vergleich abschneiden. Bleibt dran!