Was ist eine KI-Halluzination und warum ist sie in sozialen Kontexten riskant?

Was mit KI-Halluzination gemeint ist

Generative KI-Systeme wie ChatGPT erzeugen Antworten, indem sie Muster aus Trainingsdaten, Eingaben und Kontext verarbeiten. Vereinfacht gesagt berechnen Sprachmodelle statistisch wahrscheinliche nächste Textbausteine oder Wortfolgen. Sie können dadurch sehr hilfreiche Entwürfe erstellen, Texte strukturieren oder Formulierungen vorschlagen. Gleichzeitig können sie Aussagen erzeugen, die nur so wirken, als seien sie fachlich oder faktisch abgesichert.

Eine KI-Halluzination liegt vor, wenn die Ausgabe nicht verlässlich gedeckt ist: Die Quelle existiert nicht, die Rechtsnorm passt nicht, ein Begriff wird falsch erklärt, ein Ereignis wird erfunden, ein Fall wird falsch zusammengefasst oder eine Empfehlung klingt fachlich, obwohl sie nicht zum Kontext passt.

NIST beschreibt im Generative-AI-Profil unter anderem das Risiko von Konfabulationen als technischem beziehungsweise modellbezogenem Risiko generativer KI.^[1] Konfabulation meint hier, dass ein System Lücken sprachlich auffüllt und dabei eine stimmige, aber nicht belegte Aussage erzeugt. Für die Praxis sozialer Organisationen ist daran weniger der Fachbegriff entscheidend als die Konsequenz: Auch gut klingende KI-Ausgaben können falsch sein.

Der Begriff Halluzination ist fachlich nicht unproblematisch, weil er KI-Systeme leicht vermenschlicht. Für Teams kann er trotzdem als Warnwort nützlich sein: Nicht alles, was sicher klingt, ist sicher.

Warum ChatGPT falsche Quellen erfinden kann

KI-Ausgaben sind oft sprachlich sauber, freundlich und logisch aufgebaut. Genau das macht sie im Arbeitsalltag attraktiv. Es ist aber auch der Grund, warum Fehler schwerer auffallen: Ein holpriger Text wirkt verdächtig, ein glatter Text wirkt glaubwürdig.

In sozialen Organisationen treffen KI-Ausgaben häufig auf Zeitdruck. Teams wollen einen Elternbrief vorbereiten, ein Protokoll strukturieren, eine Konzeption formulieren, ein Fortbildungsmodul planen oder eine schwierige E-Mail entschärfen. In solchen Situationen kann KI entlasten. Riskant wird es, wenn der Entwurf als fachlich geprüftes Ergebnis behandelt wird.

Besonders tückisch sind Quellen und Rechtsbezüge. KI-Systeme wie ChatGPT können Urteile, Paragraphen, Studien, Leitlinien oder Autorinnen und Autoren nennen, die nicht existieren oder nicht das belegen, was behauptet wird. Eine Quellenliste aus einem KI-System ist deshalb kein Quellenbeleg, sondern ein Prüfauftrag.

Eine OpenAI-Forschungsarbeit zu Halluzinationen beschreibt, dass Sprachmodelle unter Unsicherheit zu plausiblen, aber falschen Antworten neigen können, wenn Trainings- und Bewertungsverfahren eher das Antworten als das Eingestehen von Unsicherheit belohnen.^[7] Für die Praxis heißt das: Eine selbstsichere Antwort ist kein Qualitätssiegel.

Der AI Act setzt insgesamt auf einen menschenzentrierten und risikobasierten Umgang mit KI.^[2] Für Teams heißt das praktisch: Die Intensität der Prüfung richtet sich nach dem möglichen Schaden. Ein Einladungstext für einen allgemeinen Workshop ist anders zu behandeln als eine Einschätzung zu Kinderschutz, Leistungsansprüchen oder psychischer Belastung.

Risiken in sozialen Organisationen

Beratung: Wenn KI eine falsche Auskunft zu Ansprüchen, Fristen, Zuständigkeiten oder Verfahren gibt, kann Beratung ungewollt in die falsche Richtung laufen. Fachkräfte müssen unterscheiden, ob KI nur bei Formulierung hilft oder inhaltlich bewertet.

Dokumentation: Zusammenfassungen können Details verschieben, Bewertungen verstärken oder entlastende Informationen auslassen. In Fallakten, Hilfeplanung, Verlaufsnotizen oder Berichten kann das fachlich erheblich sein.

Schutzauftrag und Risiko: In Kinderschutz, Gewaltschutz, Krisenintervention oder hoch belasteten Lebenslagen sind falsche Einordnungen besonders kritisch. KI darf Schutzbedarf nicht eigenständig bewerten und keine fachliche Verantwortung ersetzen.

Datenschutz und Vertraulichkeit: Halluzinationen sind nicht nur ein Wahrheitsproblem. Wenn Teams zur Prüfung immer mehr Kontext oder Falldaten eingeben, können Datenschutz- und Vertraulichkeitsrisiken entstehen. Auch scheinbar anonymisierte Beispiele können re-identifizierbar bleiben, wenn seltene Merkmale, Orte, Zeitpunkte, Hilfeverläufe oder Kombinationen von Details auf eine konkrete Person zurückführen. Die Datenschutzkonferenz betont für KI-Einsatz die frühe Klärung von Zweck, Einsatzfeld und datenschutzrechtlichen Anforderungen.^[3]

Qualitätsmanagement: Wenn KI-Fehler nicht als Prozessrisiko betrachtet werden, bleiben sie individuell. Dann hängt Prüfung davon ab, ob einzelne Mitarbeitende vorsichtig sind. Besser ist eine gemeinsame Prüfroutine, die im Qualitätsmanagement verankert ist.

Wie Teams KI-Ausgaben prüfen

Prüfung beginnt mit einer einfachen Sortierung: Ist die KI-Ausgabe nur eine Formulierungshilfe, eine Strukturidee, eine fachliche Aussage, eine Tatsachenbehauptung, eine Quelle oder eine Empfehlung? Je stärker die Ausgabe behauptet, entscheidet oder begründet, desto mehr Prüfung ist erforderlich.

Für allgemeine Texte kann eine fachliche Plausibilitätsprüfung ausreichen: Stimmt der Ton, passt die Zielgruppe, sind keine sensiblen Daten enthalten, klingt der Text nicht zu absolut? Bei fachlichen Aussagen braucht es mehr: Abgleich mit Originalquellen, Gesetzen, internen Standards, Leitlinien, Fachkonzepten oder zuständigen Personen.

Quellen müssen immer unabhängig geprüft werden. Eine KI-Ausgabe sollte nicht nur eine Quelle nennen, sondern die Quelle muss auffindbar, echt, aktuell, einschlägig und inhaltlich passend sein. Wenn eine Quelle nicht auffindbar ist, wird sie gestrichen und die Aussage neu bewertet.

Hilfreich ist eine Teamregel: KI darf Entwürfe liefern, aber keine unbelegten Fakten in finale Dokumente bringen. Was nach außen geht, in Akten landet oder Entscheidungen vorbereitet, braucht menschliche Prüfung. Vertiefend dazu passt der Fachimpuls KI-Antworten prüfen.

Verantwortung von Leitung, QM und Fachpraxis

Die Verantwortung für KI-Halluzinationen darf nicht allein bei einzelnen Mitarbeitenden landen. Wenn eine Organisation KI-Nutzung erlaubt, erwartet oder duldet, muss sie auch definieren, welche Prüfung erwartet wird. Leitung und Trägerleitung setzen dafür den Rahmen.

Qualitätsmanagement kann aus dem abstrakten Risiko eine handhabbare Routine machen: Welche KI-Aufgaben sind erlaubt? Welche sind prüfpflichtig? Wann braucht es Vier-Augen-Prüfung? Wann ist eine Nutzung ausgeschlossen? Welche Quellen dürfen herangezogen werden? Wie werden Fehler gemeldet und für Lernprozesse genutzt?

Fachpraxis bleibt unverzichtbar. KI kann Textarbeit unterstützen, aber sie kennt nicht automatisch den Hilfeverlauf, die Beziehung, die institutionellen Grenzen, die lokale Zuständigkeit oder die fachliche Abwägung im Einzelfall. Menschliche Aufsicht bedeutet hier nicht nur Draufschauen, sondern verantwortliches Einordnen.

Für Datenschutz und IT ist wichtig, dass Prüfung nicht zu mehr Datenpreisgabe führt. Wenn KI eine unklare Antwort gibt, ist die Lösung nicht automatisch, mehr Falldaten nachzuschieben. Zuerst sollte geklärt werden, ob der Anwendungsfall überhaupt geeignet und freigegeben ist.

Praxisbeispiele

Beispiel 1: Erfundene Quelle in einer Leitungsvorlage

Eine Projektgruppe nutzt KI, um eine Vorlage zur KI-Nutzung im Träger zu erstellen. Die KI nennt eine angebliche Studie zu Produktivitätsgewinnen in der Sozialen Arbeit. Die Studie klingt passend, ist aber nicht auffindbar. Die Vorlage darf diese Quelle nicht übernehmen. Das Team muss entweder eine echte Quelle finden oder die Aussage als unbelegt streichen.

Beispiel 2: Falsche Zusammenfassung einer Fallnotiz

Eine Fachkraft lässt eine anonymisierte Gesprächsnotiz sprachlich glätten. Die KI fasst den Text zusammen und formuliert, die Sorgeberechtigten seien "nicht kooperationsbereit". Im Original steht nur, dass ein Termin nicht wahrgenommen wurde. Hier entsteht eine fachliche Verschiebung. Die Ausgabe darf nicht ungeprüft in die Dokumentation übernommen werden.

Beispiel 3: Allgemeiner Elternbrief

Ein Team erstellt mit KI einen allgemeinen Elternbrief für ein Ferienangebot. Es werden keine personenbezogenen Daten verwendet. Das Risiko einer fachlich folgenreichen Halluzination ist geringer, aber nicht null: Ort, Datum, Kosten, Ansprechperson und Bedingungen müssen geprüft werden. Die KI darf keine falschen Zusagen erzeugen.