Du fragst eine KI nach einer Studie.
Sie nennt:
Autor.
Titel.
Fachzeitschrift.
Jahr.
Vielleicht sogar eine DOI.
Alles sieht perfekt aus.
Du suchst die Studie.
Sie existiert nicht.
Oder du fragst nach einer Funktion einer Software.
Die KI erklärt detailliert:
wo sich die Funktion befindet,
wie sie aktiviert wird,
welche Optionen sie besitzt.
Du öffnest die Software.
Die beschriebene Funktion gibt es überhaupt nicht.
Genau solche Fälle werden häufig als KI-Halluzinationen bezeichnet.
Das Gefährliche daran ist nicht nur, dass die Information falsch ist.
Das wirklich Ungewöhnliche lautet:
Die falsche Information kann genauso überzeugend formuliert sein wie eine richtige.
OpenAI beschreibt Halluzinationen entsprechend als plausible, aber falsche Aussagen eines Sprachmodells. Auch leistungsfähigere moderne Modelle können weiterhin solche Fehler erzeugen; das Problem ist also nicht mit einer einzelnen Modellgeneration verschwunden. (OpenAI)
Eine Halluzination ist keine zufällige Buchstabenfolge
Wenn ein Computerprogramm abstürzt und nur noch:
xj27§@??#
ausgibt, würde niemand von einer überzeugenden Halluzination sprechen.
Sprachmodelle tun meist etwas wesentlich Interessanteres.
Sie erzeugen eine Antwort, die:
grammatikalisch korrekt,
stilistisch passend,
inhaltlich plausibel
und trotzdem falsch
sein kann.
Zum Beispiel:
WordPress führte mit Version 6.9 die integrierte Funktion „Smart Database Cleanup“ ein, die unter Werkzeuge → Datenbank erreichbar ist.
Der Satz besitzt eine typische Form technischer Dokumentation.
Vielleicht ist sogar die Menüstruktur plausibel.
Nur kann die angebliche Funktion vollständig erfunden sein.
Genau darin liegt das Problem.
Der Begriff „Halluzination“ ist bildhaft
Ein Sprachmodell besitzt keine menschliche Wahrnehmung und erlebt keine Halluzination im medizinischen Sinn.
Der Begriff beschreibt vielmehr eine bestimmte Art fehlerhafter generierter Ausgabe.
NIST behandelt solche falschen beziehungsweise unbegründeten generativen Ausgaben unter anderem als Confabulation und führt sie als relevantes Risiko generativer KI auf. (NIST)
Für den Alltag hat sich trotzdem der Begriff:
Halluzination
durchgesetzt.
Wir verwenden ihn deshalb ebenfalls.
Nicht jede falsche KI-Antwort ist dieselbe Art Fehler
Angenommen, ein KI-System behauptet:
Berlin liegt in Frankreich.
Das ist eindeutig sachlich falsch.
Ein anderer Fall:
Dieses Produkt kostet aktuell 199 Euro.
Der Preis war gestern korrekt, wurde inzwischen aber geändert.
Wieder ein anderer:
Die bereitgestellte Quelle sagt 199 Euro.
Das Modell liest versehentlich 299 Euro.
Alle drei Antworten sind falsch.
Ihre Ursachen unterscheiden sich jedoch.
Deshalb ist es sinnvoll, Halluzinationen und andere KI-Fehler etwas genauer zu unterscheiden.
Faktische Halluzinationen
Das ist die klassische Variante.
Das Modell erzeugt eine konkrete Tatsachenbehauptung, die nicht stimmt.
Zum Beispiel:
falsches Datum
falscher Name
falsche technische Funktion
falsche historische Tatsache
falsche Zahl
Besonders gefährlich werden solche Fehler, wenn die Behauptung sehr spezifisch ist.
Ein allgemeiner falscher Satz kann auffallen.
Eine präzise klingende Information wirkt dagegen häufig vertrauenswürdiger.
Erfundenes Detail wirkt oft besonders glaubwürdig
Vergleiche:
Das Programm unterstützt möglicherweise automatische Backups.
mit:
Seit Version 4.7 befindet sich die automatische Sicherung unter Einstellungen → Sicherheit → Backup und läuft standardmäßig alle zwölf Stunden.
Die zweite Antwort klingt wesentlich kompetenter.
Genau diese scheinbare Präzision kann problematisch sein.
Das Modell kann:
Menünamen,
Versionsnummer,
Zeitintervall
erzeugen, obwohl keine dieser Angaben belegt ist.
Quellenhalluzinationen sind besonders tückisch
Ein Sprachmodell kennt die typische Form wissenschaftlicher Literaturangaben.
Beispielsweise:
Müller, A. & Schmidt, B. (2024).
Artificial Intelligence and Learning.
Journal of Digital Education, 18(3), 112–129.
Es kann deshalb eine perfekt aussehende Literaturangabe erzeugen.
Die Existenz der Quelle folgt daraus nicht.
OpenAI weist ausdrücklich darauf hin, dass Modelle unter anderem nicht existente Studien, Zitate und Referenzen erzeugen können. (OpenAI Help Center)
Eine DOI macht eine Quelle nicht automatisch real
Dasselbe gilt für:
ISBN.
URL.
Gesetzesparagraf.
Aktenzeichen.
Softwaredokumentation.
Ein Modell kennt die syntaktischen Muster dieser Identifikatoren.
Es kann deshalb etwas erzeugen, das wie eine DOI aussieht.
Zum Beispiel:
10.1234/example.2026.17382
Das Format kann plausibel sein.
Der Datensatz kann trotzdem nicht existieren.
Halluzinierte Zitate sind noch problematischer
Ein Modell kann behaupten:
Die Studie kommt zu dem Schluss, dass „…“
Nun entsteht nicht nur eine falsche Quelle.
Es kann zusätzlich ein angeblich wörtliches Zitat erfunden werden.
Das ist besonders kritisch bei:
wissenschaftlichen Texten,
journalistischen Artikeln,
juristischen Dokumenten.
Eine direkte Quellenbehauptung sollte deshalb überprüfbar sein.
Kontext-Halluzinationen entstehen trotz bereitgestellter Quelle
Angenommen, du gibst dem Modell einen Bericht.
Darin steht:
Der Umsatz stieg um 8,7 Prozent.
Das Modell fasst zusammen:
Der Umsatz stieg um 17,8 Prozent.
Die richtige Information war vorhanden.
Das Modell hat sie trotzdem falsch wiedergegeben.
Das ist ein anderer Fehler als fehlendes Modellwissen.
Die Informationsquelle war korrekt.
Die Verarbeitung war falsch.
Grounding bedeutet deshalb nicht Fehlerfreiheit
Wenn ein Modell mit einer Quelle verbunden wird, verbessert sich die Ausgangslage.
Aber:
Quelle vorhanden
≠
Antwort garantiert korrekt
Das Modell kann:
Zahl verwechseln,
Satz falsch interpretieren,
zwei Abschnitte vermischen,
eine Schlussfolgerung ziehen, die die Quelle nicht trägt.
Retrieval und Quellenzugriff reduzieren bestimmte Fehler.
Sie beseitigen nicht sämtliche.
Eine falsche Schlussfolgerung ist nicht unbedingt eine klassische Halluzination
Angenommen, alle Ausgangsdaten sind korrekt.
Das Modell folgert daraus aber logisch falsch:
A = 10
B = 20
Modell:
A ist größer als B.
Das ist zunächst ein Schlussfolgerungsfehler.
In praktischen Anwendungen ist die sprachliche Unterscheidung weniger wichtig als die Konsequenz:
Die Ausgabe ist falsch.
Deshalb sollte ein Qualitätssystem nicht nur nach „Halluzination“ suchen.
Es sollte unterschiedliche Fehlerarten berücksichtigen.
Warum halluziniert ein Sprachmodell überhaupt?
Hier hilft unser Artikel Was ist ein Sprachmodell?.
Ein modernes Sprachmodell erzeugt Text schrittweise.
Sehr vereinfacht:
Kontext
↓
Wahrscheinlichkeiten möglicher Tokens
↓
nächstes Token
↓
neuer Kontext
↓
nächstes Token
Die Kernaufgabe lautet nicht:
Finde ausschließlich beweisbar wahre Aussagen.
Sondern grob:
Erzeuge eine passende Fortsetzung
für den vorhandenen Kontext.
Das ist ein fundamentaler Unterschied.
Sprachliche Plausibilität und Wahrheit sind unterschiedliche Eigenschaften
Nehmen wir den Satz:
Albert Einstein wurde am 14. März …
Das Modell kennt sehr starke sprachliche und faktische Muster rund um diese bekannte Person.
Bei seltenen Informationen sieht es anders aus.
Zum Beispiel:
Der Geburtstag des ehemaligen Bürgermeisters einer kleinen Gemeinde im Jahr 1967 war …
Vielleicht existiert diese Information kaum im Trainingsmaterial.
Trotzdem weiß das Modell, wie eine Datumsantwort aussehen müsste.
Es kann deshalb ein Datum erzeugen.
Genau hier kann aus Sprachkompetenz eine überzeugende Falschaussage werden.
Häufige Muster sind leichter als zufällige Fakten
OpenAI beschreibt in einer 2025 veröffentlichten Forschungsarbeit einen wichtigen Unterschied: Sprachliche Strukturen wie Rechtschreibung oder Klammerpaarungen folgen starken wiederkehrenden Mustern. Seltene, weitgehend willkürliche Fakten – etwa ein bestimmtes Geburtsdatum – lassen sich dagegen aus allgemeinen Mustern wesentlich schlechter ableiten. Solche Bedingungen tragen dazu bei, dass hochspezifische faktische Fehler entstehen können. (OpenAI)
Das erklärt ein scheinbares Paradox.
Ein Modell kann:
komplizierten Code schreiben
und trotzdem:
ein einfaches Geburtsdatum erfinden.
Die Schwierigkeit einer Aufgabe für einen Menschen entspricht nicht automatisch der Schwierigkeit für ein Sprachmodell.
Ein Modell kann die Form einer Antwort kennen, ohne den Inhalt zu wissen
Frage:
Wann wurde Person X geboren?
Das Modell weiß:
Die Antwort sollte wahrscheinlich aussehen wie:
12. Mai 1973
Es muss dafür nicht zuverlässig wissen, welches Datum richtig ist.
Genau das kann gefährlich werden.
Das Sprachmodell besitzt starke Muster über:
wie eine Antwort aussieht
aber möglicherweise schwache Information darüber:
welche Antwort wahr ist.
Pretraining enthält überwiegend positive Sprachbeispiele
Beim großen Vortraining lernt ein Sprachmodell anhand vorhandener Texte.
Es sieht dabei nicht zu jeder Behauptung automatisch:
Diese Aussage ist wahr.
oder:
Diese Aussage ist falsch.
OpenAI hebt genau dieses Problem hervor: Beim Next-Token-Training erhält das Modell große Mengen flüssiger Sprache, aber nicht automatisch Wahr/Falsch-Labels für jede darin enthaltene Aussage. (OpenAI)
Das Modell lernt damit hervorragend:
wie Menschen Aussagen formulieren.
Wahrheitsprüfung ist eine zusätzliche Aufgabe.
Auch Trainingsdaten können falsch sein
Das Internet enthält:
Fehler,
veraltete Informationen,
Widersprüche,
Satire,
Gerüchte,
Meinungen.
Wenn ein Modell aus großen Datenmengen lernt, kann es auf widersprüchliche Muster treffen.
Es besitzt nicht zwangsläufig eine perfekte Instanz, die entscheidet:
Quelle A = richtig
Quelle B = falsch
Die Qualität und Zusammensetzung von Trainingsdaten sind deshalb ein weiterer Faktor.
Informationen können veraltet sein
Angenommen, ein Modell wurde mit Informationen trainiert, nach denen:
Software X Version 4
aktuell war.
Inzwischen existiert Version 7.
Ohne aktuelle externe Daten kann das Modell auf seinen älteren erlernten Strukturen aufbauen.
Das ist nicht unbedingt eine Halluzination im engsten Sinn.
Für den Nutzer ist das Ergebnis trotzdem falsch oder überholt.
Darum gehören aktuelle Fakten zu den Fällen, bei denen externe Recherche besonders wichtig ist.
Modelle werden nicht durch die aktuelle Frage automatisch neu trainiert
Du sagst:
Seit gestern ist Version 7 verfügbar.
Das Modell kann diese Information innerhalb des aktuellen Kontextes verwenden.
Dadurch wurde sein Grundmodell aber normalerweise nicht dauerhaft aktualisiert.
Wir kennen diese Trennung bereits:
Training
→ allgemeine Modellparameter
Kontext
→ aktuelle Information
Inference
→ daraus Antwort erzeugen
Aktualität muss deshalb über Kontext oder Werkzeuge hergestellt werden.
Fehlender Kontext erhöht das Risiko
Frage:
Ist das erlaubt?
Ohne weiteren Kontext fehlen möglicherweise:
Land.
Situation.
Vertrag.
Rechtsgebiet.
Datum.
Das Modell könnte trotzdem versuchen, eine Antwort zu liefern.
Besser wäre häufig eine Rückfrage.
Halluzinationsreduktion beginnt deshalb manchmal ganz banal mit:
fehlende Informationen nicht erraten.
Mehrdeutige Fragen verleiten zum Raten
Zum Beispiel:
Wie lange gilt das?
Was ist „das“?
Garantie?
Vertrag?
Cookie?
Zertifikat?
Gesetz?
Ein gutes KI-System sollte Mehrdeutigkeit erkennen.
Nicht jede Unsicherheit lässt sich durch mehr Modellleistung lösen.
Manchmal fehlt schlicht die notwendige Information.
Ein problematischer Anreiz lautet: Lieber antworten als schweigen
OpenAI argumentiert in seiner Halluzinationsforschung, dass viele klassische Evaluationsverfahren Modelle indirekt zum Raten ermutigen können. Wenn ausschließlich richtige Antworten Punkte bringen und „Ich weiß es nicht“ genauso schlecht oder schlechter bewertet wird wie ein Fehlversuch, kann Raten statistisch attraktiv werden. Die Forschenden plädieren deshalb dafür, Fehler stärker zu bestrafen und angemessene Enthaltung zu berücksichtigen. (OpenAI)
Das besitzt große praktische Bedeutung.
Ein gutes Modell ist nicht dasjenige, das auf jede Frage eine spezifische Antwort gibt.
Manchmal ist die beste Antwort:
Dafür habe ich keine ausreichende Information.
„Ich weiß es nicht“ ist eine wichtige KI-Fähigkeit
Menschen beurteilen KI häufig nach:
Wie viele Fragen konnte sie beantworten?
Mindestens genauso wichtig wäre:
Wie viele unbeantwortbare Fragen hat sie nicht erfunden beantwortet?
Wir sollten deshalb unterscheiden:
korrekte Antwort
falsche Antwort
berechtigte Enthaltung
Diese drei Kategorien sind wesentlich informativer als nur:
richtig
oder:
nicht richtig.
Accuracy allein kann irreführend sein
OpenAI illustriert dies in seiner Forschung anhand von Evaluierungen, bei denen ein stärker zum Raten neigendes Modell zwar eine ähnliche oder teilweise höhere reine Accuracy erreichen kann, gleichzeitig aber erheblich mehr falsche Antworten erzeugt. Ein Modell, das häufiger berechtigt keine spezifische Antwort gibt, kann für reale Anwendungen sicherer sein. (OpenAI)
Das ist besonders relevant für:
medizinische Systeme,
Rechtsfragen,
Finanzen,
Unternehmensentscheidungen.
Die selbstbewusste Sprache ist kein Konfidenzwert
Ein Modell schreibt:
Definitiv ist die Ursache X.
Das bedeutet nicht automatisch:
Modellwahrscheinlichkeit = 99,99 %
Natürlichsprachliche Sicherheit und mathematische Unsicherheit sind unterschiedliche Dinge.
Ein Sprachmodell hat gelernt, wie bestimmte Arten von Antworten formuliert werden.
Es kann deshalb sehr entschlossen klingen.
Die Tonlage sollte nicht als messbarer Vertrauenswert interpretiert werden.
Höfliche Unsicherheit kann ebenfalls gespielt sein
Umgekehrt kann ein Modell schreiben:
Möglicherweise könnte …
obwohl die Information vollkommen eindeutig ist.
Auch sprachliche Vorsicht ist kein präzises Messinstrument.
Für ernsthafte Systeme braucht es bessere Evaluations- und Kalibrierungsmethoden als:
Klingt die KI selbstbewusst?
Warum behebt ein besserer Prompt Halluzinationen nicht vollständig?
Wir können schreiben:
Erfinde keine Fakten.
oder:
Wenn du etwas nicht weißt, sage es.
Das ist sinnvoll.
Es definiert das gewünschte Verhalten.
Aber es verändert nicht die grundlegende Architektur des Sprachmodells.
Das Modell kann trotzdem falsch einschätzen, ob es etwas weiß.
Der Prompt kann Unsicherheit erlauben
Eine gute Formulierung wäre beispielsweise:
Verwende ausschließlich Informationen aus den
bereitgestellten Quellen.
Wenn eine Frage anhand dieser Quellen nicht
beantwortbar ist, antworte:
"Aus den bereitgestellten Quellen nicht bestimmbar."
Das ist wesentlich besser als:
Beantworte jede Frage vollständig.
Aber auch die erste Variante ist keine mathematische Garantie.
Ein Modell kann glauben, die Quelle enthalte etwas, was dort nicht steht
Quelle:
Das Gerät besitzt 8 GB RAM.
Antwort:
Das Gerät besitzt 8 GB RAM und 256 GB Speicher.
Der erste Teil ist belegt.
Der zweite wurde ergänzt.
Deshalb reicht die Anweisung:
Verwende die Quelle.
nicht immer.
Bei hohen Genauigkeitsanforderungen müssen einzelne Aussagen überprüft werden.
Temperature auf null macht Antworten nicht automatisch wahr
Ein verbreiteter Mythos lautet:
Setze Temperature auf 0 und Halluzinationen verschwinden.
Eine niedrige Temperature reduziert typischerweise Variation bei der Tokenauswahl.
Das kann Antworten reproduzierbarer machen.
Aber wenn die wahrscheinlichste Fortsetzung bereits falsch ist, wird sie dadurch nicht plötzlich wahr.
Vereinfacht:
falsche wahrscheinlichste Antwort
+
weniger Zufall
=
stabil reproduzierbare falsche Antwort
Temperature steuert Generierungsvariation.
Nicht Wahrheit.
Determinismus ist nicht dasselbe wie Korrektheit
Ein Taschenrechner:
2 + 2
→ immer 4
ist deterministisch und korrekt.
Ein falsch programmiertes System:
2 + 2
→ immer 5
wäre ebenfalls deterministisch.
Gleiches gilt für Sprachmodelle.
Eine Antwort kann bei jeder Wiederholung identisch sein und trotzdem falsch.
Größere Modelle können Halluzinationen reduzieren, aber nicht grundsätzlich ausschließen
Mehr Modellkapazität und bessere Trainingsmethoden können Faktentreue verbessern.
Die Annahme:
größeres Modell
→ keine Halluzinationen
ist jedoch falsch.
OpenAI betont ausdrücklich, dass Halluzinationen auch bei leistungsfähigeren Sprachmodellen weiterhin auftreten können. (OpenAI)
Entscheidend ist deshalb nicht nur Modellgröße.
Sondern der gesamte Prozess.
Websuche kann aktuelle Fakten bereitstellen
Frage:
Wie hoch ist der aktuelle Leitzins?
Ein reines Sprachmodell ist dafür keine ideale Datenquelle.
Ein KI-System mit Suche kann dagegen:
Frage
↓
aktuelle Quelle finden
↓
Information abrufen
↓
Modell formuliert Antwort
Das verschiebt die Aufgabe.
Das Modell muss den aktuellen Wert nicht aus seinen Parametern rekonstruieren.
Es bekommt ihn geliefert.
Eine Suchmaschine beseitigt trotzdem nicht alle Fehler
Das System kann:
die falsche Quelle auswählen,
veraltete Seite finden,
einen Wert falsch extrahieren,
Quelle missinterpretieren.
Recherche verbessert Grounding.
Sie ersetzt keine Qualitätskontrolle.
Primärquellen reduzieren unnötige Übersetzungsketten
Angenommen, es geht um eine neue Softwarefunktion.
Mögliche Quellen:
Blog A berichtet über Blog B.
Blog B zitiert Forum C.
Forum C behauptet etwas über Hersteller D.
Oder:
direkt die offizielle Dokumentation des Herstellers.
Je wichtiger Genauigkeit ist, desto sinnvoller wird eine möglichst unmittelbare vertrauenswürdige Quelle.
Das reduziert die Zahl möglicher Fehlerstufen.
Quellen müssen zeitlich passen
Eine offizielle Seite kann ebenfalls veraltet sein.
Darum gehören zur Quellenprüfung Fragen wie:
Wann veröffentlicht?
Wann aktualisiert?
Auf welche Version bezieht sich die Information?
Ist sie noch gültig?
Ein Modell kann nur so gut mit Quellen arbeiten, wie der Kontext es erlaubt.
RAG kann eigenes Wissen bereitstellen
Angenommen, ein Unternehmen besitzt:
10.000 interne Dokumente.
Das Sprachmodell soll daraus Fragen beantworten.
Statt sämtliche Dokumente bei jeder Anfrage in das Kontextfenster zu laden:
Frage
↓
Retrieval
↓
relevante Abschnitte
↓
Kontext
↓
Sprachmodell
Das ist das Grundprinzip von Retrieval-Augmented Generation.
RAG kann Halluzinationen reduzieren
Wenn die konkrete Information im passenden Dokument steht und zuverlässig in den Kontext gelangt, muss das Modell weniger aus seinem internen Wissen rekonstruieren.
Die Antwort kann stärker an externe Daten gebunden werden.
Aber auch hier gilt:
RAG
≠
Halluzinationsfreiheit
Der Retrievalprozess selbst kann Fehler machen.
RAG besitzt mindestens drei große Fehlerstellen
1. Die richtige Quelle wird nicht gefunden.
2. Die richtige Quelle wird gefunden,
aber das falsche Stück wird ausgewählt.
3. Die richtige Information gelangt zum Modell,
wird aber falsch verarbeitet.
RAG verschiebt das Problem deshalb teilweise von:
Modellwissen
zu:
Informationsretrieval.
Das kann wesentlich kontrollierbarer sein.
Aber es bleibt ein Systemproblem.
Die Wissensbasis kann selbst falsch sein
Ein RAG-System beantwortet Fragen ausschließlich aus der internen Dokumentation.
Großartig.
Nur enthält die Dokumentation eine falsche Anleitung.
Dann kann das Modell diese sehr zuverlässig wiedergeben.
Das System halluziniert möglicherweise gar nicht.
Die Antwort ist trotzdem falsch.
Deshalb gilt:
Grounding bedeutet Übereinstimmung mit einer Quelle – nicht automatisch Übereinstimmung mit der Wahrheit.
Aktuelle Dokumente brauchen Versionsmanagement
Beispiel:
handbuch-v1.pdf
handbuch-v2.pdf
handbuch-v3.pdf
Alle drei liegen in der Wissensbasis.
Frage:
Welche maximale Dateigröße gilt?
Version 1:
10 MB.
Version 3:
50 MB.
Wenn das Retrieval beide findet, braucht das System Metadaten:
Version.
Datum.
Status.
Sonst kann ein Modell sauber aus einer veralteten Quelle antworten.
Zitieren ist ein eigener technischer Prozess
Eine gute Antwort könnte sagen:
Die maximale Dateigröße beträgt 50 MB. [Quelle]
Damit der Link zuverlässig ist, sollte idealerweise das System wissen:
welcher Dokumentabschnitt verwendet wurde.
Nicht das Sprachmodell spontan irgendeine URL erzeugen.
Eine robuste Architektur lautet:
Retrieval liefert:
Dokument-ID 731
Abschnitt 4
Modell formuliert:
50 MB
System erzeugt:
Link zu Dokument-ID 731
Das ist besser als:
Modell:
Ich erfinde möglicherweise eine Quellenadresse.
Links sollten nach Möglichkeit aus strukturierten Daten stammen
Dasselbe gilt bei einem internen Website-Workflow.
Du möchtest interne Links setzen.
Schlecht:
Erfinde eine passende URL.
Besser:
mögliche Ziele:
/wissen/caching/
/wissen/cdn/
/wissen/wordpress-performance/
Das Modell wählt.
Es generiert nicht den technischen Datensatz.
Das reduziert halluzinierte URLs.
Strukturierte Ausgaben verhindern keine falschen Inhalte
Ein Modell liefert perfektes JSON:
{
"geburtsjahr": 1978
}
Die Struktur ist korrekt.
Das Geburtsjahr kann falsch sein.
Man muss deshalb zwei Qualitätsdimensionen unterscheiden:
Format korrekt?
Inhalt korrekt?
Ein JSON-Schema löst nur die erste Frage.
Validierung sollte deshalb mehrere Ebenen besitzen
Beispiel:
KI extrahiert Preis
↓
JSON-Schema prüfen
↓
Zahl vorhanden?
↓
Preis gegen Datenbank prüfen
↓
erst dann verwenden
Damit übernimmt normale Software die Teile, die sie zuverlässig kontrollieren kann.
Zahlen sind gute Kandidaten für deterministische Prüfung
Wenn ein Modell sagt:
Gesamtsumme = 1.274,83 €
und die Einzelpositionen sind bekannt, sollte nicht noch ein zweites Sprachmodell gefragt werden:
Stimmt das?
Ein Rechner kann exakt nachrechnen.
Zahlen
↓
Taschenrechner
↓
exaktes Ergebnis
Klassische Werkzeuge sollten verwendet werden, wenn sie besser geeignet sind.
Datenbanken sollten Fakten prüfen, die bereits strukturiert vorliegen
Frage:
Hat Kunde 4711 seine Rechnung bezahlt?
Diese Information steht in der Buchhaltungsdatenbank.
Dann sollte die Architektur lauten:
Datenbank
↓
bezahlt = ja
↓
LLM formuliert Antwort
Nicht:
LLM versucht aus alten E-Mails zu erraten,
ob vermutlich bezahlt wurde.
Das Modell sollte kein Ersatz für eine vorhandene Quelle der Wahrheit sein.
Source of Truth ist ein wichtiges Architekturprinzip
Für jede Art Information sollte möglichst klar sein:
Wo liegt die verbindliche Version?
Zum Beispiel:
Preis
→ Warenwirtschaft
Kundendaten
→ CRM
Termin
→ Kalender
Vertrag
→ Dokumentensystem
Website-URL
→ CMS
Das Sprachmodell kann diese Daten interpretieren.
Es sollte sie nicht neu erfinden.
„Frag das Modell zweimal“ ist keine sichere Faktenprüfung
Ein verbreiteter Trick lautet:
Erzeuge die Antwort und frage das Modell danach, ob sie richtig ist.
Das kann Fehler entdecken.
Aber dasselbe Modell kann denselben falschen Zusammenhang zweimal bestätigen.
Beispiel:
Modell:
Version 4.2 erschien 2022.
Prüfung:
Bist du sicher?
Modell:
Ja, Version 4.2 erschien definitiv 2022.
Es besitzt immer noch keine neue Informationsquelle.
Selbstkritik kann nützlich, aber keine externe Evidenz sein
Ein zweiter Modelllauf kann helfen:
Widersprüche aufzuspüren.
Unklare Behauptungen zu markieren.
fehlende Quellen zu erkennen.
Aber:
Modell bewertet Modell
ist nicht dasselbe wie:
Behauptung wird gegen reale Quelle geprüft
Beides kann kombiniert werden.
Zwei verschiedene Modelle sind ebenfalls keine Garantie
Modell A sagt:
Modell B sagt:
Vielleicht liegen beide falsch.
Sie könnten aus:
ähnlichen Trainingsmustern,
denselben populären Fehlinformationen
schöpfen.
Mehrheitsabstimmung zwischen Sprachmodellen ist deshalb nicht automatisch Wahrheitsprüfung.
Externe Evidenz ist stärker
Robuster:
Behauptung
↓
offizielle Datenbank / Primärquelle
↓
Vergleich
Das ist besonders bei konkreten Tatsachen möglich.
Beispielsweise:
Geburtsdatum.
Aktienkurs.
Softwareversion.
Gesetzestext.
Produktpreis.
Manche Aussagen lassen sich nicht automatisch eindeutig verifizieren
Beispiel:
Diese Strategie ist wahrscheinlich die beste Lösung.
Das ist keine einfache Datenbanktatsache.
Man braucht:
Kriterien,
Abwägung,
Kontext.
Hier kann menschliche Bewertung wichtiger bleiben.
Nicht jede Halluzinationskontrolle lässt sich auf einen true/false-Check reduzieren.
Fehlerkosten bestimmen die notwendige Kontrolle
Eine KI schlägt Namen für einen fiktiven Gartenzwerg vor.
Falscher Fakt?
Praktisch egal.
Eine KI schreibt:
Dieses Medikament kann mit Präparat X kombiniert werden.
Eine falsche Information kann gefährlich sein.
Deshalb sollte Kontrolle nach möglichem Schaden skaliert werden.
kleine Fehlerfolge
→ leichte Prüfung
große Fehlerfolge
→ starke Verifikation
Kreative Aufgaben haben wenig klassisches Halluzinationsrisiko
Prompt:
Erfinde einen Namen für eine fiktive Raumstation.
Das Modell antwortet:
Aurora IX.
Kann „Aurora IX“ halluziniert sein?
Eigentlich nicht im problematischen Sinn.
Die Aufgabe war ausdrücklich:
etwas erfinden.
Halluzination wird relevant, wenn generierter Inhalt als reale Tatsache präsentiert wird.
Der Modus der Aufgabe entscheidet
Erfinde eine fiktive Studie.
→ generative Aufgabe.
Nenne eine existierende Studie.
→ faktische Aufgabe.
Die gleiche Ausgabe kann im ersten Fall perfekt und im zweiten katastrophal sein.
Das zeigt:
Fehler lassen sich nur im Verhältnis zur Aufgabe beurteilen.
Faktenarme Schreibaufgaben sind relativ risikoarm
Zum Beispiel:
Formuliere diese vorhandene E-Mail freundlicher.
Die KI muss kaum neues Weltwissen hinzufügen.
Sie transformiert vorhandenen Text.
Das Halluzinationsrisiko ist geringer als bei:
Schreibe aus dem Gedächtnis eine Übersicht aller steuerlichen Änderungen dieses Jahres.
Generative KI ist besonders zuverlässig, wenn sie vorhandene Information transformiert, statt fehlende Information erzeugen zu müssen.
Extraktion kann ebenfalls sehr zuverlässig sein – braucht aber Kontrolle
Aufgabe:
Extrahiere aus diesem Text Rechnungsnummer und Betrag.
Wenn beides klar vorhanden ist, ist die Aufgabe gut eingegrenzt.
Trotzdem sollte ein Produktionssystem prüfen:
Ist der Betrag wirklich im Dokument?
Wurde Dezimaltrennzeichen korrekt interpretiert?
Existieren mehrere Rechnungsnummern?
Je strukturierter die Aufgabe, desto leichter wird Verifikation.
Zusammenfassungen können sogenannte Faithfulness-Probleme besitzen
Ein Modell fasst einen Bericht zusammen.
Idealerweise enthält die Zusammenfassung nur Aussagen, die vom Original getragen werden.
Das Modell kann aber zusätzliche Schlussfolgerungen hinzufügen.
Original:
40 Prozent der Befragten bevorzugten Option A.
Zusammenfassung:
Die Mehrheit bevorzugte Option A.
Das ist falsch.
40 Prozent müssen keine Mehrheit sein.
Der Fehler wirkt klein.
Inhaltlich verändert er die Aussage.
Zusammenfassung sollte deshalb gegen das Original geprüft werden
Eine mögliche Prüffrage lautet:
Wird jede wesentliche Aussage der Zusammenfassung durch eine konkrete Stelle im Ausgangstext gestützt?
Das ist deutlich stärker als:
Klingt die Zusammenfassung plausibel?
Faithfulness ist ein eigenes Qualitätskriterium.
Übersetzungen können ebenfalls Bedeutung hinzufügen oder verlieren
Original:
may cause problems
Übersetzung:
verursacht Probleme
Aus einer Möglichkeit wurde Gewissheit.
Sprachlich klingt die Übersetzung sauber.
Inhaltlich hat sich die Aussage verändert.
KI-Prüfung muss deshalb auch Modalität und Unsicherheit berücksichtigen.
Codehalluzinationen sehen anders aus
Ein Sprachmodell schreibt:
useMagicBackup()
Die Funktion klingt sinnvoll.
Die Bibliothek besitzt sie nicht.
Oder es empfiehlt:
npm install super-safe-auth
Das Paket existiert nicht.
Oder schlimmer:
Ein Paket mit ähnlich klingendem Namen existiert, stammt aber nicht aus der erwarteten Quelle.
Codegeneration braucht deshalb eigene Prüfmechanismen.
APIs sollten gegen echte Dokumentation geprüft werden
Ein Modell kann eine plausible Methode erzeugen:
client.users.deleteAllInactive()
Softwarebibliotheken besitzen oft konsistente Namensmuster.
Das Modell kann daraus eine Methode konstruieren, die hervorragend zum Stil passt.
Sie muss trotzdem nicht implementiert sein.
Vor Produktionscode sollte deshalb geprüft werden:
Existiert die Funktion?
Welche Version?
Welche Parameter?
Welche Rückgabewerte?
Compiler und Tests sind hervorragende Verifikationswerkzeuge
Generierter Code lässt sich teilweise sehr gut maschinell prüfen.
Code
↓
Syntaxprüfung
↓
Tests
↓
statische Analyse
↓
Security Checks
Ein Sprachmodell sollte nicht allein entscheiden:
Mein Code ist korrekt.
Wir besitzen für Software bereits wesentlich bessere Prüfwerkzeuge.
Testbestehen bedeutet trotzdem nicht vollständige Korrektheit
Ein Testset kann unvollständig sein.
Sicherheitslücken können bleiben.
Edge Cases fehlen.
Auch deterministische Verifikation besitzt Grenzen.
Der Vorteil:
Sie liefert objektivere Evidenz als reine Modellselbstbewertung.
Halluzinationen bei Bildern funktionieren etwas anders
Ein multimodales Modell sieht ein Bild.
Darauf befinden sich:
zwei Hunde.
Das Modell beschreibt:
Drei Hunde spielen auf einer Wiese.
Der dritte Hund wurde nicht sprachlich aus einer Datenbank erfunden.
Das Modell hat eine visuelle Eigenschaft hinzugefügt, die im Bild nicht vorhanden ist.
Die Forschung bezeichnet auch solche Abweichungen zwischen visueller Eingabe und generierter Beschreibung als Halluzinationen multimodaler Modelle. (arXiv)
Dokumentenanalyse kann visuelle Fehler übernehmen
Ein PDF enthält eine Tabelle.
Das System erkennt:
1.000
als:
7.000.
Das Sprachmodell verarbeitet anschließend korrekt:
7.000.
Nun stammt der Fehler möglicherweise bereits aus der Dokumenterkennung.
Das Gesamtprodukt antwortet falsch.
Die Ursache liegt aber nicht unbedingt im Sprachmodell.
KI-Systeme bestehen aus Fehlerketten
Ein realer Prozess könnte lauten:
PDF
↓
Texterkennung
↓
Chunking
↓
Retrieval
↓
Sprachmodell
↓
Formatierung
Jede Stufe kann Fehler erzeugen.
Wenn am Ende etwas falsch ist, muss die gesamte Pipeline untersucht werden.
Nicht nur:
Das LLM halluziniert.
Richtiges Debugging lokalisiert die Fehlerstufe
Fragen:
Wurde der Text korrekt ausgelesen?
War die richtige Quelle im Retrieval?
Kam sie vollständig im Kontext an?
Hat das Modell sie korrekt wiedergegeben?
Wurde das Ergebnis anschließend richtig verarbeitet?
Das ist wesentlich produktiver als pauschal das Modell zu wechseln.
KI-Halluzinationen lassen sich nicht zuverlässig mit einem einzigen Universalfilter erkennen
Man könnte hoffen:
KI-Antwort
↓
Halluzinationsdetektor
↓
wahr / falsch
So einfach ist die Welt nicht.
Für manche Aussagen fehlen überprüfbare Referenzen.
Andere sind interpretationsabhängig.
Wieder andere erfordern aktuelle externe Daten.
Halluzinationserkennung bleibt selbst ein aktives Forschungs- und Evaluationsfeld. NIST führt weiterhin Programme zur Bewertung von Fähigkeiten und Grenzen generativer Textsysteme durch. (NIST)
Faktenprüfung braucht Referenzdaten
Die Behauptung:
Paris ist die Hauptstadt Frankreichs.
kann gegen eine vertrauenswürdige Quelle geprüft werden.
Die Aussage:
Dieser Text wirkt unfreundlich.
ist interpretativer.
Die Behauptung:
Diese Geschäftsidee wird erfolgreich sein.
ist prognostisch.
Nicht jede KI-Ausgabe besitzt denselben Wahrheitsstatus.
Behauptungen sollten deshalb klassifiziert werden
Ein Prüfprozess könnte unterscheiden:
überprüfbare Tatsache
Berechnung
Interpretation
Meinung
Prognose
kreativer Inhalt
Nur dann kann die passende Kontrollmethode gewählt werden.
Fakten können gegen Quellen geprüft werden
Tatsachenbehauptung
↓
Quelle suchen
↓
Beleg vorhanden?
Berechnungen können nachgerechnet werden
Berechnung
↓
Taschenrechner / Code
Interpretationen brauchen Kriterien
Bewertung
↓
Maßstab offenlegen
↓
Begründung prüfen
Prognosen brauchen Unsicherheit
Vorhersage
↓
Annahmen
↓
Wahrscheinlichkeit
↓
keine Darstellung als Gewissheit
Diese Trennung macht KI-Ausgaben wesentlich kontrollierbarer.
Ein guter Faktenworkflow extrahiert zunächst Behauptungen
Angenommen, ein Artikel enthält 4.000 Wörter.
Statt einem zweiten Modell pauschal zu sagen:
Prüfe den Text.
kann der Prozess zunächst extrahieren:
Behauptung 1
Behauptung 2
Behauptung 3
...
Danach werden besonders relevante überprüfbare Behauptungen identifiziert.
Zum Beispiel:
Zahlen.
Daten.
Personennamen.
Studien.
gesetzliche Aussagen.
technische Versionsangaben.
Danach kann gezielt recherchiert werden
Behauptung
↓
passende Primärquelle suchen
↓
Quelle abrufen
↓
Aussage vergleichen
Damit wird Faktenprüfung zu einer strukturierten Aufgabe.
Das ist robuster als ein allgemeines:
Lies noch einmal drüber.
Quelle und Behauptung sollten zusammen gespeichert werden
Für redaktionelle Systeme kann sinnvoll sein:
Behauptung:
Core Web Vital X besitzt Grenzwert Y.
Quelle:
offizielle Dokumentation
Abrufdatum:
...
Status:
bestätigt
Dann kann später erkannt werden:
Die Quelle wurde aktualisiert.
Vielleicht muss der Artikel erneut geprüft werden.
Aktualität ist eine eigene Dimension
Eine Behauptung kann einmal korrekt gewesen sein.
Beispiel:
Softwareversion 3.2 ist aktuell.
Sechs Monate später ist sie veraltet.
Ein automatisches Qualitätssystem sollte daher nicht nur fragen:
War diese Information einmal richtig?
sondern gegebenenfalls:
Ist sie noch aktuell?
Evergreen-Inhalte besitzen weniger Aktualitätsrisiko
Definition:
DNS ordnet Namen technischen Informationen zu.
ist relativ stabil.
Preis:
Produkt X kostet 499 Euro.
kann sich jederzeit ändern.
Deshalb sollte der Prüfaufwand zum Informationsalterungsrisiko passen.
Quellenangaben ermöglichen spätere Aktualisierung
Wenn ein Artikel weiß:
Diese Zahl stammt aus Quelle X.
dann kann ein System später prüfen:
Hat sich Quelle X geändert?
Ohne Provenienz muss die gesamte Information neu rekonstruiert werden.
Das macht Quellenmanagement zu mehr als bloßer journalistischer Dekoration.
Halluzinationsrisiko sollte bereits beim Workflowdesign berücksichtigt werden
Schlechte Architektur:
KI
↓
veröffentlicht direkt
Bessere Architektur:
KI
↓
Entwurf
↓
Faktenprüfung
↓
Qualitätsprüfung
↓
Freigabe
↓
Veröffentlichung
Wie viele Stufen nötig sind, hängt vom Risiko ab.
Nicht jeder Blogartikel braucht dieselbe Kontrolle
Eine persönliche Kolumne:
wenige überprüfbare Fakten.
Ein medizinischer Ratgeber:
viele potenziell folgenreiche Aussagen.
Ein Softwaretutorial:
Versionsabhängigkeit.
Ein Produktpreisartikel:
hohe Aktualität.
Redaktionelle KI-Prozesse sollten diese Unterschiede berücksichtigen.
Halluzinationsrisiko kann schon im Briefing reduziert werden
Schlecht:
Schreib einen aktuellen Artikel über neue KI-Gesetze.
Das Modell muss aktuelle Fakten aus eigenem Wissen ergänzen.
Besser:
Hier sind die aktuellen Primärquellen.
Erstelle daraus einen Artikel.
Verwende für aktuelle Rechtsbehauptungen
ausschließlich diese Quellen.
Nun ist die Informationsbasis kontrollierter.
Recherche und Schreiben sollten getrennte Schritte bleiben
Recherche
↓
Quellen auswählen
↓
Fakten extrahieren
↓
Briefing
↓
Text schreiben
Damit muss das Schreibmodell nicht gleichzeitig:
Fakten finden,
deren Aktualität einschätzen,
Quellen bewerten,
formulieren.
Aufgabenzerlegung reduziert Fehlerquellen.
Ein automatisierter Artikel sollte nicht auf Modellgedächtnis angewiesen sein
Wenn aktuelle Fakten wichtig sind:
Web / Datenbank / Primärquelle
↓
Fakten
↓
LLM
Das LLM übernimmt:
Erklärung.
Struktur.
Sprache.
Nicht die Rolle einer unsichtbaren aktuellen Datenbank.
Modelle eignen sich hervorragend zum Markieren möglicher Risikostellen
Ein Prüfschritt kann fragen:
Markiere alle Sätze, die konkrete überprüfbare Tatsachenbehauptungen enthalten.
Das Modell muss noch nicht entscheiden, ob sie wahr sind.
Es identifiziert lediglich Stellen für die Recherche.
Diese Aufgabe ist einfacher.
Besonders riskante Elemente lassen sich automatisch erkennen
Zum Beispiel:
Jahreszahlen
Prozentwerte
Eurobeträge
Personennamen
Studientitel
Gesetzesangaben
Softwareversionen
Zitate
Solche Muster können anschließend gezielter geprüft werden.
Dafür braucht man teilweise nicht einmal KI.
Normale Software kann Zahlen oder URLs erkennen.
Die Kombination aus Regeln und KI ist stärker
Zum Beispiel:
Regex
→ findet alle Prozentwerte
LLM
→ erkennt dazugehörige Behauptung
Suchsystem
→ findet Quelle
LLM
→ vergleicht Aussage mit Quelle
Mensch
→ prüft kritische Fälle
Das ist ein deutlich belastbarerer Prozess als ein einzelner Mega-Prompt.
Halluzinationen werden bei Agenten gefährlicher
Ein normaler Chatbot halluziniert:
Datei X befindet sich in Ordner Y.
Der Nutzer merkt den Fehler.
Ein Agent halluziniert dieselbe Annahme und besitzt Werkzeuge.
Er könnte nun:
Datei verschieben,
E-Mail versenden,
Datenbank ändern.
Aus einer falschen Aussage wird eine falsche Handlung.
Agenten brauchen deshalb stärkere Grenzen
Beispielsweise:
lesen
→ automatisch
Entwurf erstellen
→ automatisch
externe Nachricht senden
→ Freigabe
Daten löschen
→ starke Freigabe
Das reduziert den Schaden, falls das Modell eine Situation falsch interpretiert.
Tool-Ergebnisse sollten gegenüber Modellannahmen Vorrang besitzen
Das Modell glaubt:
Datei existiert.
Das Dateisystem sagt:
404 / nicht gefunden
Dann sollte der Agent nicht sagen:
Vermutlich trotzdem vorhanden.
Die echte Werkzeugausgabe ist die maßgebliche Systeminformation.
Robuste Agenten unterscheiden zwischen:
Modellannahme
und:
beobachtetem Zustand.
Aktionen sollten Vorbedingungen prüfen
Beispiel:
LLM:
Lösche Rechnung 4711.
Vor Ausführung prüft Software:
Existiert Rechnung?
Darf Nutzer sie löschen?
Ist Status löschbar?
Ist eine Freigabe vorhanden?
Damit bleibt das Sprachmodell Entscheidungshilfe.
Nicht alleinige Sicherheitsinstanz.
Halluzinationen können Kosten erzeugen
Ein Agent glaubt:
Ich muss noch einmal recherchieren.
Er startet 100 Suchanfragen.
Dann weitere 100.
Dann weitere Modellaufrufe.
Ein falscher Plan kann nicht nur falsche Inhalte erzeugen.
Er kann:
API-Kosten,
Rechenzeit,
Ressourcen
verbrauchen.
Agentische Systeme brauchen daher auch Kostenlimits.
Lokale Modelle halluzinieren ebenfalls
Lokale KI besitzt viele Vorteile:
Kontrolle.
Datenschutz.
Unabhängigkeit.
Sie verändert aber nicht die Grundnatur generativer Sprachmodelle.
Auch ein lokal betriebenes LLM kann:
falsche Fakten,
erfundene Funktionen,
nicht existente Quellen
generieren.
Lokal bedeutet nicht:
wahrer.
Kleine Modelle können bei fehlendem Wissen stärker gefährdet sein
Ein kleineres Modell besitzt möglicherweise weniger Weltwissen oder schwächere Fähigkeiten.
Das kann bei bestimmten Aufgaben zu mehr Fehlern führen.
Andererseits ist Modellgröße allein kein ausreichendes Maß.
Ein kleines spezialisiertes Modell kann eine klar definierte Aufgabe hervorragend erfüllen.
Wieder gilt:
Am realen Anwendungsfall testen.
Ein lokales Modell kann hervorragend mit eigener Wissensbasis kombiniert werden
lokales LLM
+
lokale Vektordatenbank
+
eigene Dokumente
Nun bleiben Daten innerhalb der eigenen Infrastruktur.
RAG stellt relevante Informationen bereit.
Das kann für interne Wissenssysteme sehr interessant sein.
Die Qualität hängt trotzdem von Retrieval und Modellverarbeitung ab.
Halluzinationsrate sollte gemessen werden
Ein Produktionssystem sollte nicht nur nach Bauchgefühl bewertet werden.
Beispiel:
1.000 bekannte Fragen.
Für jede existiert eine überprüfte Referenzantwort.
Dann kann gemessen werden:
korrekt
falsch
berechtigte Enthaltung
Das ergibt ein wesentlich aussagekräftigeres Bild.
Fehler sollten stärker gewichtet werden als fehlende Antworten, wenn der Schaden hoch ist
Für eine harmlose Wissens-App kann man eher raten lassen.
Für ein sicherheitskritisches System kann gelten:
Lieber:
"nicht sicher"
als:
selbstbewusst falsch.
Genau diese Unterscheidung zwischen Fehlern und angemessener Enthaltung steht auch im Zentrum aktueller Forschung zur Reduktion von Halluzinationen. (OpenAI)
Ein System kann Schwellenwerte für automatische Verarbeitung besitzen
Beispiel:
eindeutiger Fall
↓
automatisch
unsicherer Fall
↓
zweiter Check
kritischer oder widersprüchlicher Fall
↓
Mensch
Nicht jede Anfrage muss denselben Weg nehmen.
Das spart Prüfaufwand, ohne kritische Fälle blind zu automatisieren.
Unsicherheit kann aus mehreren Signalen entstehen
Zum Beispiel:
Keine Quelle gefunden.
Mehrere Quellen widersprechen sich.
Retrievalscore niedrig.
Modellantwort variiert stark zwischen Läufen.
Pflichtinformation fehlt.
Prüfmodell widerspricht.
Kein einzelnes Signal ist perfekt.
Gemeinsam können sie eine Eskalationsentscheidung unterstützen.
Mehrfachgenerierung kann Instabilität sichtbar machen
Man stellt dieselbe faktische Frage mehrfach.
Antworten:
1972
1974
1977
Nun ist offensichtlich:
Das System besitzt keine stabile Grundlage.
Das bedeutet nicht, dass eine dreifach identische Antwort automatisch wahr wäre.
Aber starke Variation kann ein Warnsignal sein.
Stabilität ist nur ein Indikator
Dreimal:
1972
kann ebenfalls dreimal falsch sein.
Deshalb:
Konsistenz
≠
Faktentreue
Sie ist lediglich eine zusätzliche Messdimension.
Quellenabdeckung ist ein stärkeres Signal
Bei einem quellenbasierten System kann geprüft werden:
Welche Antwortsätze besitzen einen Beleg?
Zum Beispiel:
Satz A → Quelle vorhanden
Satz B → Quelle vorhanden
Satz C → keine Quelle
Satz C wird:
entfernt,
markiert
oder:
zur Nachrecherche geschickt.
Das schafft einen praktischen Kontrollmechanismus.
Quellen selbst brauchen Qualitätsbewertung
Ein Beleg aus einem anonymen Forenposting ist nicht dasselbe wie:
offizielle Dokumentation.
Behörde.
Originalstudie.
Herstellerangabe.
Bei wichtigen Themen sollte nicht nur gefragt werden:
Gibt es irgendeine Quelle?
Sondern:
Ist diese Quelle für diese Behauptung geeignet?
Quellen können sich gegenseitig widersprechen
Dann sollte das Modell nicht heimlich eine auswählen und Gewissheit erzeugen.
Besser:
Quelle A nennt X, Quelle B dagegen Y.
Nun bleibt die Unsicherheit sichtbar.
Genau darin liegt eine wichtige Stärke guter KI-Unterstützung:
Widersprüche schneller entdecken.
Nicht künstlich beseitigen.
Ein KI-System sollte keine Gewissheit erfinden, wo die Welt unsicher ist
Manche Fragen besitzen schlicht keine eindeutige Antwort.
Zum Beispiel:
Welche Programmiersprache wird in zehn Jahren die wichtigste sein?
Das ist eine Prognose.
Eine seriöse Antwort muss Unsicherheit enthalten.
Halluzinationsreduktion bedeutet deshalb nicht nur:
richtige Fakten erzeugen.
Sondern auch:
den epistemischen Status einer Aussage richtig darstellen.
Fakt, Schätzung und Meinung sollten unterscheidbar bleiben
Zum Beispiel:
Fakt:
Server besitzt 16 GB RAM.
Messwert:
CPU-Auslastung beträgt aktuell 82 %.
Schätzung:
Ein Upgrade könnte notwendig werden.
Empfehlung:
Ich würde zunächst RAM-Nutzung messen.
Wenn alles im selben Tonfall erscheint, wirkt die Empfehlung wie eine Tatsache.
Gute KI-Ausgaben können diese Ebenen sichtbar trennen.
Bei Entscheidungen sollte die Datengrundlage genannt werden
Beispiel:
Aufgrund der drei angegebenen Kriterien würde ich VPS B bevorzugen.
Das ist besser als:
VPS B ist eindeutig besser.
Nun ist sichtbar:
Die Empfehlung hängt von bestimmten Annahmen ab.
„Halluzination vermeiden“ ist kein realistisches einzelnes Feature
Ein seriöses System verspricht nicht:
Halluzinationen: AUS
Stattdessen werden mehrere Schutzmechanismen kombiniert:
bessere Modelle
+
guter Kontext
+
Retrieval
+
verlässliche Quellen
+
strukturierte Ausgaben
+
deterministische Prüfungen
+
Evaluation
+
menschliche Kontrolle
Das ist Defense in Depth für KI-Qualität.
Die beste Maßnahme hängt von der Fehlerursache ab
Problem:
Information fehlt.
Lösung:
Retrieval / Recherche
Problem:
Berechnung falsch.
Lösung:
Taschenrechner
Problem:
Quelle erfunden.
Lösung:
Quellen aus Retrievalsystem vorgeben
Problem:
Kategorie falsch.
Lösung:
bessere Beispiele / Evaluation / spezialisiertes Modell
Problem:
veraltete Daten.
Lösung:
aktuelle Datenquelle
Problem:
unklare Frage.
Lösung:
Rückfrage
„Halluzinationsreduktion“ besteht also aus unterschiedlichen technischen Maßnahmen.
Für Contentproduktion ergibt sich ein klarer Workflow
Thema
↓
Recherche
↓
Primärquellen
↓
Faktenbasis
↓
Artikelentwurf
↓
Behauptungen extrahieren
↓
Quellenabgleich
↓
redaktionelle Prüfung
↓
Veröffentlichung
Die KI kann dabei fast jeden Schritt unterstützen.
Sie sollte jedoch nicht unbemerkt zur einzigen Faktenquelle werden.
Ein journalistischer KI-Workflow sollte Quellen vor dem Schreiben kennen
Nicht:
Artikel generieren
↓
danach irgendwie Quellen suchen
Denn dann besteht die Gefahr, Quellen zu suchen, die einen bereits erfundenen Text nachträglich rechtfertigen sollen.
Besser:
Quellen
↓
Fakten
↓
Artikel
Die Richtung ist entscheidend.
Quellen sollten nicht nur dekorativ am Ende stehen
Ein Artikel besitzt fünf Quellen.
Das bedeutet noch nicht, dass jede konkrete Tatsachenbehauptung von ihnen getragen wird.
Gute Quellenarbeit verbindet:
Behauptung
und:
Beleg.
Sonst kann ein Modell fünf reale Quellen nennen und dazwischen zehn unbelegte Dinge erfinden.
Zitierfähigkeit kann technisch unterstützt werden
Ein System könnte jeden Rechercheblock mit einer ID versehen:
[S1]
offizielle Dokumentation ...
[S2]
Studie ...
[S3]
Behördeninformation ...
Das Schreibmodell darf Tatsachen nur mit diesen IDs verwenden.
Danach ersetzt das Publishing-System die IDs durch echte Quellenlinks.
So muss das Modell keine URLs rekonstruieren.
Das gleiche Prinzip funktioniert bei internen Links
[L1] /wissen/sprachmodelle/
[L2] /wissen/tokens/
[L3] /wissen/kontextfenster/
Das Modell wählt:
L2.
Das System setzt die richtige URL.
Damit werden halluzinierte Slugs vermieden.
Halluzinationen sind deshalb auch ein Datenarchitekturproblem
Je mehr ein System vom Sprachmodell erfinden lassen muss, desto größer wird die Unsicherheit.
Je mehr echte Daten strukturiert vorliegen, desto weniger muss generiert werden.
Robuste Architektur:
Fakten
→ Datenquellen
IDs
→ Datenbank
Berechnungen
→ Rechner
Regeln
→ Code
Sprache
→ LLM
Das nutzt jede Technologie für ihre Stärke.
Ein Sprachmodell sollte nicht für Dinge verantwortlich sein, die bereits exakt bekannt sind
Wenn die Website-URL lautet:
/wissen/tokens/
dann sollte diese Information aus dem CMS kommen.
Nicht:
KI, wie glaubst du, könnte die URL lauten?
Wenn der Preis 19,90 Euro in der Datenbank steht:
Datenbank verwenden.
Wenn die Steuer 20 Prozent beträgt:
Regel verwenden.
Generative Freiheit sollte dort eingesetzt werden, wo sie sinnvoll ist.
Halluzinationsrisiko ist damit ein hervorragender Architekturtest
Bei jedem KI-Schritt kann gefragt werden:
Welche Information darf das Modell hier frei generieren?
Wenn die Antwort lautet:
Eigentlich gar keine – alles muss exakt stimmen.
dann ist möglicherweise ein deterministischeres Werkzeug besser.
Sprachmodelle sind nicht schlecht, weil sie halluzinieren
Ihre Fähigkeit, neue plausible Sprache zu erzeugen, ist genau das, was sie so nützlich macht.
Dasselbe generative Prinzip ermöglicht:
Umformulierung.
Zusammenfassung.
Brainstorming.
Übersetzung.
Programmierung.
Erklärung.
Das Problem entsteht, wenn wir aus:
plausibel generiert
automatisch machen:
faktisch verifiziert
Diese beiden Dinge müssen getrennt bleiben.
Das richtige mentale Modell verhindert viele Fehler
Nicht:
Die KI ist eine allwissende Person, die mir ihre Fakten erzählt.
Sondern:
Das Sprachmodell erzeugt eine passende sprachliche Ausgabe aus Modellwissen und aktuellem Kontext.
Dann folgt automatisch die richtige nächste Frage:
Woher kommt die Information?
Ein Antworttext kann unterschiedliche Informationsquellen mischen
Zum Beispiel:
Modellwissen
+
Websuche
+
bereitgestelltes PDF
+
Berechnung
+
Schlussfolgerung
Ein gutes KI-System sollte diese Ebenen möglichst nachvollziehbar halten.
Besonders dann, wenn Verlässlichkeit wichtig ist.
Halluzinationen werden niemals durch Misstrauen allein gelöst
Die Gegenreaktion:
Man kann KI überhaupt nichts glauben.
ist genauso wenig hilfreich.
Wir vertrauen auch:
Datenbanken,
Menschen,
Software
nicht blind.
Wir bauen Kontrollsysteme.
Bei KI ist es genauso.
Die Frage lautet nicht:
Kann KI Fehler machen?
Natürlich.
Die relevante Frage lautet:
Wie erkennen und begrenzen wir Fehler für diese konkrete Aufgabe?
Ein brauchbares Risikomodell
Vor einem KI-Workflow können vier Fragen gestellt werden:
1. Wie wahrscheinlich ist ein Fehler?
2. Wie leicht ist er zu erkennen?
3. Wie groß wäre sein Schaden?
4. Welche unabhängige Prüfung existiert?
Daraus ergibt sich der notwendige Kontrollaufwand.
Beispiel: Überschrift generieren
Fehlerwahrscheinlichkeit:
irrelevant.
Erkennbarkeit:
sehr hoch.
Schaden:
minimal.
Kontrolle:
Redakteur sieht Ergebnis.
→ wenig Aufwand.
Beispiel: Produktpreis veröffentlichen
Fehlerwahrscheinlichkeit:
möglich.
Erkennbarkeit:
nicht immer sofort.
Schaden:
geschäftlich relevant.
Kontrolle:
Preis-API.
→ Datenquelle verpflichtend.
Beispiel: medizinische Handlungsempfehlung
Fehler kann:
schwerwiegende Folgen haben.
Hier reicht:
Das Modell ist meistens ziemlich gut.
offensichtlich nicht.
Je höher der mögliche Schaden, desto stärker muss professionelle fachliche Kontrolle sein.
KI sollte graceful failure beherrschen
Ein gutes System muss nicht immer eine perfekte Antwort produzieren.
Es sollte auch sauber scheitern können.
Zum Beispiel:
Keine ausreichende Quelle gefunden.
Die verfügbaren Dokumente widersprechen sich.
Bitte menschlich prüfen.
Das ist wesentlich besser als:
Ich erfinde jetzt etwas Plausibles,
damit das Antwortfeld nicht leer bleibt.
Abstention ist ein Qualitätsmerkmal
Ein Modell, das seine Wissensgrenzen angemessen erkennt, kann praktisch wertvoller sein als ein Modell, das jede Frage beantwortet.
OpenAIs aktuelle Forschung betont genau diesen Punkt: Ungewissheit beziehungsweise Enthaltung sollte in Evaluierungen nicht pauschal wie ein Fehler behandelt werden, wenn dadurch selbstbewusste Falschaussagen vermieden werden. (OpenAI)
Ein produktiver KI-Assistent darf deshalb Rückfragen stellen
Beispiel:
Lösche die alte Website.
Welche Website?
Was bedeutet alt?
Ist ein Backup vorhanden?
Wer hat die Freigabe erteilt?
Eine Rückfrage ist kein Versagen.
Sie kann die korrekte Reaktion auf unzureichenden Kontext sein.
Prompts sollten Rückfragen erlauben
Statt:
Führe die Aufgabe immer direkt aus.
besser:
Wenn eine für die Entscheidung notwendige
Information fehlt, frage danach, bevor du fortfährst.
Bei Agenten kann diese Regel durch technische Freigabemechanismen ergänzt werden.
Was du dir über KI-Halluzinationen merken solltest
Eine KI-Halluzination ist eine generierte Aussage, die plausibel wirken kann, obwohl sie faktisch falsch oder nicht ausreichend durch die verfügbare Evidenz gestützt ist. OpenAI bezeichnet plausible falsche Aussagen als Halluzinationen; NIST behandelt entsprechende „Confabulation“ als relevantes Risiko generativer KI. (OpenAI)
Halluzinationen entstehen nicht einfach deshalb, weil ein Modell „schlecht programmiert“ wurde.
Sie hängen eng mit der Funktionsweise generativer Sprachmodelle zusammen.
Kontext
↓
Wahrscheinlichkeiten
↓
Token
↓
Token
↓
Antwort
Das Modell optimiert zunächst die Erzeugung einer passenden sprachlichen Fortsetzung.
Sprachliche Plausibilität ist nicht dasselbe wie Wahrheit.
Besonders anfällig sind Situationen, in denen:
Information selten ist
Information fehlt
Frage mehrdeutig ist
Daten veraltet sind
Quellen widersprechen
spezifische Details verlangt werden
Halluzinationen können unterschiedliche Formen annehmen:
falsche Fakten
erfundene Studien
nicht existente Zitate
halluzinierte URLs
erfundene Softwarefunktionen
nicht existente APIs
falsche Zusammenfassungen
falsche Bildbeschreibungen
Ein besserer Prompt kann das Risiko reduzieren.
Er kann es nicht grundsätzlich ausschalten.
Auch:
Temperature = 0
bedeutet nicht:
Wahrheit = 100 %
Eine robuste KI-Anwendung kombiniert deshalb mehrere Schutzschichten:
guter Prompt
↓
relevanter Kontext
↓
verlässliche Datenquelle
↓
Retrieval
↓
strukturierte Ausgabe
↓
deterministische Validierung
↓
Evaluation
↓
menschliche Prüfung bei kritischen Fällen
RAG und Websuche sind besonders wertvoll, weil sie dem Modell reale externe Informationen bereitstellen.
Aber:
RAG
≠
garantierte Wahrheit
Denn auch:
Retrieval,
Quellen,
Interpretation
können fehlerhaft sein.
Die stärkste Architektur trennt deshalb Aufgaben:
Fakten
→ Datenbank / Quelle
Berechnungen
→ Rechner
Geschäftsregeln
→ Code
Retrieval
→ Suchsystem
Erklärung und Sprache
→ LLM
Ein Sprachmodell sollte möglichst nicht raten müssen, wenn ein Fakt bereits zuverlässig irgendwo gespeichert ist.
Besonders wichtig ist außerdem, dass ein KI-System sagen darf:
Das weiß ich nicht.
Dafür fehlt mir eine Quelle.
Die Daten widersprechen sich.
Bitte prüfen.
Denn eine berechtigte Nicht-Antwort ist bei wichtigen Anwendungen wesentlich besser als eine perfekt formulierte Falschinformation.
Das Ziel lautet daher nicht:
jede Halluzination unter allen Umständen vollständig eliminieren.
Sondern:
KI-Systeme so bauen, dass falsche Ausgaben möglichst selten entstehen, möglichst früh erkannt werden und möglichst wenig Schaden verursachen können.
Genau dadurch wird aus beeindruckender generativer Technik ein belastbares Werkzeug.