Was ist eine KI-Halluzina­tion?

KI-Halluzina­tion: Definition und Ursachen

Der Begriff beschreibt Ausgaben eines Modells, die sprachlich einwandfrei sind, inhaltlich aber nicht stimmen. Typische Beispiele sind erfundene Literaturangaben, falsche Produktdaten oder Urteile, die es nicht gibt. Besonders tückisch ist, dass der Tonfall sicher bleibt: Falsche Antworten klingen genauso überzeugend wie richtige.

Die Ursache liegt in der Funktionsweise. Ein Large Language Model berechnet, welche Wörter wahrscheinlich folgen; es prüft nicht, ob eine Aussage stimmt. Fehlt dem Modell Wissen oder passender Kontext, füllt es die Lücke mit Plausiblem. Auch widersprüchliche oder veraltete Trainingsdaten und missverständliche Fragen erhöhen das Risiko.

Wie sich Halluzinati­onen verringern lassen

Vollständig vermeiden lassen sie sich derzeit nicht, wohl aber deutlich reduzieren. Am wirksamsten ist, das Modell auf geprüfte Quellen zu stützen: Mit Retrieval-Augmented Generation (RAG) erhält es relevante Dokumente und soll nur auf dieser Basis antworten – am besten mit Quellenangabe, damit Nutzer nachprüfen können.

Hinzu kommen klare Anweisungen („Wenn die Antwort nicht in den Unterlagen steht, sage das“), niedrige Zufallseinstellungen bei Faktenfragen, automatische Prüfschritte und eine menschliche Kontrolle bei wichtigen Inhalten. Ob ein System halluziniert, zeigt sich am zuverlässigsten in Tests mit echten Fragen und bekannten Antworten.

Praxis­bei­spiel: Falsche Zusage im Kundenchat

Ein Elektrohändler setzt einen KI-Chatbot ein. Ein Kunde fragt nach der Garantie für ein Gerät, und der Bot nennt eine Laufzeit, die so in keinem Vertrag steht. Der Kunde beruft sich später darauf. Der Fall zeigt, dass Unternehmen für Aussagen ihrer Systeme geradestehen müssen, auch wenn ein Modell sie erfunden hat.

Nach dem Vorfall wurde der Bot nur noch mit den aktuellen Garantiebedingungen versorgt, sollte bei fehlenden Angaben an den Service übergeben und wurde regelmäßig mit Testfragen geprüft. Zusagen zu Preisen, Fristen und Kulanz liegen seitdem nicht mehr beim Modell. Bei Vertragsfragen übernimmt jetzt immer ein Mitarbeiter, und im Chat ist erkennbar, dass es sich um eine KI handelt.

Typische Fehler und Umsetzung

Häufige Fehler sind, ein Modell ohne Datengrundlage Fachfragen beantworten zu lassen, Antworten ungeprüft weiterzugeben oder anzunehmen, ein besseres Modell halluziniere nicht mehr. Wichtig ist, Risiken je Anwendungsfall zu bewerten: Ein Textentwurf verträgt mehr Unsicherheit als eine Rechtsauskunft. Je nach Einsatz genügt ein Hinweis an die Nutzer, in anderen Fällen ist eine feste Freigabe vor jeder Ausgabe nötig.

Nano Concepts baut KI-Anwendungen mit Quellenbindung, Antwortgrenzen und Testverfahren, damit Halluzinationen früh auffallen und nicht beim Kunden landen. Wir legen gemeinsam fest, wo ein Modell frei formulieren darf und wo nur geprüfte Inhalte erlaubt sind, und richten Testfragen ein, die nach jeder Änderung automatisch durchlaufen.

• Antworten auf geprüfte Quellen stützen und Quellen anzeigen
• Modell anweisen, bei fehlender Information nicht zu raten
• Verbindliche Aussagen zu Preisen und Fristen aus Systemen statt aus dem Modell beziehen
• Testfragen mit bekannten Antworten regelmäßig durchlaufen lassen
• Menschliche Freigabe bei Inhalten mit rechtlicher oder finanzieller Wirkung