← Alle BeiträgePRAXISWISSEN

KI-Halluzinationen erkennen und systematisch prüfen

Eine Halluzination ist eine sachlich unbelegte oder falsche Ausgabe, die sprachlich plausibel wirken kann. Sie wird nicht durch freundlicheres Prompting beseitigt, sondern durch Quellen, Prüfverfahren, Aufgabenbegrenzung und verantwortliche Freigabe beherrscht. Der Beitrag zeigt ein kontrolliertes Vorgehen, ein realistisches CTPM-Praxisbeispiel und ein konkretes Transferergebnis.

Realistische Unternehmensszene zum Thema KI-Halluzinationen erkennen und systematisch prüfen
Kurzantwort

Eine Halluzination ist eine sachlich unbelegte oder falsche Ausgabe, die sprachlich plausibel wirken kann. Sie wird nicht durch freundlicheres Prompting beseitigt, sondern durch Quellen, Prüfverfahren, Aufgabenbegrenzung und verantwortliche Freigabe beherrscht.

Was der Begriff tatsächlich bedeutet

LLMs optimieren Plausibilität, nicht Wahrheit. Besonders riskant sind erfundene Quellen, falsch verbundene Fakten, plausible Zahlen und Aussagen außerhalb des bereitgestellten Kontexts.

Warum das im Unternehmen relevant ist

Je höher die Auswirkung einer Aussage, desto stärker müssen Quellenbindung und Review sein. Eine kreative Formulierung braucht andere Kontrollen als eine Vertrags-, Sicherheits- oder Finanzinformation.

Kontrolliert vorgehen

Der CTPM-Praxisrahmen für kontrollierbare KI-Anwendungen führt in sieben Schritten von der Aufgabe zur belastbaren Nutzung: Aufgabe verstehen, Kontext und Daten klären, KI gezielt einsetzen, fachlich prüfen, Abweichungen behandeln, verantwortlich freigeben und den Transfer dokumentieren. Er ist ein transparenter Arbeitsrahmen, keine Zertifizierung.

  • Aufgabe und Wirkung festlegen
  • Daten, Kontext und Berechtigung klären
  • Ergebnis gegen fachliche Kriterien prüfen
  • Abweichung, Freigabe und Nachweis regeln

CTPM-Praxisbeispiel

CTPM-Praxisbeispiel: Bei einer Dokumentenanalyse muss jede extrahierte Vertragsfrist zusammen mit Dokument, Seite und Originalpassage ausgegeben werden. Fehlt der Beleg, wird der Wert als ungeprüft markiert und nicht weiterverarbeitet.

Qualitäts- und Testkriterien

Die folgenden Kriterien machen die Qualität für diesen Anwendungsfall beobachtbar:

  • Behauptungen besitzen prüfbare Quellenbezüge.
  • Stichproben enthalten bekannte Grenz- und Fehlerfälle.
  • Unsicherheit wird sichtbar statt sprachlich kaschiert.
  • Fehler führen zu einem definierten Korrekturweg.

Risiken und typische Fehlannahmen

Ein häufiger Fehler ist die Frage „Bist du sicher?“. Das Modell kann dadurch selbstbewusster formulieren, ohne bessere Evidenz zu besitzen.

Beispiel für Ihr Transferergebnis

Transferergebnis: eine Prüfmatrix mit Aussageart, Auswirkung, erforderlichem Beleg, Prüfer und Freigaberegel.

Quellen und Referenzen

  1. NIST: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (2024)
  2. OWASP GenAI Security Project: OWASP Top 10 for LLM Applications 2026 (2026)
  3. OpenAI: Working with evals (2026)