Evaluation prüft ein KI-System mit repräsentativen Aufgaben, erwarteten Eigenschaften und dokumentierten Messverfahren. Einzelne Demo-Prompts sind kein belastbarer Test.
Was der Begriff tatsächlich bedeutet
Ein Testset enthält Normalfälle, Grenzfälle, Fehlerfälle und missbräuchliche Eingaben. Für generative Ausgaben werden Referenzen, Rubrics und fachliche Paarvergleiche kombiniert.
Warum das im Unternehmen relevant ist
Vor Modell-, Prompt-, Daten- oder Workflow-Änderungen wird eine Baseline festgehalten. Danach zeigt Regressionstest, ob Verbesserungen an einer Stelle neue Fehler erzeugen.
Kontrolliert vorgehen
Der CTPM-Praxisrahmen für kontrollierbare KI-Anwendungen führt in sieben Schritten von der Aufgabe zur belastbaren Nutzung: Aufgabe verstehen, Kontext und Daten klären, KI gezielt einsetzen, fachlich prüfen, Abweichungen behandeln, verantwortlich freigeben und den Transfer dokumentieren. Er ist ein transparenter Arbeitsrahmen, keine Zertifizierung.
- Aufgabe und Wirkung festlegen
- Daten, Kontext und Berechtigung klären
- Ergebnis gegen fachliche Kriterien prüfen
- Abweichung, Freigabe und Nachweis regeln
CTPM-Praxisbeispiel
CTPM-Praxisbeispiel: Für Anforderungsextraktion werden 60 Dokumentabschnitte mit bekannten Sollanforderungen genutzt. Gemessen werden Fundstellen, Auslassungen, erfundene Anforderungen und korrekte Unsicherheitsmarkierung.
Qualitäts- und Testkriterien
Die folgenden Kriterien machen die Qualität für diesen Anwendungsfall beobachtbar:
- Testfälle repräsentieren reale Häufigkeit und Auswirkung.
- Baseline, Modell, Prompt und Datenstand sind eingefroren.
- Fachliche Prüfer sind kalibriert.
- Regressionen blockieren die Freigabe nach klarer Regel.
Risiken und typische Fehlannahmen
„LLM-as-a-judge“ kann skalieren, übernimmt aber Modellbias und braucht Kalibrierung. Synthetische Tests ersetzen keine realen schwierigen Fälle.
Beispiel für Ihr Transferergebnis
Transferergebnis: ein versioniertes Evaluationsset mit Testfällen, Sollkriterien, Auswertung, Fehlertaxonomie und Freigabeschwelle.