← Alle BeiträgePRAXISWISSEN

Qualitätskriterien für KI-Ergebnisse festlegen

KI-Qualität ist aufgabenbezogen. Ein Ergebnis ist nicht allgemein „gut“, sondern beispielsweise korrekt, vollständig, belegt, relevant, konsistent, sicher, verständlich und im vorgegebenen Format. Der Beitrag zeigt ein kontrolliertes Vorgehen, ein realistisches CTPM-Praxisbeispiel und ein konkretes Transferergebnis.

Realistische Unternehmensszene zum Thema Qualitätskriterien für KI-Ergebnisse festlegen
Kurzantwort

KI-Qualität ist aufgabenbezogen. Ein Ergebnis ist nicht allgemein „gut“, sondern beispielsweise korrekt, vollständig, belegt, relevant, konsistent, sicher, verständlich und im vorgegebenen Format.

Was der Begriff tatsächlich bedeutet

Kriterien müssen beobachtbar sein. „Professionell“ ist zu vage; „enthält alle fünf Pflichtfelder und jede Zahl besitzt einen Quellenbezug“ ist prüfbar.

Warum das im Unternehmen relevant ist

Unternehmen kombinieren automatische Prüfungen, Referenzfälle, Fachreview und Betriebsfeedback. Nicht jede Dimension lässt sich sinnvoll zu einer Gesamtnote verdichten.

Kontrolliert vorgehen

Der CTPM-Praxisrahmen für kontrollierbare KI-Anwendungen führt in sieben Schritten von der Aufgabe zur belastbaren Nutzung: Aufgabe verstehen, Kontext und Daten klären, KI gezielt einsetzen, fachlich prüfen, Abweichungen behandeln, verantwortlich freigeben und den Transfer dokumentieren. Er ist ein transparenter Arbeitsrahmen, keine Zertifizierung.

  • Aufgabe und Wirkung festlegen
  • Daten, Kontext und Berechtigung klären
  • Ergebnis gegen fachliche Kriterien prüfen
  • Abweichung, Freigabe und Nachweis regeln

CTPM-Praxisbeispiel

CTPM-Praxisbeispiel: Eine Zusammenfassung wird nach Vollständigkeit der Entscheidungen, korrekter Zuordnung von Verantwortlichen, Terminformat, Quellenbezug und Verbot neuer Behauptungen bewertet.

Qualitäts- und Testkriterien

Die folgenden Kriterien machen die Qualität für diesen Anwendungsfall beobachtbar:

  • Kriterien besitzen Definition, Messmethode und Schwelle.
  • Kritische Fehler werden separat statt im Mittelwert behandelt.
  • Prüfer stimmen anhand gemeinsamer Beispiele überein.
  • Metriken werden mit realen Fehlfolgen abgeglichen.

Risiken und typische Fehlannahmen

Beliebte, aber ungeeignete Kennzahlen können Verhalten optimieren, das dem Geschäftsziel widerspricht. Ein Durchschnitt verbirgt seltene kritische Fehler.

Beispiel für Ihr Transferergebnis

Transferergebnis: ein Qualitätsraster mit Dimension, Gewicht, kritischem Fehler, Messverfahren, Schwelle und Verantwortlichem.

Quellen und Referenzen

  1. NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0) (2023)
  2. NIST: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (2024)
  3. OpenAI: Working with evals (2026)