Vor einer Übernahme fragt sie: Ist der ursprüngliche Fehler behoben? Funktionieren die bisherigen Fälle noch? Gibt es einen neuen Fehler, der schwerer wiegt? Was wurde tatsächlich geprüft, und was bleibt offen? Manchmal bleibt danach die bisherige Fassung die bessere Wahl. Wenn trotz guter Information und klarem Auftrag dieselbe Schwierigkeit bleibt, vergleicht sie ein anderes Modell an denselben Fällen. Damit prüft sie eine konkrete Vermutung über dessen Fähigkeiten, statt auf das neueste Modell zu hoffen.
Die Testsammlung liefert Entscheidungsgrundlagen. Sie verleiht kein Gütesiegel und ersetzt keinen späteren Test mit echten Nutzern. Aber sie fängt Rückschritte ab. Im Januar 2024 schaltete der Paketdienst DPD den KI-Teil seines Kundenservice-Chatbots ab: Nach einem Systemupdate hatte er auf Wunsch eines Kunden geflucht und ein Gedicht darüber geschrieben, wie nutzlos DPD sei. 8 Ein paar freche Provokationen in der Sammlung hätten das nach dem Update gezeigt, bevor es ein Kunde tat.
Für dein eigenes Produkt
Wir wollen eine konkrete KI-Funktion meines Produkts verbessern. Nutze meinen aktuellen Stand und die beobachteten Fehler.
Halte zuerst wenige wiederholbare Fälle mit begründeten Erwartungen fest. Unterscheide benötigte Daten, Modellverhalten und sichtbares Ergebnis. Finde den Fehler, bevor du eine Änderung auswählst.