Eines der erfahrensten KI-Teams der Welt hatte also getestet, gemessen und verglichen. Seine Zahlen fanden genau das, wonach sie suchten; das Unbehagen der Tester, die mehr sahen, wurde überstimmt. Tests finden nur, was man prüft.
Vier Fälle, vier Erfolge
Mara hat vier Fälle getestet. Den Regenfall, den Hände-frei-Fall, die fehlende Anleitung und das belegte Headset. Alle vier sind gut gegangen. Dann schreibt ein Helfer „Ich will reden und dabei rumfuchteln“, und auf dem Bildschirm erscheint ein Handmikrofon.
„Aber es hat doch funktioniert“, sagt Mara.
Es hat bei diesen vier Formulierungen funktioniert. Ob es bei der fünften funktioniert, bei der zehnten oder nach der nächsten Änderung am Prompt, sagen vier gelungene Versuche nicht. Mara braucht etwas, das in der KI-Entwicklung Evaluation heißt, kurz Eval: eine Prüfung des Verhaltens an festgelegten Fällen und Kriterien.
Dafür braucht es am Anfang keine große Plattform. Eine kleine Sammlung nachvollziehbarer Versuche genügt, um die nächste Änderung begründet zu beurteilen. 2 Die Fehler und gewünschten Ergebnisse in diesem Kapitel sind weiterhin Lehrbeispiele; sie ersetzen keine Modelltests im eigenen Produkt.