Stimmen Antworten mit 0.96 ungefähr 96-mal von hundert, und solche mit 0.6 deutlich seltener? Erst dann darf die Zahl als Wahrscheinlichkeit gelten.
Wenn die Kennzahl zum Ziel wird
1975 formulierte der britische Ökonom Charles Goodhart eine Beobachtung über Geldpolitik, die seitdem in fast jedem Fachgebiet wiederentdeckt wurde. In der bekanntesten Fassung der Anthropologin Marilyn Strathern lautet sie: Wenn eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein.
Die Daumen-hoch-Bewertungen bei GPT-4o waren eine solche Kennzahl. Sie messen, ob eine Antwort gefällt. Als das Training sie stärker belohnte, lernte das Modell zu gefallen. Ähnliches erlebte der Zahlungsdienst Klarna. Anfang 2024 meldete er, sein KI-Assistent erledige zwei Drittel der Kundenchats, die Arbeit von 700 Vollzeitkräften. Im Mai 2025 räumte der Konzernchef ein, man habe die Kosten zu sehr in den Mittelpunkt gestellt, und die Qualität habe gelitten. Kunden sollten künftig immer einen Menschen erreichen können. 6
Gute Evals messen deshalb nie nur eine Zahl.
Bisher unbekannte Fälle
Wenn Mara den Auswahlauftrag immer an denselben sieben Fällen verbessert, kann die Lösung genau auf diese Fälle zugeschnitten werden. Sie hält deshalb zusätzliche realistische Fälle zurück und verwendet sie erst für einen späteren Vergleich. Diese Fälle sollen neue Situationen abdecken, nicht dieselben Sätze mit anderen Adjektiven: einen Lautsprecher