für eine hallige Turnhalle, eine Vorführung mit mehreren gleichzeitig benötigten Geräten, eine Person, die die Anschlussbedingungen nicht kennt. Welche Auswahl jeweils richtig wäre, legt sie anhand des Testkatalogs fest, bevor bewertet wird.
Die Entwicklungs-KI darf beim Formulieren zusätzlicher Fälle helfen. Mara prüft aber, ob deren Voraussetzungen plausibel und deren Erwartungen begründet sind. Eine erfundene Testaufgabe darf keine erfundene Geräteeigenschaft zur Wahrheit erklären.
Solche zurückgehaltenen Fälle heißen Held-out-Fälle. Sobald ihre Ergebnisse wiederholt zur Verbesserung verwendet werden, verlieren sie diese Rolle, und es braucht neue. Der Grundsatz stammt aus dem maschinellen Lernen: Entwicklungsentscheidungen und abschließende Prüfung werden getrennt. 7
Eine Verbesserung kann einen anderen Fehler verdecken
Angenommen, die neue Fassung berücksichtigt fehlende Steckdosen besser, erklärt aber unbekannte Eigenschaften häufiger für ungeeignet. Ihre Auswahl sieht vorsichtiger aus und entfernt brauchbare Möglichkeiten ohne Grund. Mara will solche Verschiebungen sehen. Deshalb hält sie Auswahlqualität, Umgang mit fehlenden Angaben und Einhaltung der Softwaregrenzen getrennt fest. Eine einzige Durchschnittsnote würde den Unterschied verschlucken, so wie die guten Gesamtzahlen bei GPT-4o.