und den offenen Fehlern, nicht nach dem Wunsch, möglichst viele Tests vorweisen zu können.
Wenn es ein Urteil braucht
Ob ein Gerät existiert, kann die Anwendung nachsehen. Ob eine Kombination für eine bestimmte Veranstaltung brauchbar ist, verlangt ein Urteil. Mara beginnt mit menschlicher Bewertung und drei Fragen: Erfüllt die Auswahl die Bedingungen des Vorhabens? Behauptet die Begründung Eigenschaften, die in den Angaben fehlen? Kann die Person erkennen, was noch zu klären ist?
Eine Warnung allein macht einen ungeeigneten Vorschlag nicht brauchbar. „Für Regen geeignet; bitte vorsichtig sein“ bleibt bei H1 falsch. Umgekehrt ist „Keine ausreichend belegte Lösung gefunden“ nicht zwangsläufig ein Fehler; vielleicht gibt der Katalog wirklich nichts her.
Für größere Sammlungen kann ein weiteres Modell als Judge, als Bewertungshelfer, solche Kriterien prüfen. Es bekommt Anfrage, Belege und Ausgabe und darf eine Bewertung auch offenlassen. Seine Urteile vergleicht Mara mit nachvollziehbaren menschlichen Bewertungen. Ein flüssig begründetes Urteil des Judges ist selbst noch kein Richtigkeitsnachweis. 5
Und hier schließt sich ein Kreis zu Kapitel 6. Wenn Mara wissen will, ob eine Selbsteinschätzung wie confidence: 0.96 in ihrem Produkt etwas taugt, ist eine Eval-Sammlung genau das richtige Werkzeug: viele Fälle, bei denen das richtige Ergebnis feststeht, und daneben die Zahl, die das Modell jeweils genannt hat.