Die Zahl 0.96
Zurück zu Maras Satz. 96 Prozent sicher, die Antwort stimmt also mit 96 Prozent Wahrscheinlichkeit?
Schau dir an, woher die Zahl kommt. Der Arbeitsauftrag in Anfrage 1 verlangt ein Feld confidence mit einem Wert zwischen 0 und 1. Das Modell hat die Zahl geschrieben, weil wir darum gebeten haben, und sie erzeugt wie jedes andere Token: als wahrscheinliche Fortsetzung. Niemand hat gezählt, wie oft Antworten mit 0.96 tatsächlich stimmen. confidence ist hier eine verlangte Selbsteinschätzung des Modells, keine nachgewiesene Wahrscheinlichkeit für eine richtige Antwort.
Dass das mehr als Spitzfindigkeit ist, hat OpenAI selbst gemessen. Im technischen Bericht zu GPT-4 zeigte das Unternehmen 2023: Beim rein vortrainierten Modell passten die internen Wahrscheinlichkeiten für eine Antwort gut zur tatsächlichen Trefferquote. Nach dem weiteren Training, das das Modell hilfsbereit und angenehm im Gespräch macht, passten sie deutlich schlechter. 2 Eine Zahl, die das Modell als Text in ein Feld schreibt, ist davon noch eine Stufe weiter entfernt. Ein Modell, das freundlich und sicher klingt, ist nicht automatisch eines, dessen Sicherheit etwas bedeutet.
Ebenso ist legal_assessment ein modellseitiger Hinweis, keine rechtliche Freigabe: Das Modell schätzt ein, ob eine Antwort heikel sein könnte, etwa weil sie nach einer Zusage klingt. Wird is_potentially_problematic auf true gesetzt, kann das Widget einen gesonderten Hinweisbereich anzeigen. Das Modell liefert den Wert; das Frontend setzt die dafür programmierte Darstellung um. Im gezeigten Ablauf steht der Wert auf false.