Ein Ausschnitt der eigenen Backend-Antwort an den Browser, also Brief 4:
{
"reply": "def add(a,",
"notice": "Das Ausgabelimit wurde erreicht. Die Antwort
kann unvollständig sein."
}
reply und notice sind Felder unserer Anwendung. Der Text in reply stammt aus der Modellantwort; den Hinweis in notice ergänzt unser Backend anhand des Stop-Grunds. Wir haben das Modell nicht gebeten, eine Warnung zu erzeugen, und keine neuen Felder in die Anbieter-API eingeführt. Soll das Modell selbst Kategorien oder andere strukturierte Informationen liefern, braucht das einen eigenen, vom Anbieter unterstützten Ausgabevertrag. Den lernst du in Kapitel 6 an einem echten Produkt kennen.
Für eine längere Antwort kannst du ein höheres Ausgabelimit wählen. Das ist etwas anderes als ein Guthabenproblem. max_tokens: 800 bedeutet weder 800 Wörter noch 800 Tokens für das gesamte Gespräch.
Auch der Eingabekontext ist begrenzt. Unser Beispiel stoppt sehr lange Gespräche mit einem sichtbaren Hinweis, statt heimlich ältere Nachrichten zu löschen. Diese eigene Demo-Grenze ist nicht das Kontextfenster des Modells. Ein späteres Produkt muss entscheiden, welche älteren Informationen für die nächste Aufgabe relevant bleiben. Microsoft hat 2023 abgeschnitten. Du kannst es besser.