Wort „strawberry“ stecken. Ein naheliegender Grund: Sie sehen keine Buchstaben, sondern Wortstücke.
Alles, was das Modell bei einer Anfrage zu sehen bekommt, heißt Kontext: die Anfrage selbst, Anweisungen, zusätzliche Informationen und der bisherige Gesprächsverlauf, soweit die Anwendung ihn mitschickt. Daraus berechnet das Modell, wie wahrscheinlich jedes mögliche nächste Token ist. Eines davon wird ausgewählt und angehängt. Dann beginnt der nächste Schritt.
Der Hund läuft über die …
Mögliche Fortsetzung | Wahrscheinlichkeit Wiese | 35 % Straße | 20 % Brücke | 8 % Banane | 0,01 % Andere | 36,99 %
Erfundene Beispielwerte; die gezeigten Wörter zählen hier jeweils als ein Token.
Der Hund läuft über die Brücke …
Neues Token, neuer Kontext. Jedes angefügte Token beeinflusst die nächste Berechnung. Die gelernten Modellparameter bleiben dabei gleich. Eine Antwort entsteht also Wort für Wort, genauer: Stück für Stück, und jedes Stück verändert die Lage für das nächste.