Mehr ist es nicht. Leihregal hat sich Frage und Antwort gemerkt, nicht das Modell. Beim nächsten Brief legt Leihregal beides dazu, und plötzlich weiß das Modell, worauf sich „das“ bezieht. Es weiß es nicht, weil es sich erinnert. Es weiß es, weil es den bisherigen Verlauf gerade vor sich liegen hat.
Ein sichtbarer Chatverlauf ist noch kein Modellgedächtnis. Auf dem Bildschirm stehen die Nachrichten untereinander, weil die Anwendung sie dort anzeigt. Beim Modell kommen sie nur an, wenn die Anwendung sie bei jedem Aufruf wieder mitschickt oder eine Funktion des Anbieters nutzt, die diesen Verlauf für sie verwaltet.
Und jetzt verstehst du auch Bing. Wenn jede neue Nachricht den gesamten bisherigen Verlauf mitschleppt, wird der Brief mit jeder Runde dicker. Irgendwann ist er so dick, dass frühe Anweisungen zwischen Hunderten von Absätzen verschwinden, oder so dick, dass er nicht mehr in das Kontextfenster des Modells passt, die Höchstmenge an Tokens, die es pro Aufruf verarbeiten kann. Microsoft hat den Stapel einfach nach fünf Briefen abgeschnitten. Gute Anwendungen machen etwas Klügeres: Sie wählen aus, was für die nächste Antwort wirklich zählt, oder fassen ältere Teile zusammen.
Das kleinste Chatprogramm der Welt
Um das an echtem Code zu sehen, nehmen wir ein winziges Beispielprogramm. Es ist ein Programmierhelfer, ein einfacher Verwandter der Entwicklungs-KI, mit der Mara Leihregal gebaut hat. Wenn du ihn verstehst, verstehst du auch, was in