Textstellen kann ein Modell trotzdem fast wörtlich wiedergeben. Ein Nachschlagewerk mit Quellenangabe wird daraus nicht.
Damit ist Maras Satz schon halb erledigt. Selbst wenn eine frühere Fassung ihrer Website irgendwann in Trainingsdaten gelandet sein sollte: Das Modell kennt nicht den heutigen Bestand. Es weiß nicht, dass das zweite Headset seit Dienstag in Reparatur ist, und es hat keine einzige Reservierung gesehen. Training endet an einem Stichtag. Leihregal ändert sich jeden Tag.
Und die Websuche mancher Chat-Apps? Dann sucht die App für das Modell, mit einem Werkzeug wie in Kapitel 4. So findet es vielleicht die Katalogseite, aber keine Reservierung. Über die API sucht ein Modell nur, wenn deine Software ihm eine Suche anbietet.
Wie daraus eine Antwort entsteht
Ein Modell liest nicht wie du. Es zerlegt Text in Stücke, oft kleiner als Wörter: ganze Wörter, Wortteile, Satzzeichen. Diese Stücke heißen Tokens. Den Begriff solltest du dir merken, denn er begegnet dir überall, wo es um Preise und Grenzen geht: Anbieter rechnen in Tokens ab, und Ausgabelimits werden in Tokens angegeben.
Ein Tokenizer legt die Zerlegung fest. Dasselbe Wort kann je nach Modell und Schreibweise unterschiedlich zerlegt werden. Auch Leerzeichen können dazugehören. Deshalb sind Tokenzahl und Wortzahl verschieden. Lange stolperten bekannte Modelle über die Frage, wie viele r im englischen