Die Sprache der Welt
Bevor es um Technik geht, lohnt ein Blick auf das Material, aus dem ein Sprachmodell entsteht.
Menschen beschreiben in Sprache, was sie beobachten, erklären, erfinden und miteinander aushandeln. Vieles davon landet im Internet: Anleitungen und Streitgespräche, Lehrbücher und Rezepte, Programmcode, Gerichtsurteile, Fehlermeldungen, Liebesbriefe. Dieselbe Welt, aus zahllosen Blickwinkeln beschrieben.
Und jetzt kommt der Teil, der mich bis heute fasziniert. In all dieser Sprache stehen Wörter nicht zufällig nebeneinander. „Hund“ taucht in der Nähe von „bellen“, „Leine“ und „Tierarzt“ auf. „Rezept“ steht neben „Zutaten“ und in einer ganz anderen Gegend neben „Apotheke“. Jede Erklärung, jede Rechnung, jedes Gespräch hinterlässt solche Verbindungen. Einzeln sind sie banal. Nimm aber Billionen davon zusammen, und sie fangen an, sich gegenseitig zu stützen. Aus Verbindungen zwischen Wörtern werden Verbindungen zwischen Begriffen, aus Begriffen werden Regeln, aus Regeln werden Lösungswege. In genug Texten über einstürzende Brücken steckt etwas über Statik, auch wenn nie jemand ein Statiklehrbuch danebengelegt hat.
Ein Large Language Model, kurz LLM, ist ein mit riesigen Textsammlungen trainiertes Sprachmodell. Dazu gehören auch Internettexte. Dieselben Zusammenhänge erscheinen darin als Erklärung, Rechnung, Gespräch oder Code. Das Modell lernt, wie Begriffe, Regeln und Lösungswege ineinandergreifen, auch über Sprachgrenzen hinweg. Darauf baut seine Fähigkeit,