Was im Training passiert
Wie lernt ein Programm solche Verbindungen, wenn niemand sie ihm erklärt? Durch ein Ratespiel, das unvorstellbar oft wiederholt wird.
Das Modell bekommt einen Text, bei dem das Ende verdeckt ist. Es schätzt, wie es weitergeht. Dann wird die Schätzung mit dem Original verglichen, und das Modell wird ein winziges Stück in Richtung der richtigen Fortsetzung verändert.
Im Training
1 Fortsetzung vorhersagen
2 Mit dem Original vergleichen
3 Parameter anpassen
Training verändert, wie das Modell Zusammenhänge verarbeitet. Dafür werden Zahlen in einem neuronalen Netz angepasst: einem System verbundener Rechenschritte. Diese Zahlen heißen Modellparameter. Große Modelle haben davon Milliarden. Meta gab für Llama 3 an, das Modell mit über 15 Billionen Wortstücken trainiert zu haben. 4 Niemand bringt dem Modell dabei Grammatik bei, niemand erklärt ihm Python. Es rät, wird korrigiert und rät wieder. Weitere Trainingsphasen richten es anschließend darauf aus, Anweisungen zu befolgen und hilfreich zu antworten.
Was dabei nicht entsteht, verrät mindestens so viel: eine Sammlung von Dokumenten, in der das Modell später nachschlägt. Am Ende bleiben die Parameter, Zahlen, die festlegen, wie das Modell Text weiterverarbeitet. Manche