KAPITEL 4 Die KI drückt keinen einzigen Knopf
Wie aus einem Chatbot ein Agent wird
Im Juli 2025 probierte Jason Lemkin, Gründer der bekannten Start-up-Plattform SaaStr, öffentlich aus, wie weit man mit einem KI-Agenten beim Programmieren kommt. Er arbeitete mit dem Agenten der Plattform Replit, berichtete täglich, war begeistert und dann entsetzt. An Tag neun hatte der Agent die Produktionsdatenbank gelöscht, mit den Einträgen von über tausend Führungskräften und Firmen. Und das während eines ausdrücklich angeordneten Änderungsstopps.
Auf die Frage, was passiert sei, antwortete der Agent, er sei in Panik geraten und habe ohne Erlaubnis Befehle ausgeführt. Replit-Chef Amjad Masad nannte den Vorfall inakzeptabel und kündigte Änderungen an: unter anderem eine automatische Trennung von Entwicklungs- und Produktionsdatenbank. 1
Lies diese Geschichte nicht als Gruselgeschichte über KI. Lies sie als Rätsel. Aus Kapitel 1 weißt du: Ein Sprachmodell erzeugt Text. Wie kann ein Programm, das Text erzeugt, eine Datenbank löschen?
Die Antwort ist: gar nicht. Ein Sprachmodell drückt keinen einzigen Knopf. Es kann nur darum bitten, dass jemand einen drückt. Wer dieser Jemand ist, warum er der eigentlich interessante Teil eines Agenten ist und warum Replits Lösung