Mara schreibt also nicht „Du darfst nichts löschen“ in den Prompt und hofft. Sie entscheidet, welche Werkzeuge es überhaupt gibt, in welchem Ordner sie arbeiten, welche Aktionen eine Freigabe brauchen und was die Runtime grundsätzlich ablehnt. Den Prompt nutzt sie für das, wofür er gut ist: Ziel, Arbeitsweise und Abschluss zu beschreiben.
Für ihren Übungsordner sagt sie das ihrer Entwicklungs-KI so:
Unser Agent darf in price-demo Dateien lesen, gezielt ändern und die Tests ausführen. Er darf nichts außerhalb dieses Ordners ändern, keine Netzwerkzugriffe starten und keine Daten löschen; setze diese Grenzen technisch in der Ausführung durch, nicht nur im Prompt. Zeig mir, was passiert, wenn das Modell trotzdem einen verbotenen Befehl anfordert.
Mara will nicht hören, dass die Grenze existiert. Sie will sehen, dass der Spielleiter Nein sagt.
Ein paar Tage später hat ihr Agent fünf Werkzeuge, eine Projektdatei mit Regeln und eine wachsende Liste von Sonderfällen im Prompt. Dann eine Regel für Rundungen. Eine für Tests. Eine, dass er nachfragen soll, bevor er etwas ändert. Eine, dass er nicht zu oft nachfragen soll. Der Prompt ist inzwischen drei Seiten lang, und mit jeder neuen Regel arbeitet der Agent zögerlicher.
Mara macht gerade einen Fehler, den ich selbst oft gemacht habe. Er sieht aus wie Sorgfalt.