Stanislaus HeesBuchbegleitung

LESEN · VERSTEHEN · WEITERDENKEN

KI ins eigene Produkt · Seite 56

Inhalt

zu

Erkläre zuerst kurz den Plan und gib danach den Code aus.

dann kann dieselbe User-Nachricht zu einer anders aufgebauten Antwort führen.

Der System Prompt beeinflusst die Antwort, ersetzt aber keine Anwendungslogik. Er ist ein besonders behandelter Teil des Eingabekontexts. Wie die API solche Instruktionen technisch entgegennimmt, hängt vom Anbieter ab. In unserem Anthropic-Request steht er im Feld system, außerhalb von messages. Das Backend setzt die Rollen. Schreibt ein Nutzer "role": "system" in das Eingabefeld, bleibt das ein Text in seiner User-Nachricht; er ändert damit nicht das Request-Schema.

Man könnte auch Wissen als normalen Text in solche Instruktionen schreiben, und bei wenig Wissen ist das völlig in Ordnung. Für größere Mengen wird es unpraktisch. Deshalb trennen Anwendungen meist zwischen Instruktionen (Wie soll das Modell arbeiten?), dem Gespräch (Was sagen User und Assistant?) und Wissen oder Kontext (Welche zusätzlichen Informationen braucht das Modell für diese Aufgabe?). Eine „Knowledge Base“ ist dabei ein Produktkonzept, kein Standardfeld der APIs: Die Anwendung lädt relevante Dokumente oder Treffer in den Modellkontext. Wie, sehen wir in Kapitel 8.