Mehrere Chats
Ein normaler Chatbot soll mehrere getrennte Gespräche haben können. Dafür speichert die Anwendung mehrere Verläufe. Jeder Chat besitzt seinen eigenen Verlauf und kann eigene Einstellungen haben.
Die Trennung der Gespräche ist Anwendungslogik, keine Eigenschaft des Sprachmodells. Ein neuer Chat erhält einen eigenen gespeicherten Verlauf. Beim Modellaufruf muss das Backend die Nachrichten des richtigen Chats auswählen. Sonst könnten Inhalte aus zwei Unterhaltungen unbeabsichtigt vermischt werden, im harmlosen Fall zwei Programmierfragen, im unangenehmen Fall die Daten zweier Kunden.
Das kannst du ausprobieren: Mit Neuer Chat beginnst du einen leeren Verlauf und schreibst nur „Mach die Funktion stattdessen in Python“. Die feste Demo fragt jetzt: „Welche Funktion soll ich in Python schreiben?“ Im Live-Modus wäre eine Rückfrage ebenfalls sinnvoll, aber das Modell könnte auch raten. Prüfen kannst du unabhängig von seiner Antwort, dass der andere Chat im gesendeten Request fehlt.
Die Gespräche liegen in unserem Beispiel nur im Arbeitsspeicher. Nach einem Neustart des Backends sind sie weg. Das Programm hat keine Kundenanmeldung und bleibt ein lokales Lernbeispiel.