Mehrere Kunden schreiben gleichzeitig
Beim Bau meiner Chatbot-Plattform habe ich gelernt, dass ein Anbieter auch dann weitere Anfragen ablehnen kann, wenn noch Guthaben vorhanden ist. Deshalb testen wir nicht nur einzelne Nachrichten. Wir öffnen mehrere Chats und schicken daraus gleichzeitig Anfragen.
Einige werden beantwortet, andere kommen mit einem Fehler zurück:
429 · rate_limit_error
Wir haben mehr Anfragen geschickt, als unser Konto in dieser Zeit erlaubt. Der Anbieter begrenzt nicht nur die Ausgaben, sondern auch Anfragen und Tokens pro Minute. Jeder Kunde sieht seinen eigenen Chat; bei unserem Anbieter laufen die Anfragen aber über dasselbe API-Konto und zählen zum gemeinsamen Limit für die verwendete Modellklasse.
Für den Kundenbetrieb ergänzen wir deshalb eine Warte- und Verteilungslogik. Sie ist im kleinen Begleitprogramm noch nicht eingebaut: Abgelehnte Anfragen sollen erst nach der in retry-after angegebenen Zeit erneut gesendet werden; weitere Anfragen sollen sich verteilen, statt alle auf einmal loszulaufen. Danach prüfen wir mit mehreren Chats erneut, ob die Antworten durchkommen. Reicht das Limit für die erwartete Kundenzahl nicht, müssen wir vor der Veröffentlichung höhere Limits klären. Eine immer längere Warteschlange löst das nicht.
Auch die monatliche Ausgabenobergrenze der Anbieter-Stufe kann bei Anthropic einen 429-Fehler auslösen. Deshalb lesen