Mara tippt auf „Erneut versuchen“. Wäre das deine erste Idee gewesen?
Quellen und Hinweise
1. OpenAI, „Sycophancy in GPT-4o“, 29.04.2025, und „Expanding on what we missed with sycophancy“, 02.05.2025, https://openai.com/index/ expanding-on-sycophancy/; Zusammenfassung mit Zitaten bei Simon Willison, https://simonwillison.net/2025/May/2/what-we-missed-with-sycophancy/.
2. OpenAI, „Evaluation best practices“, https://developers.openai.com/api/ docs/guides/evaluation-best-practices (abgerufen am 19.10.2026). Produktbezogene Fälle, begründete Kriterien, Vergleich von Varianten und zurückgehaltene Daten; keine universelle Fallzahl.
3. Anthropic, „Demystifying evals for AI agents“, https:// www.anthropic.com/engineering/demystifying-evals-for-ai-agents (abgerufen am 19.10.2026). Unterscheidung von Testfall und wiederholtem Versuch sowie Bedeutung eines stabilen Ausgangszustands.
4. OpenAI, „Structured model outputs“, https://developers.openai.com/api/ docs/guides/structured-outputs. Ein eingehaltenes Ausgabeschema garantiert keine inhaltlich korrekte Antwort.
5. Anthropic, „Demystifying evals for AI agents“ (oben). Programmatische, modellgestützte und menschliche Bewertungen erfüllen unterschiedliche Aufgaben; Modellbewertungen müssen an menschlichen Urteilen geprüft werden.
6. Charles Goodhart, 1975; Marilyn Strathern, „Improving ratings: audit in the British University system“, European Review 5(3), 1997. Klarna, Pressemitteilung vom 27.02.2024, https://www.klarna.com/international/ press/klarna-ai-assistant-handles-two-thirds-of-customer-service-chats-in-its-first-month/; zur Neuausrichtung im Mai 2025 siehe etwa CX Today, https://cxtoday.com/klarna-grapples-with-ai-led-customer-service-pivots-to-an-uber-type-of-setup.