klarer Fallback, ein Ersatzweg bei Ausfall. Niemand muss einen zweiten Anbieter einbauen, nur damit im Fehlerfall unbedingt ein Modell beteiligt bleibt.
Änderungen nachvollziehbar einführen
In den Tagen vor dem 1. August 2012 spielte der Wertpapierhändler Knight Capital neue Handelssoftware auf seine Server. Auf sieben von acht Servern. Auf dem achten lief alter Code weiter, und am Morgen des 1. August weckte ein wiederverwendeter Schalter dort eine längst stillgelegte Funktion. Vor Börsenbeginn verschickte das System 97 automatische Warnungen, die niemand beachtete. In etwa 45 Minuten führte Knight Millionen ungewollter Aufträge aus und verlor über 460 Millionen Dollar. Die US-Börsenaufsicht hielt später nüchtern fest, dass kein zweiter Techniker diese Auslieferung geprüft hatte. 8
Leihregal verliert keine 460 Millionen. Aber das Muster ist dasselbe. Nach einer Aktualisierung fällt im Jugendzentrum auf, dass Vorschläge wieder häufiger fehlende Steckdosen übersehen. Mara will wissen, was sich geändert hat. Neben Anwendungscode können Produktinstruktion, Modell, Suchweg oder Katalogaufbereitung das Verhalten beeinflusst haben. Die Entwicklungs-KI soll diese zusammengehörenden Stände nachvollziehbar festhalten, damit ein fehlerhafter Vorschlag dem tatsächlich verwendeten Stand zugeordnet werden kann. Gespeichert werden nur die zur Untersuchung nötigen Informationen; Zugangsdaten gehören nicht ins Fehlerprotokoll.