Abstürzen der Boeing 737 MAX in Indonesien im Oktober 2018 und in Äthiopien im März 2019 kamen 346 Menschen ums Leben. Die US-Luftfahrtbehörde stellte später fest, dass fehlerhafte Daten eines einzelnen Anstellwinkelsensors ein automatisches System ausgelöst hatten, das die Flugzeugnase wiederholt nach unten drückte. Zu den Änderungen gehörte, dass das System sich nicht mehr auf einen einzigen Sensor stützt und seine Eingriffe begrenzt sind. 4
Das System war keine KI, und Leihregal ist kein Flugzeug. Aber die Lehre gilt für jedes Produkt, das auf Messwerte reagiert: Eine automatische Wirkung, die sich auf einen einzigen ungeprüften Wert stützt und sich unbegrenzt wiederholen kann, ist eine Konstruktionsentscheidung, keine Unvermeidlichkeit.
Für die Fächer heißt das ganz bescheiden: Die KI darf aus Sensordaten, Reservierung und Uhrzeit einen Hinweis für Mara formulieren, mit allem, worauf er beruht. Sie darf keine Ursache behaupten, die niemand beobachtet hat, und sie löst keine Wirkung aus, die auf einer solchen Behauptung beruht.
Harte Grenzen gehören in die Steuerung
Was für den Schrank gilt, steht deshalb nicht im Prompt, sondern in der Steuerung und in Leihregals Runtime: Ein Code öffnet genau ein Fach. Es öffnen sich nie mehrere Fächer auf einmal. Ein Fach mit einer laufenden Störung öffnet sich nur nach Freigabe durch eine berechtigte Person. Unmittelbar vor dem Öffnen prüft die Steuerung erneut, ob Reservierung und Code noch gelten, auch wenn zwischen Anfrage und