Menschen vertrauen Systemen nicht, weil diese innovativ sind.
Sie vertrauen ihnen, weil sie sich vorhersehbar verhalten.
Eine Zahlung wird verarbeitet.
Ein Dokument bleibt verfügbar.
Eine Berechnung lässt sich erklären.
Ein Zug kommt an.
Eine Nachricht erreicht die richtige Person.
Ein Operator kann feststellen, was geschehen ist, wenn etwas schiefgeht.
Vertrauen entsteht durch wiederholten, alltäglichen Erfolg.
Das ist unbequem für Technologie-Teams, weil Neuheit sichtbarer ist als Beständigkeit. Ein neues Feature lässt sich vorführen. Zuverlässigkeit fällt vor allem dann auf, wenn sie fehlt.
Doch operative Systeme werden weniger an ihren besten Momenten gemessen als an ihren schlechtesten.
Eine clevere Oberfläche gleicht keine verlorenen Daten aus.
Ein fortschrittliches KI-Modell gleicht keine nicht nachvollziehbaren Entscheidungen aus.
Automatisierung schafft kein Vertrauen, wenn niemand weiss, wie man eingreifen kann.
Vertrauenswürdige Systeme teilen ein paar Eigenschaften.
Sie kommunizieren ihre Grenzen.
Sie scheitern sichtbar statt lautlos.
Sie lassen sich bei wichtigen Aktionen überprüfen.
Sie führen nachvollziehbare Aufzeichnungen.
Sie geben Menschen echte Kontrolle.
Sie ändern grundlegendes Verhalten nicht ohne Vorwarnung.
Sie werden von Menschen getragen, die Verantwortung für den Betrieb übernehmen.
Das heisst nicht, dass jedes System langsam, konservativ oder veränderungsresistent sein muss.
Es heisst, dass Veränderung eingeführt werden muss, ohne das Vertrauen zu zerstören, auf dem das System beruht.
Künstliche Intelligenz macht das besonders wichtig. Probabilistische Systeme sind gerade deshalb nützlich, weil sie mit Mehrdeutigkeit umgehen können. Aber Mehrdeutigkeit im Modell darf nicht zu Mehrdeutigkeit über die Verantwortlichkeit werden.
Nutzerinnen und Nutzer sollten wissen, wann sie mit KI interagieren.
Operatorinnen und Operatoren sollten wissen, welche Version einen Output erzeugt hat.
Handlungen mit grosser Wirkung sollten angemessen überprüft werden.
Leistung sollte an realen Aufgaben gemessen werden, nicht nur an technischen Benchmarks.
Vorfälle sollten das System verbessern, statt in privaten Chat-Kanälen zu verschwinden.
Die stärksten Technologieprodukte fühlen sich irgendwann nicht mehr innovativ an.
Sie fühlen sich verlässlich an.
Das ist kein Verlust an Ambition. Es ist der Punkt, an dem aus Erfindung Infrastruktur wird.
Ein System verdient Vertrauen, wenn Menschen sich darauf verlassen können, ohne nachlässig zu werden, es verstehen können, ohne Expertinnen zu sein, und es hinterfragen können, ohne den Zugang zum Prozess zu verlieren.
Neuheit mag jemanden dazu bringen, ein System auszuprobieren.
Beständigkeit gibt einen Grund, es weiter zu nutzen.