Vertrauen in Technik entsteht nicht, weil etwas neu ist.
Es entsteht, weil man mit dem System rechnen kann.
Nicht bei der Premiere. Im Alltag.
Die Zahlung geht durch. Das Dokument ist am nächsten Morgen noch da. Eine Berechnung lässt sich einem Dritten erklären. Der Zug hält. Die Nachricht erreicht, wer sie erreichen soll. Und wenn etwas schiefläuft, kann jemand im Betrieb feststellen, was geschehen ist — nicht erst nach Tagen, nicht erst nach einer stillen Suche.
Genau daraus sammelt sich Vertrauen: aus Erfolg, der unspektakulär bleibt, weil er sich wiederholt.
Für Teams, die Systeme bauen, ist das unbequem. Das Neue lässt sich vorführen. Beständigkeit fällt vor allem auf, wenn sie fehlt. Die Vorführung belohnt das Auffällige. Der Betrieb belohnt das, was nicht auffällt.
Operative Systeme werden deshalb nicht an ihren besten Momenten gemessen. Sie werden an ihren schlechtesten gemessen.
Eine elegante Oberfläche macht verlorene Daten nicht wett.
Ein fähiges Modell macht eine Entscheidung nicht nachvollziehbar, wenn niemand den Weg dorthin rekonstruieren kann.
Automatisierung schafft kein Vertrauen, solange unklar bleibt, wie ein Mensch eingreifen soll.
Systeme, denen man vertrauen kann, haben eher eine Haltung als eine einzelne Eigenschaft.
Sie sagen, wo ihre Grenze liegt.
Sie versagen so, dass man es merkt — nicht so, dass sie still weitermachen.
Wichtige Handlungen lassen sich prüfen.
Aufzeichnungen bleiben lesbar, nicht nur vorhanden.
Menschen behalten eine Kontrolle, die etwas bedeutet: anhalten, rückgängig machen, nachfragen.
Grundlegendes Verhalten ändert sich nicht über Nacht, ohne dass jemand gewarnt wurde.
Und es gibt Personen, die den Betrieb verantworten — nicht bloss eine Zuständigkeit auf dem Papier.
Das heisst nicht, jedes System müsse langsam, ängstlich oder gegen Änderung gebaut sein.
Es heisst: Änderung darf das Vertrauen nicht zerstören, von dem das System lebt.
Bei künstlicher Intelligenz wird das schärfer. Probabilistische Systeme sind gerade deshalb nützlich, weil sie mit Unschärfe umgehen. Unschärfe im Modell darf aber nicht zur Unschärfe über die Verantwortung werden.
Wer das System nutzt, soll merken, wann er mit einer Maschine spricht, die schätzt, und wann mit einer, die feststellt.
Wer es betreibt, soll wissen, welche Fassung ein Ergebnis erzeugt hat.
Handlungen mit grosser Wirkung brauchen eine Prüfung, die zur Wirkung passt.
Leistung misst man an den Aufgaben, für die das System steht — nicht nur an Laborvergleichen.
Vorfälle sollen das System verbessern. Sie dürfen nicht in privaten Unterhaltungen versickern.
Die stärksten technischen Produkte hören irgendwann auf, sich neu anzufühlen.
Sie fühlen sich selbstverständlich an.
Das ist kein Verlust an Ehrgeiz. Es ist der Punkt, an dem Erfindung zur Infrastruktur wird.
Ein System verdient Vertrauen, wenn man sich darauf verlassen kann, ohne unvorsichtig zu werden; wenn man es versteht, ohne Fachperson zu sein; und wenn man es bestreiten kann, ohne den Zugang zum Vorgang zu verlieren.
Das Neue kann jemanden überreden, ein System einmal zu versuchen.
Was sich wiederholt, gibt einen Grund, dabei zu bleiben.