Les gens ne font pas confiance aux systèmes parce que ces systèmes sont innovants.
Ils leur font confiance parce qu’ils se comportent de façon prévisible.
Un paiement est traité.
Un document reste disponible.
Un calcul peut être expliqué.
Un train arrive.
Un message atteint la bonne personne.
Un opérateur peut déterminer ce qui s’est passé lorsque quelque chose tourne mal.
La confiance s’accumule par un succès répété et ordinaire.
C’est inconfortable pour les équipes technologiques parce que la nouveauté est plus visible que la cohérence. Une nouvelle fonctionnalité peut être démontrée. La fiabilité se remarque surtout lorsqu’elle disparaît.
Mais les systèmes opérationnels sont jugés moins à leurs meilleurs moments qu’à leurs pires.
Une interface intelligente ne compense pas des données perdues.
Un modèle d’IA avancé ne compense pas des décisions non traçables.
L’automatisation ne crée pas de confiance lorsque personne ne sait comment intervenir.
Les systèmes dignes de confiance partagent quelques caractéristiques.
Ils communiquent leurs limites.
Ils échouent de façon visible plutôt que silencieuse.
Ils permettent de revoir les actions importantes.
Ils maintiennent des enregistrements compréhensibles.
Ils offrent aux humains un contrôle significatif.
Ils ne changent pas de comportement fondamental sans avertissement.
Ils sont soutenus par des personnes qui acceptent la responsabilité de les faire fonctionner.
Cela ne signifie pas que chaque système doive être lent, conservateur ou résistant au changement.
Cela signifie que le changement doit être introduit sans détruire la confiance dont le système dépend.
L’intelligence artificielle rend cela particulièrement important. Les systèmes probabilistes peuvent être utiles précisément parce qu’ils gèrent l’ambiguïté. Mais l’ambiguïté à l’intérieur du modèle ne doit pas devenir une ambiguïté sur la responsabilité.
Les utilisateurs devraient comprendre lorsqu’ils interagissent avec de l’IA.
Les opérateurs devraient savoir quelle version a produit une sortie.
Les actions à fort impact devraient faire l’objet d’une revue appropriée.
La performance devrait être mesurée par rapport à des tâches réelles, pas seulement à des benchmarks techniques.
Les incidents devraient améliorer le système plutôt que disparaître dans des canaux de discussion privés.
Les produits technologiques les plus solides finissent par cesser de sembler innovants.
Ils semblent fiables.
Ce n’est pas une perte d’ambition. C’est le point où l’invention devient infrastructure.
Un système gagne la confiance lorsque les gens peuvent s’y fier sans devenir négligents, le comprendre sans devenir experts, et le remettre en question sans perdre l’accès au processus.
La nouveauté peut persuader quelqu’un d’essayer un système.
La cohérence leur donne une raison de continuer à l’utiliser.