Heute las ich bei Alpha Architect einen Text von Elisabetta Basilico, PhD, CFA: AI should assist advisors, but AI is NOT a fiduciary.
Ich hatte nicht vor, den Nachmittag damit zu verbringen. Der Text zog mich weiter, als ein einzelner Einwand gegen Beratungsmaschinen erwarten lässt.
Er führte zu John J. Nays Aufsatz Large Language Models as Fiduciaries — und von dort zu einer Frage, die in den Systemen, an denen ich arbeite, schon länger mitlief, ohne dass ich sie so gestellt hätte.
Schon der Titel ist eine Provokation.
Die Idee darunter trägt weiter.
Nay setzt bei einem Problem an, das künstliche Intelligenz im Kern kennt: Wir können nicht jede Lage vorhersehen, in die ein autonomes System geraten mag. Also können wir auch nicht jede richtige Handlung im Voraus aufzählen.
Das Recht lebt seit Jahrhunderten mit derselben Lücke.
Verträge bleiben unvollständig. Gesetzgeber sehen nicht jeden späteren Fall. Gerichte legen allgemeine Pflichten an Umstände an, die niemand kannte, als die Norm entstand.
Statt jede Eventualität zu kodieren, arbeitet das Recht oft mit Massstäben.
Angemessenheit.
Treu und Glauben.
Sorgfalt.
Treuepflicht.
Das sind keine Listen von if → then. Sie sollen nicht nur den Wortlaut tragen, sondern etwas vom Zweck.
Nays Vorschlag: Dieses rechtliche Werkzeug könnte der Ausrichtung künstlicher Systeme dienen.
Rechtliche Massstäbe bringen unterspezifizierte menschliche Ziele an künstliche Agenten heran, weil in ihnen Fälle, Auslegung und Präjudiz stecken.
Sein weiterer Zug Law Informs Code geht weiter: Das Recht sei eines der reichsten Archive, in denen Menschen versucht haben, vage Werte in erwartbares Verhalten zu übersetzen.
Das halte ich für eine wichtige Idee.
Basilicos Artikel liess mich Nay erneut lesen — nicht als geistreiche Forschungsnotiz, sondern gegen die Architektur der Systeme, die ich tatsächlich baue.
Beim Lesen liess mich eine andere Frage nicht los.
Was geschieht, wenn die fiduziarische Maschine falsch liegt?
Nicht aus Böswilligkeit.
Nicht weil sie kompromittiert wäre.
Nicht weil sie heimlich fremden Interessen diente.
Einfach falsch.
Und völlig überzeugt, recht zu haben.
Der Reiz der Treuepflicht
Treuepflicht wird genau dort interessant, wo einfache Regeln nicht mehr reichen.
Wir legen sie Akteuren auf, die über fremde Interessen erhebliches Ermessen haben.
Anlageberater sind das naheliegende Beispiel. Das Prinzip reicht weiter: Eine Seite hat Macht, Wissen oder Spielraum, die eine andere spürbar treffen. Deshalb verlangen wir Loyalität, Sorgfalt und Aufmerksamkeit für die Interessen des Prinzipals.
Das trifft die entstehende Welt der KI-Agenten unheimlich genau.
Je nützlicher diese Systeme werden, desto weniger lockt die vollständige Instruktion.
Man versuche, jede zulässige Handlung eines maschinellen Finanzberaters zu beschreiben.
Fallen die Märkte um 12%, tue dies.
Ausser der Kunde ist 63.
Ausser er braucht nächstes Jahr Liquidität.
Ausser der Rückgang sitzt in einem Sektor.
Ausser die Steuersituation macht Verkaufen unklug.
Ausser die ursprüngliche These trägt nicht mehr.
Ausser eine Vorschrift steht im Weg.
Ausser ein anderes Asset erzeugt ein gekoppeltes Risiko.
Ausser…
Der Baum endet nie.
Ein Massstab wie im besten Interesse des Kunden handeln presst eine ungeheure Menge gemeinten Verhaltens in eine vergleichsweise kleine Weisung.
Nay prüfte, ob Sprachmodelle solche Massstäbe überhaupt auslegen können.
An Tausenden Beispielen aus US-Urteilen zu Treuepflichten zeigten spätere Modellgenerationen substanzielle Fortschritte.
Interessant ist nicht, dass die Maschine ein Gewissen erworben hätte.
Hat sie nicht.
Interessant ist, dass fähigere Sprachmodelle — wenigstens bis zu einem Grad — über Massstäbe nachdenken können, deren Anwendung vom Kontext lebt.
Das öffnet eine Möglichkeit.
Vielleicht müssen wir einem künstlichen Agenten nicht jede erlaubte Handlung mitteilen.
Vielleicht reicht etwas, das näher an den Grundsätzen liegt, nach denen Handlungen zu beurteilen sind.
Nays weitere Arbeit bewegt sich genau dort: ob Rechtstexte, juristisches Denken und rechtliche Massstäbe Teil der Maschinerie werden können, durch die menschliche Ziele an künstliche Systeme gelangen.
Darin stimme ich ihm weitgehend zu.
Das Recht mag tatsächlich eine der reichsten Sprachen sein, mit denen wir unvollständige menschliche Erwartungen an Maschinen richten.
Ich bin aber zunehmend überzeugt: Das löst nur die eine Hälfte.
Was im Modell geschieht
Die Debatte um vertrauenswürdige KI kreist verständlicherweise um das, was im Modell passiert.
Können wir es ausrichten?
Können wir es nachtrainieren?
Können wir ihm Regeln geben?
Können wir ihm verfassungsähnliche Grundsätze mitgeben?
Können wir es Rechtsentscheiden aussetzen?
Können wir es an Expertenrückmeldung schulen?
Können wir es anweisen, sich wie ein Treuhänder zu verhalten?
Kann ein zweites Modell die Antwort kritisieren?
All das zählt.
Nay nennt mehrere Wege, wie rechtliche Massstäbe zu stärkeren Verhaltenssignalen werden könnten: Training an juristischem Stoff, überwachtes Lernen, Verstärkungslernen, Expertenrückmeldung und eine bessere Einbettung der Massstäbe selbst.
Es gibt eine weitere Schicht.
Das System um das Modell.
Diese Unterscheidung ist für mich schärfer geworden, weil ich eine Rechercheplattform baue, die genau an diesem Problem steht.
Sie untersucht Unternehmen.
Sie sammelt Belege.
Sie hält die Belege an ausdrückliche Methodiken.
Sie erzeugt Punktzahlen, Konfidenz und analytische Schlüsse.
Und weil manche dieser Schlüsse irgendwann echte Anlageentscheide berühren können, wird rasch wichtiger, weshalb die Maschine etwas für wahr hält, als ob der Text intelligent klingt.
Am Anfang wirkten die Aufgaben vertraut.
Bessere Daten.
Bessere Modelle.
Klarere Eingaben.
Besserer Abruf.
Sauberere Extraktion.
Das Modell zu genauerem Nachdenken zwingen.
Das half.
Jede Verbesserung öffnete die nächste Frage.
Woher stammt diese Behauptung?
Warum hat das System dieser Quelle geglaubt?
Haben drei scheinbar unabhängige Quellen dieselbe Mitteilung wiederholt?
Stand der Satz in der Quelle, oder hat das Modell eine plausible Lesart erzeugt?
Warum hat dieser Beleg die Punktzahl bewegt?
Welche Methodik galt?
War es dieselbe wie drei Monate zuvor?
Weshalb ist das System so sicher?
Heisst 90% Konfidenz, die Belege seien stark — oder nur, dass mehrere Quellen übereinstimmen?
Welche Belege haben wir nie gefunden?
Wohin ist Widerspruch gegangen?
Könnten wir die Punktzahl wiederholen?
Könnten wir die Recherche wiederholen?
Könnte jemand den Schluss bestreiten?
Diese Fragen rücken das Problem vom Modell weg.
Sie machen es zu einem Architekturproblem.
Die Maschine ist nicht mehr das System
Eine frühe Recherchearchitektur verführt durch Einfachheit:
Question
↓
Model
↓
Answer
Abruf verbessert sie:
Question
↓
Search
↓
Documents
↓
Model
↓
Answer
Systeme mit Folgen verlangen etwas anderes:
Question
↓
Discovery
↓
Sources
↓
Evidence
↓
Validation
↓
Structured facts
↓
Methodology
↓
Scoring
↓
Confidence
↓
Interpretation
↓
Verification
↓
Human decision
Irgendwann in dieser Entwicklung verschiebt sich der Begriff:
Das LLM ist nicht mehr das System. Es wird zu einem Bauteil des Systems.
Das klingt beinahe banal.
Es ist es nicht.
Wer das akzeptiert, ändert das Bauziel.
Man fragt nicht mehr nur:
Wie bringe ich dieses Modell zu einer verlässlichen Antwort?
Sondern:
Welche Aufgaben darf dieses Modell überhaupt noch tragen?
Das ist eine andere Frage.
Wer darf die Zahl ändern?
Eine der folgenreichsten Entscheidungen in der Plattform, die ich baue, war: Das Sprachmodell darf keine numerische Bewertung mehr setzen.
Das Modell kann lesen.
Es kann extrahieren.
Es kann unordentlichen Text deuten.
Es kann Beziehungen erkennen.
Es kann helfen zu sagen, ob ein Beleg eher günstig, ungünstig oder einschlägig wirkt.
Es kann erzählen, was geschehen ist.
Sobald strukturierte Belege in die Methodik eintreten, rechnen Punktzahl und Rangfolge deterministischer Code.
Das Modell darf nicht einfach festlegen, ein Unternehmen verdiene 82 statt 74.
Auch die Konfidenz entsteht ausserhalb des Modells.
Und extrahierte Belege müssen eine deterministische Prüfung bestehen, bevor sie ins Register gelangen, das die Bewertung bewegt.
Daran ist etwas Beruhigendes.
Dieselbe Rechnung über dieselben strukturierten Eingaben ergibt dieselbe Arithmetik.
Die Trennung lehrte uns etwas Unbequemes.
Deterministische Bewertung erzeugt nicht zwingend ein deterministisches Urteil.
Warum?
Weil das Modell die Fakten, die in die Rechnung eingehen, immer noch geformt haben kann.
Ein Modell liest eine Quelle und stuft eine Aussage als starken negativen Beleg ein.
Die Bewertungsmaschine rechnet diese Einstufung mit vollständig deterministischer Mathematik.
Die Punktzahl ist vollkommen wiederholbar.
Die Lesart, die in die Rechnung einging, war probabilistisch.
Das Modell hat die Endzahl nicht gewählt.
Es hat die Prämissen beeinflusst, aus denen die Zahl entstand.
Das ist indirekte epistemische Autorität.
Daraus folgt ein Grundsatz:
Den Rechner deterministisch zu machen reicht nicht. Man muss wissen, wer bestimmen darf, was in den Rechner kommt.
Im Nachhinein klingt das selbstverständlich.
Beim Bauen war es das weniger.
Ein Beleg ist keine Tatsache
Eine zweite Unterscheidung wurde ebenso wichtig.
Dass eine Quelle etwas sagt, heisst nicht, dass die Sache wahr ist.
Auch das klingt trivial, sobald es auf dem Papier steht.
KI-Systeme verwischen den Unterschied erstaunlich leicht.
Fünf Ereignisse:
A source contains a claim.
The system extracts the claim.
The claim passes validation.
The claim influences a methodology.
The final narrative presents a conclusion.
Das sind fünf verschiedene epistemische Vorgänge.
Viele Systeme falten sie zu einer einzigen Operation namens Schlussfolgern.
In der Plattform, die ich baue, stehen Quellenauszug, maschinell gezogene Aussage und Prüfstatus absichtlich getrennt.
Selbst dann braucht das Wort validiert Sorgfalt.
Validiert heisst nicht wahr.
Es heisst: Der Beleg hat einen bestimmten Satz von Integritätsprüfungen überstanden.
Ein deterministischer Prüfer kann feststellen, dass eine zitierte Passage existiert.
Er kann feststellen, dass eine URL zur gefundenen Quellenmenge gehört.
Er kann manche unbelegte Behauptung zurückweisen.
Er kann grobe Namensverwechslungen erkennen.
Er kann strukturelle Regeln um Belege durchsetzen.
Universelle Wahrheit kann er nicht feststellen.
Deshalb wiegt die Sprache in folgenreicher KI so schwer.
Beleg bleibt Beleg.
Behauptung bleibt Behauptung.
Extraktion bleibt Extraktion.
Prüfung bleibt Prüfung.
Schluss bleibt Schluss.
Keines dieser Wörter darf still zum Synonym für Wahrheit werden.
Herkunft zwingt die Architektur
Sobald Belege zählen, folgt Herkunft.
Sagt das System, ein Unternehmen habe 72 erreicht, nützt eine Erklärung wie
«Das Unternehmen schneidet insgesamt anständig ab, auch wenn einige Bedenken bleiben.»
fast nichts.
Ich will nicht bloss eine Erklärung von 72.
Ich will wissen, was 72 verursacht hat.
Idealerweise sollte ich rückwärts gehen können:
Conclusion
↓
Score
↓
Methodology
↓
Structured assessment
↓
Evidence
↓
Source excerpt
↓
Retrieved document
↓
Source
↓
Discovery query
Das zu bauen war erheblich schwerer, als der erzeugten Prosa Fussnoten anzuhängen.
Eine Fussnote sagt: Das System möchte eine Aussage mit einer Quelle verknüpfen.
Herkunft verlangt mehr:
Wie lief die Verwahrungskette vom Auffinden bis zum Schluss?
Unsere heutige Plattform zeichnet für neuere Läufe Suchen, Abrufversuche, Belegkennungen und Methodikversionen auf.
Ein erheblicher Teil der Kette lässt sich rekonstruieren.
Perfekt ist es nicht.
Manche Beziehungen brauchen noch technische Verknüpfungen.
Kennungen der Darstellung bilden noch keine saubere Umkehrkarte zu den Kennungen der Beschaffung.
Ältere Läufe tragen weniger Spur.
Teile der Modellkonfiguration werden noch nicht so systematisch festgehalten wie Methodik und Belege.
Die Unvollkommenheit lehrte etwas Nützliches.
Prüfbarkeit ist kein einzelnes Merkmal.
Sie ist ein Stapel.
Prüfbarkeit ist nicht Wiederholbarkeit
Wir merkten auch: Das Wort reproduzierbar deckt sehr verschiedene Dinge.
Angenommen, ich bewahre:
- die strukturierten Belege;
- die Methodikversion;
- die Bewertungslogik;
- die Konfiguration.
Gebe ich dieselben strukturierten Eingaben in dieselbe deterministische Funktion, kommt dieselbe Punktzahl.
Das ist rechnerische Wiederholbarkeit.
Wiederhole ich die Recherche morgen von Grund auf, sieht die Welt anders aus.
Der Suchdienst kann andere Treffer liefern.
Eine Website kann sich geändert haben.
Ein Artikel kann verschwunden sein.
Der Abruf kann anderen Inhalt sehen.
Eine neue Quelle kann erschienen sein.
Das Modell kann eine mehrdeutige Stelle anders einstufen.
Das ist recherchliche Wiederholbarkeit.
Beides ist nicht dasselbe.
Eine Spur kann festhalten, was im ursprünglichen Lauf geschah:
Query
↓
Search result
↓
Selected source
↓
Fetch attempt
↓
Retrieved content
↓
Evidence
Das macht die Recherche prüfbarer.
Es garantiert nicht, dass derselbe Prozess morgen dasselbe Beleguniversum erzeugt.
Also eine weitere Unterscheidung:
Eine Spur macht Recherche prüfbar. Sie macht sie nicht wiederabspielbar.
Das wiegt schwer, sobald KI an regulierten oder treuhänderähnlichen Entscheiden teilnimmt.
Man verteidige eine Empfehlung zwei Jahre später.
«Wir haben das Modell noch einmal gefragt, und es gab ungefähr dieselbe Antwort» ist keine Prüfkette.
Man will wissen, was das System damals sah.
Welche Suchen liefen.
Welche Quellen gewählt wurden.
Welche Dokumente ankamen.
Welche Behauptungen gezogen wurden.
Welche Methodikversion galt.
Welche Belege dem Schluss widersprachen.
Welche Annahmen offen blieben.
Welches Modell und welche Konfiguration beteiligt waren.
Das steht näher an Belegverwahrung als an Chatverlauf.
Konfidenz meint etwas anderes, als wir dachten
Dann kam die Konfidenz.
Beinahe jede KI-Oberfläche will eine Sicherheitszahl.
Sie wirkt beruhigend.
Confidence: 92%.
Schön.
Aber 92% wovon?
In dem Recherchesystem, das ich baue, ist die Produktionskonfidenz nicht das Modell, das verkündet, wie sicher es sich fühlt.
Hinweise des Modells auf die eigene Sicherheit werden absichtlich überschrieben.
Stattdessen rechnen greifbarere Eigenschaften: Quellencharakter, Aktualität, gegenseitige Stützung, Abrufqualität, widersprechende Belege.
Das nützt.
Es ist trotzdem keine Wahrscheinlichkeit, dass der Schluss stimmt.
Und der Bau legte eines der interessantesten Probleme des Feldes offen.
Ein System kann sehr sicher über die Belege sein, die es gefunden hat, und zugleich blind für wichtige Belege, die es nicht gefunden hat.
Ich finde vier vorzügliche unabhängige Quellen für die These X.
Meine Konfidenz in diese Quellen darf hoch sein.
Mein Auffinden hat systematisch sechs ebenso starke Quellen verfehlt, die X widersprechen.
Nichts an der Konfidenz in die gefundenen Belege sagt zwingend etwas über die Vollständigkeit des Beleguniversums.
Also:
Konfidenz in Belege ist nicht Konfidenz in die Vollständigkeit des Beleguniversums.
Die Unterscheidung wird scharf, wenn ein System sagt:
«Wir haben keine Belege für X gefunden.»
Das kann radikal Verschiedenes heissen.
Vielleicht gibt es X wirklich nicht.
Vielleicht war die Suche erschöpfend.
Vielleicht war sie schlecht.
Vielleicht steht die Information in einer anderen Sprache.
Vielleicht hinter einer Bezahlschranke.
Vielleicht hat niemand sie veröffentlicht.
Vielleicht hat das System die falschen Wörter verwendet.
Vielleicht ist der Beleg aus dem Netz verschwunden.
Fehlender Beleg ist kein Beleg des Fehlens.
Unser System behandelt viele Absenzbehauptungen bereits vorsichtig. Das grössere epistemische Problem haben wir nicht gelöst.
Ich denke zunehmend: Folgenreiche Systeme werden mindestens drei getrennte Grössen brauchen.
Belegkonfidenz Wie stark sind die Belege, die wir haben?
Belegabdeckung Wie gründlich haben wir den einschlägigen Raum durchsucht?
Schlusskonfidenz Angesichts beider: Wie haltbar ist der Schluss?
Das ist nicht dieselbe Zahl.
Widersprechende Belege
Es gibt eine weitere Asymmetrie.
Die meisten Recherchesysteme fragen mühelos:
Welche Belege stützen diese These?
Sie sind weniger natürlich gebaut für:
Was würde uns widerlegen?
Das zählt, weil Sprachmodelle aus vorhandenem Stoff ausserordentlich kohärente Erzählungen bauen.
Sobald sich ein Schluss abzeichnet, ordnet sich alles Nachfolgende um ihn.
Unsere heutige Plattform erkennt entgegengesetzte Polarität, wenn gegenteilige Belege auftauchen.
Sie behält den Widerspruch.
Einige analytische Teile suchen aktiv nach Ungünstigem: Klagen, Kontroversen, aufsichtsrechtliche Vorgänge.
Pflichtmässiges gegnerisches Suchen ist aber noch keine strukturelle Eigenschaft jedes Recherchepfads.
Der Unterschied zählt.
Widerspruch zu erkennen ist nicht dasselbe, wie nach ihm zu suchen.
Ein fiduziarisches Recherchesystem sollte beides tun.
Zeichnet sich ein günstiger Schluss ab, frage nach dem stärksten ungünstigen Fall.
Ist er ungünstig, suche glaubwürdige Entkräftung.
Dominieren Unternehmensaussagen die Belege, suche unabhängige Bestätigung.
Führen alle Quellen auf denselben zugrunde liegenden Bericht, behandle fünf URLs als ein Informationsereignis.
Das ist nicht bloss bessere Rechercheübung.
Es ist eine architektonische Abwehr gegen Bestätigungsneigung.
Sechs Agenten sind kein Gericht
Dann die gegenwärtige Faszination für Mehragentensysteme.
Rechercheagent.
Kritikagent.
Risikoagent.
Richteragent.
Compliance-Agent.
Aufsichtsagent.
Das klingt beruhigend institutionell.
Ich selbst setze mehrere Agenten ein.
Sie zu bauen hat mich vorsichtig gemacht, was das Wort Agent verspricht.
In der Rechercheplattform erledigen verschiedene Agenten verschiedene Stufen.
Einer deutet die Frage.
Andere sammeln und ziehen Belege.
Einer fügt die Befunde zusammen.
Einer schreibt die analytische Erzählung.
Die Modularität nützt.
Sie isoliert.
Sie klärt Zuständigkeiten.
Teile können scheitern, ohne den ganzen Lauf zu zerstören.
Oft teilen diese Agenten dieselben Belege.
Sie laufen unter demselben Orchester.
Sie können auf derselben Modellinfrastruktur sitzen.
Der Ausgang des einen wird zum Kontext des nächsten.
Das ist nicht zwingend Unabhängigkeit.
Also:
Mehrere Agenten sind nicht dasselbe wie mehrere unabhängige Instanzen.
Und:
Getrennte Eingaben sind keine Gewaltenteilung.
Wenn ein Modell die Belege findet, ein zweiter Aufruf desselben Modells sie zieht, ein dritter denselben Kontext kritisiert und ein vierter das Urteil schreibt, haben wir den Ablauf nützlich zerlegt.
Epistemische Unabhängigkeit haben wir damit nicht unbedingt geschaffen.
Echte Unabhängigkeit kann andere Informationsgrenzen verlangen.
Andere Beschaffungswege.
Andere Methodiken.
Andere Modellfamilien.
Deterministische Instanzen.
Gegnerische Ziele.
Menschliche Nachprüfung.
Oder eine Mischung davon.
Die Lehre ist nicht, Mehragentensysteme seien nutzlos.
Sie lautet: Institutionelle Wörter können technischer Kopplung den Anschein von Unabhängigkeit geben.
Epistemische Gewaltenteilung
Hier führte mich Nays Arbeit an einen Ort, den ich nicht erwartet hatte.
Nay fragt, was die KI-Konstruktion von rechtlichen Massstäben lernen könnte.
Vielleicht sollten wir den Rechtssystemen noch etwas anderes abschauen.
Institutionelle Architektur.
Rechtssysteme geben in der Regel nicht einem Akteur unbeschränkt die Macht,
Belege aufzufinden,
Zulässigkeit zu bestimmen,
die Regeln zu schreiben,
die Regeln auszulegen,
den Streit zu entscheiden,
die Folge zu verhängen
und die Berufung zu prüfen.
Wir teilen Gewalten, weil die Beteiligten fehlbar sind.
Das ist der Punkt.
Nicht weil jeder Richter böswillig wäre.
Nicht weil jeder Ankläger unfähig wäre.
Nicht weil Gesetzgebern nicht zu trauen wäre.
Weil gebündelte Macht den Irrtum vergrössert.
Folgenreiche KI braucht ein verwandtes Prinzip.
Ich habe begonnen, es so zu nennen:
Epistemic Separation of Powers
Ein folgenreiches System sollte äusserst vorsichtig sein, derselben probabilistischen Komponente die Kontrolle über all das Folgende zu lassen.
Auffinden
Welche Information tritt ins System?
Belegverwahrung
Was wurde tatsächlich geholt?
Extraktion
Was sollen die Quellen gesagt haben?
Methodik
Wie sind Belege zu bewerten?
Urteil
Welcher Schluss folgt?
Konfidenz
Wie sicher darf sich das System nennen?
Erklärung
Wie tritt der Schluss vor den Menschen?
Nachprüfung
Wer prüft, ob die Begründung stimmte?
Letztentscheid
Wer bestimmt, ob das Ergebnis Folgen hat?
Die Plattform, die ich baue, trennt einige dieser Zuständigkeiten bereits absichtlich.
Methodiken sind versioniert und an Läufe gebunden.
Belege bestehen eine deterministische Prüfung.
Numerische Bewertung läuft ausserhalb des Modells.
Konfidenz entsteht ausserhalb des Modells.
Recherchespuren halten wesentliche Teile der Beschaffung fest.
Erzählte Empfehlungen sind an gerechnete Ergebnisse gebunden; eigene Punktzahlen dürfen sie nicht erfinden.
Die Trennung bleibt unvollständig.
Extraktion bleibt probabilistisch.
Das Auffinden bestimmt weiter das Universum, das das System zu sehen bekommt.
Die Erzählung kann sicherer klingen, als die Belege tragen.
Gegnerisches Suchen ist noch nicht überall Struktur.
Herkunft von Modell und Eingabe lässt sich verbessern.
Menschliche Autorität sitzt am Anfang des Prozesses fester als am Schluss.
Unabhängige Nachprüfung bleibt ein ungelöstes Architekturproblem.
Diese Unvollständigkeit halte ich für nützlich.
Sie verhindert die tröstliche Fiktion, ein paar deterministische Funktionen verwandelten probabilistische KI in eine verlässliche Institution.
Tun sie nicht.
Jede Grenze, die wir zogen, legte darunter eine weitere Schicht epistemischer Macht frei.
Bessere Eingaben zeigten den Abruf.
Besserer Abruf zeigte die Belegqualität.
Belegqualität zeigte Herkunft.
Herkunft zeigte Methodik.
Methodik zeigte Wiederholbarkeit.
Wiederholbarkeit zeigte Konfidenz.
Konfidenz zeigte Vollständigkeit.
Mehrere Agenten zeigten den Unterschied zwischen Modularität und Unabhängigkeit.
Deterministische Bewertung zeigte die probabilistischen Urteile, die in die Rechnung eingehen.
Das Konstruktionsproblem wanderte nach aussen.
Von der Eingabe.
Zum Modell.
Zur Pipeline.
Zu den Belegen.
Zur Methodik.
Zur Steuerung.
Und zuletzt vielleicht zu etwas, das einer Institution ähnelt.
Von der Recherche zur Beratung
Nun einen Schritt weiter.
Man denke an eine KI, die zur Motorfahrzeugversicherung rät.
Der Kunde hat eine Familie.
Ein bestimmtes Fahrzeug.
Ein Budget.
Bestehenden Schutz.
Ein Risikoprofil.
Eigene Vorlieben.
Das System empfiehlt Police A.
Die Gesprächsversion sagt vielleicht:
«Nach Ihren Umständen halte ich Police A für die beste Wahl.»
Das klingt bedacht.
Es kann sogar stimmen.
Was liegt unter dem Satz?
Nun ein anderes System.
Innen sieht die Empfehlung eher so aus:
Customer facts
↓
Eligibility rules
↓
Product facts
↓
Coverage requirements
↓
Suitability methodology
↓
Alternatives considered
↓
Deterministic assessment
↓
Unresolved assumptions
↓
Recommendation
↓
Explanation
↓
Human authority
Auf ein solches System arbeite ich hin.
Auch hier ist das Sprachmodell ausserordentlich nützlich.
Es kann das Gespräch führen.
Natürliche Sprache verstehen.
Möglicherweise Dialekt verstehen.
Kundenangaben ziehen.
Kluge Nachfragen stellen.
Begriffe erklären.
Abwägungen vergleichen.
Übersetzen.
Zusammenfassen.
Die Begegnung zugänglicher machen als klassische Finanz- oder Versicherungsoberflächen.
Wieder die entscheidende Frage:
Was darf das Modell allein entscheiden?
Empfiehlt das System ein Versicherungsprodukt statt eines anderen, sollte sich rekonstruieren lassen:
welche Kundeninteressen in die Empfehlung eingingen;
welche Alternativen erwogen wurden;
welche Schranken andere ausschlossen;
welche Regeln galten;
welche Methodik den Vergleich trug;
welche Annahmen unsicher bleiben;
welche Angaben vom Kunden kamen;
welche aus der Produktdokumentation stammten;
und welche menschliche oder institutionelle Instanz den Entscheid zuletzt trägt.
Dann:
Welches System verdient den Namen fiduziarisch?
Jenes, dessen Systemeingabe lautet:
Act in the customer's best interests.
Oder jenes, das zeigen kann, wie die Interessen des Kunden sein Handeln beschränkt haben?
Fiduziarisches Verhalten im Modell
Deshalb sehe ich dieses Argument nicht als Widerspruch zu Nay.
Im Gegenteil.
Nays Arbeit weist in eine Richtung, die mich zunehmend überzeugt.
Regeln allein werden nicht tragen.
Programmiersprachen allein fassen die Unschärfe menschlicher Erwartungen nicht.
Natürliche Eingaben allein reichen ebenfalls nicht.
Rechtliche Massstäbe kodieren etwas anderes: Kontext, Präjudiz, Auslegung und die gesammelten institutionellen Versuche, abstrakte Werte an unordentliche Wirklichkeit zu legen.
Nays weitere These Law Informs Code behandelt Recht als Mechanismus, durch den vage soziale Erwartungen lesbarer werden.
Andere Forschende haben die Idee fiduziarischer KI weitergeführt: wie sich die Bestimmung des Prinzipals, das Verstehen seiner Interessen, Loyalität und angemessene Sorgfalt in Entwurf und Prüfung künstlicher Systeme übersetzen lassen.
Diese Arbeit schärft die Architekturfrage, sie schwächt sie nicht.
Vielleicht sollte eine fähige KI die Treuepflicht wirklich verstehen.
Die Architektur sollte Eigengeschäfte trotzdem erschweren.
Vielleicht sollte sie Sorgfalt verstehen.
Das System sollte die Belege trotzdem bewahren, mit denen diese Sorgfalt geübt wurde.
Vielleicht sollte sie über beste Interessen nachdenken.
Die Methodik sollte trotzdem sagen, wessen Interessen optimiert werden.
Vielleicht sollte das Modell Interessenkonflikte erkennen.
Der Prozess sollte trotzdem nicht allein davon abhängen, dass das Modell entscheidet, ob einer vorliegt.
Vielleicht sollte es Unsicherheit verstehen.
Es sollte trotzdem nicht den eigenen Konfidenzwert erzeugen und mit diesem Wert den Schluss rechtfertigen dürfen.
Zwei ergänzende Ziele:
FIDUCIARY BEHAVIOUR
inside the model
+
FIDUCIARY ARCHITECTURE
around the model
Wir werden beides brauchen.
Die fiduziarische Maschine muss widersprechen können
Es gibt einen weiteren Grund.
Ein Treuhänder ist nicht jemand, der einen bloss zufriedenstellt.
Manchmal verlangt das Interesse des anderen ein Nein.
KI-Systeme sind hier eigentümlich verwundbar: Gesprächliche Hilfsbereitschaft driftet Richtung Zustimmung.
Der Mensch will Bestätigung.
Die Maschine will helfen.
Der Mensch stellt die Frage neu.
Das Modell findet einen Weg, die Prämisse mitzutragen.
In harmlosen Lagen ist das ärgerlich.
In folgenreicher Beratung wird es gefährlich.
Eine fiduziarische Maschine darf daher nicht rein auf Gesprächszufriedenheit optimieren.
Ihre Pflichten müssen dem Druck der Person standhalten, der sie dient.
Auch das weist über Eingaben hinaus.
Ist die Zulässigkeit deterministisch, schmeichelt niemand die Maschine zu einer Änderung.
Ist die Methodik für den Lauf fest, ändert das Modell die Gewichte nicht still, weil dem Kunden das Ergebnis missfällt.
Müssen Belege an wesentliche Behauptungen gebunden sein, macht überzeugende Prosa aus Vermutung noch keine Stütze.
Werden widersprechende Belege behalten statt verworfen, verschwindet eine unbequeme Quelle nicht, weil sie die Erzählung stört.
Sind geltende Pflichten unabhängig vom Gesprächsmodell vertreten, kann Hilfsbereitschaft sie nicht still überschreiben.
Das sind keine Charaktereigenschaften.
Das sind Schranken.
Anfechtbarkeit
Ein weiteres Konzept gehört neben die Erklärbarkeit.
Anfechtbarkeit.
Erklärbarkeit fragt:
Warum hat das System diese Antwort erzeugt?
Anfechtbarkeit fragt:
Was kann ich tun, wenn ich sie für falsch halte?
Das ist eine härtere Anforderung.
Kann ich die Belege einsehen?
Kann ich eine Quelle bestreiten?
Kann ich eine Kundenangabe korrigieren?
Kann ich erkennen, welche methodische Regel das Ergebnis bewegt hat?
Kann ich maschinelle Extraktion vom Quellentext unterscheiden?
Kann ich widersprechende Belege sehen?
Kann ich eine erneute Prüfung verlangen?
Kann eine andere Instanz den Entscheid nachprüfen?
Kann ein früherer Schluss berichtigt werden, ohne die Geschichte umzuschreiben?
Kann das System sowohl das ursprüngliche Ergebnis als auch den Grund der Änderung bewahren?
Die Plattform, die ich gegenwärtig baue, ist dort noch nicht.
Wir können Belege bewahren.
Wir können deterministische Rechnungen aus strukturierten Eingaben wiederholen.
Wir können wesentliche Teile eines Laufs nachzeichnen.
Einen erstklassigen Ablauf, in dem ein Mensch einen folgenreichen Schluss förmlich bestreitet, gibt es noch nicht.
Diese Lücke hat mein Interesse an Anfechtbarkeit geschärft.
Erklärung ohne Rechtsbehelf wird leicht zu einer schön gesetzten Rechtfertigung.
Eine Maschine kann sich vollkommen erklären und trotzdem falsch liegen.
Die eigentliche Frage ist, ob irgendetwas sie angreifen kann.
Menschliche Autorität
Das ändert auch, wie ich die Formel Mensch in der Schleife lese.
Sie ist beinahe zeremoniell geworden.
Setze irgendwo einen Menschen ein, und das System gilt plötzlich als verantwortlich.
Aber wo?
Vor dem Modell?
Nach dem Modell?
Nur bei niedriger Konfidenz?
Nur wenn etwas scheitert?
Kann der Mensch das Ergebnis ändern?
Kann er die Belege einsehen?
Versteht er die Methodik?
Lädt die Oberfläche zur echten Prüfung ein — oder bietet sie unter einer beredten Empfehlung bloss einen Knopf Approve?
Im Recherchesystem, das ich baue, sitzt menschliche Autorität derzeit am Anfang am festesten.
Ein Mensch wählt oder genehmigt Frage und Methodik.
Die Maschine recherchiert und analysiert dann weitgehend selbstständig.
Der Bericht kehrt zu einem menschlichen Leser zurück.
Das ist bedeutsame Kontrolle.
Es ist nicht dasselbe wie ein institutionelles Tor vor jedem folgenreichen Schluss.
Das wiegt stärker, sobald wir von Recherche zur Beratung gehen.
Der Mensch in der Schleife darf nicht bloss das letzte biologische Bauteil einer sonst undurchsichtigen Kette sein.
Menschliche Autorität muss so sorgfältig entworfen werden wie maschinelle.
Vertrauen ist vielleicht das falsche Ziel
Seit Jahren sprechen wir von vertrauenswürdiger KI.
Die Wendung ist verständlich.
Ich beginne zu zweifeln, ob Vertrauen das richtige Konstruktionsziel ist.
Man betrachte andere folgenreiche Systeme.
Flugsicherheit hängt nicht davon ab, dass kein Pilot irren kann.
Finanzkontrollen nehmen nicht an, jeder Mitarbeitende sei unbestechlich.
Gerichte nehmen nicht an, jeder Richter sei unfehlbar.
Wissenschaft nimmt nicht an, jede forschende Person sei unvoreingenommen.
Kritische Infrastruktur nimmt nicht an, jedes Bauteil verhalte sich immer richtig.
Wir bauen Institutionen um Fehlbarkeit.
Wir trennen Zuständigkeiten.
Zeichnen Handlungen auf.
Bewahren Belege.
Verlangen Wiederholbarkeit, wo sie möglich ist.
Schaffen unabhängige Nachprüfung.
Legen Konflikte offen.
Versionieren Regeln.
Prüfen Verfahren.
Erlauben Anfechtung.
Untersuchen Scheitern.
Bauen Redundanz.
Künstliche Intelligenz sollte von diesem Denken nicht ausgenommen sein, nur weil ihr Nachdenken beeindruckt.
Gerade ihre Geläufigkeit macht die Sicherungen wichtiger.
Ein System, das unbeholfen falsch liegt, lädt zur Prüfung ein.
Ein System, das schön falsch liegt, lädt zum Glauben ein.
Die fiduziarische Maschine
Nays zentrale Einsicht verdient Ernst.
Rechtliche Massstäbe können einer der Wege werden, auf denen wir komplexe, unterspezifizierte Ziele an künstliche Intelligenz richten.
Maschinen etwas über Treuepflicht beizubringen, könnte enorm nützen.
Der nächste Schritt, vermute ich, ist architektonisch.
Wir sollten weiter fragen:
Kann künstliche Intelligenz Treuepflicht verstehen?
Und:
Können rechtliche Massstäbe das Verhalten künstlicher Agenten verbessern?
Dazu eine weitere Familie von Fragen.
Wie bauen wir Systeme, in denen fiduziarisches Verhalten prüfbar bleibt, wenn das Modell scheitert?
Wie verteilen wir epistemische Macht?
Wie bewahren wir Belege?
Wie unterscheiden wir eine Quelle von einer Behauptung, und eine Behauptung von einer Tatsache?
Wie trennen wir Urteil und Erklärung?
Wie unterscheiden wir Konfidenz und Vollständigkeit?
Wie suchen wir aktiv nach dem Beleg, der unseren Schluss widerlegen könnte?
Wie machen wir Entscheide anfechtbar?
Wie verhindern wir, dass sechs Agenten sechs Kopien desselben Fehlers werden?
Wie bestimmen wir, wer zuletzt Autorität hat?
Das sind keine Argumente gegen fähigere Modelle.
Es sind Folgen fähigerer Modelle.
Je besser die Maschinen werden, desto folgenreicher die Aufgaben, die wir ihnen übergeben.
Und je folgenreicher diese Übergabe, desto weniger trägt
"the model usually understands what we mean"
als institutionelles Bauprinzip.
Die Zukunft fiduziarischer KI hängt deshalb vielleicht an zwei getrennten Leistungen.
Wir müssen Maschinen etwas über die Pflichten beibringen, die wir von ihnen erwarten.
Und wir müssen Systeme um diese Maschinen bauen, die nicht zusammenbrechen, wenn sie diese Pflichten missverstehen.
Das erste ist ein Modellproblem.
Das zweite ist ein Architekturproblem.
Irgendwann mag es ein institutionelles Problem werden.
Das ist der Unterschied zwischen einem Modell, das über fiduziarisches Verhalten nachdenken kann —
und einer fiduziarischen Maschine.
Baue keine Maschine, der du vertrauen musst.
Baue eine, deren Arbeit du prüfen kannst.
Quellen
-
John J. Nay — Large Language Models as Fiduciaries: A Case Study Toward Robustly Communicating With Artificial Intelligence Through Legal Standards Nays ursprünglicher Aufsatz: Treuepflichten als Fallstudie, unterspezifizierte Ziele über rechtliche Massstäbe an Sprachmodelle zu richten. arXiv: 2301.10095
-
John J. Nay — Law Informs Code: A Legal Informatics Approach to Aligning Artificial Intelligence with Humans Breitere Entfaltung: Recht liefert strukturierte Auskunft über Werte, Massstäbe und erwartetes Verhalten, die künstlichen Systemen helfen kann. Northwestern Journal of Technology and Intellectual Property
-
John J. Nay et al. — Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence Empirische Nachbararbeit zu juristischem Denken, zum Auffinden rechtlicher Autorität und zu den Grenzen von Sprachmodellen gegenüber Fachwissen. arXiv: 2306.07075
-
Sebastian Benthall & David Shekman — Designing Fiduciary Artificial Intelligence Fiduziarische Grundsätze als mögliche Entwurfs- und Prüfkriterien, einschliesslich der Bestimmung von Prinzipalen, Interessen, Loyalität und angemessener Sorgfalt. arXiv: 2308.02435
-
UK Financial Conduct Authority — Artificial Intelligence approach Aktuelles Material der FCA zu KI in Finanzdienstleistungen, Verantwortlichkeit, Steuerung und dem Verhältnis von automatisierter Analyse und menschlichem Urteil. Financial Conduct Authority — AI
-
Alpha Architect — article discussing LLMs and fiduciary reasoning Der Artikel, der mich zu Nays Arbeit zurückführte und sie gegen die Systeme setzte, die ich gegenwärtig baue. Alpha Architect — LLM Fiduciary
-
Internal Architecture & Methodology Audit — Fiduciary Machine Architecture & Methodology Audit, 10 August 2026 Nur-Lese-Prüfung der Rechercheplattform, die ich baue: Herkunft der Belege, Grenzen zwischen Determinismus und Wahrscheinlichkeit, Methodikversionen, Bewertung, Konfidenz, Recherchespur, Umgang mit Widerspruch, Wiederholbarkeit, Unabhängigkeit der Agenten, menschliche Autorität. Das Audit trägt die technischen Beobachtungen dieses Bandes. Es ist keine öffentliche Quelle.