Zum Hauptinhalt springen

Deterministische Beurteilung in der KI-gestützten Investmentforschung

Warum Modelle Belege sammeln dürfen, die folgenreiche Bewertung aber in nachvollziehbarer Software bleiben muss.

Abstract editorial split scene: warm research desk with binders and highlighted source passages flowing into a cool deterministic rules bench with balance scale, ledger and inspectable formula board
  • Modelle beschaffen Belege; die Entscheidungsregel bleibt reproduzierbar und getrennt.
  • KI beschleunigt das Lesen, darf aber nicht still zur Anlagebeurteilung werden.
  • Gleiche Eingaben unter derselben Regel führen denselben Entscheidungsweg.
  • Annahmen, Schwellen und Overrides ins Protokoll — sonst unauditierbares Theater.
  • Governance der Recherchewerkzeuge gehört zur treuhänderischen Qualität.
Was heisst deterministische Beurteilung hier?

Ein reproduzierbarer Entscheidungsweg: bei gleichem Belegpaket und gleicher Regel liefert die Empfehlungslogik dasselbe Ergebnis. Probabilistische Modelle dürfen Belege zuliefern. Sie ersetzen die geregelte Bewertung nicht.

Wo sitzen generative Modelle in der Kette?

Vor der Bewertung — beim Ausziehen, Ordnen und Sichtbarmachen von Belegen unter Prüfung. Die Entscheidungsrechte danach bleiben bei ausdrücklichen Kriterien und zurechenbaren Menschen.

Was zerstört Prüfbarkeit zuerst?

Ungeloggt gelassene Eingabeaufforderungen, wechselnde Modellversionen ohne Vergleichsbasis, und Overrides, die nie in den Entscheidungsnachweis eingehen.

Wo Sprachmodelle vor Ergebnisse gestellt werden, auf die Menschen später handeln — Klassifikationen, Punktzahlen, Ranglisten —, wiederholt sich ein architektonisches Muster. Forschungssysteme müssen grosse Mengen unstrukturierter Belege in eine Form bringen, die als Entscheidung taugt.

Grosse Sprachmodelle finden, ziehen aus, ordnen und deuten. Eine abschliessende Bewertung zu tragen, liegt ihnen weniger. Wer ein Modell um eine Antwort bittet, erhält in der Regel eine: mit Vorbehalten, mit Zitaten, aber generiert. Das Modell setzt eine plausible Analyse fort. Ob die Beleglage eine Schlussfolgerung überhaupt trägt, prüft es nicht.

Das Muster, um das es hier geht, trennt genau das. Modelle helfen beim Finden, Ausziehen, Ordnen und Deuten. Klassifikation, Punktzahl und Rang, die Folgen haben, erzeugt prüfbare, reproduzierbare Software. Eine prüfende Person kann sie unabhängig vom Modell, das die Belege zusammengetragen hat, erneut laufen lassen, nachvollziehen und angreifen.

In Umsetzungen kehren fünf Grundsätze wieder:

  1. Auszug und Bewertung sind getrennte Funktionen, möglichst in getrennten Komponenten;
  2. fehlende, widersprüchliche und unzureichende Belege bleiben eigene, sichtbare Ergebnisse — sie werden nicht weichgezeichnet;
  3. jede Aussage, die in eine Entscheidung eingeht, führt auf einen wieder einsehbaren Quellenauszug zurück;
  4. fachliche Kriterien stehen als prüfbare Regeln, nicht als Ermessen im Modell;
  5. statistische und Leistungsbegriffe beschreiben, was das System tut, nicht was man sich von ihm erhofft.

Keiner dieser Sätze ist für sich spektakulär. Dokumentationswürdig ist die Disziplin, sie beim Wachsen des Systems getrennt zu halten — und ehrlich zu bleiben, was Determinismus dann leistet und was nicht.


1. Das architektonische Problem

Sprachmodelle verarbeiten zunehmend genau das Material, auf dem entscheidungsrelevante Recherche beruht: Einreichungen, Offenlegungen, Nachrichten, regulatorische Mitteilungen, unstrukturierte Webinhalte. Der Nutzen ist real. Sie finden relevante Passagen, übersetzen Fragen in Rechercheaufgaben, ordnen heterogene Belege und fassen Textmengen zusammen, die von Hand erschöpfend zu lesen unpraktikabel wäre.

Die Schwierigkeit beginnt, sobald dieselben Fähigkeiten von der Informationsverarbeitung in die Bewertung rutschen. Dann lautet die Frage nicht mehr, ob das System eine Rangliste erzeugen kann. Sie lautet, ob die Rangliste unter einer Methodik entsteht, die kontrolliert ist und sich hinterher prüfen lässt.

Beide Fragen vermischt man leicht, weil ein Sprachmodell beide beantwortet. Es fasst Belege zusammen. Es vergibt, danach gefragt, auch eine Punktzahl oder einen Rang. Die Ausgabe sagt nicht, welche der beiden Operationen gerade lief — und schon gar nicht, wie wiederholbar die zweite wäre, läge dieselbe Beleglage morgen anders sortiert und anders formuliert wieder vor.

Die architektonische Antwort zieht die Grenze ins System, statt sie in einer Eingabeaufforderung zu belassen. Finden, Ausziehen, Ordnen und Deuten bleiben generative, modellgestützte Arbeit. Klassifikation, Bewertung und Rangordnung sind deterministische Berechnung über einen strukturierten, geprüften Datensatz: ohne Modellaufruf zur Laufzeit, bei gleicher Eingabe immer mit gleicher Ausgabe.


2. Eine Trennung von Verantwortlichkeiten

Der Verarbeitungsweg lässt sich so fassen:

Forschungsfrage → strukturierte Signale → Belege → Prüfung → Konfidenz → deterministische Punktzahl → Rangordnung → Bericht

Jede Stufe hat eine eigene Zuständigkeit. Ein Planungsschritt macht aus der Forschungsfrage gewichtete analytische Signale. Beschaffungs- und Auszugsagenten bauen ein Profil des Untersuchungsobjekts, sammeln eine erste Belegmenge und suchen gezielt nach, wo die Abdeckung dünn bleibt. Eine Konsolidierung führt die Mengen zusammen, markiert Widersprüche und schätzt je Element die Konfidenz. Hier endet der sprachmodellgestützte Teil.

Was folgt — Klassifikation, Bewertung, Normalisierung, Rangordnung — rechnen deterministische Dienste. Sie nehmen den strukturierten, geprüften Belegdatensatz und wenden feste Regeln darauf an.

Die Trennung zählt, weil Auszugsfehler und Bewertungsfehler andere Ursachen haben. Sie müssen unabhängig sichtbar bleiben.

Ein Auszugsfehler zeigt sich etwa so:

  • eine Quelle fehlt, die das Bild wesentlich verändert;
  • eine Aussage wird dem falschen Untersuchungsobjekt zugeordnet;
  • eine Passage wird falsch gelesen, samt Einschränkungen und Geltungsbereich;
  • widersprüchliche Belege werden verworfen statt abgeglichen;
  • ein Suchausschnitt gilt als vollständige Quelle.

Ein Rangfehler zeigt sich etwa so:

  • das Volumen der Belege zählt stärker als ihre Qualität;
  • Gewichte spiegeln die beabsichtigten Prioritäten nicht mehr;
  • entgegengesetzte Signale heben sich so auf, dass Uneinigkeit unsichtbar wird;
  • die Normalisierung schwankt zwischen Vergleichsläufen;
  • Straf- oder Sperrregeln greifen falsch oder ungleich;
  • die Vergleichsgruppe ist in Wahrheit nicht vergleichbar.

Laufen Auszug und Rangordnung in einem einzigen generativen Schritt, verschwimmen beide Fehlerklassen. Ein schlechter Rang und ein falscher Fakt sehen von aussen gleich aus. Deterministische Rangordnung garantiert für sich keine richtige Antwort. Sie garantiert, dass dieselben strukturierten Eingaben dieselbe Ausgabe erzeugen. Erst das macht Regressionstests, methodische Prüfung und nachträgliches Audit möglich.


3. Evidenz als typisierter Datensatz

Ein Zitat ist noch kein Beleg. Suchausschnitte lassen Kontext weg. Schlagzeilen vereinfachen oder übertreiben. Seiten hinter einer Bezahlschranke können auffindbar sein, ohne einsehbar zu sein. Der Name eines Untersuchungsobjekts kann auf einer generischen Register- oder Verzeichnisseite stehen, ohne dass die Seite etwas Substanzielles über dieses Objekt sagt.

Damit das Zitat nicht zum blossen Zuverlässigkeitssymbol wird, führt das Muster jedes Stück Beleg als typisierten Datensatz mit einer offenen Kette:

Aussage → Evidenzsatz → Quellenauszug → Quelle

Eine Aussage ist eine diskrete, überprüfbare Feststellung. Der Evidenzsatz knüpft sie an den Auszug, der sie trägt, und hält fest, wie der Auszug beschafft und geprüft wurde. Eine zitierte URL muss zu den tatsächlich abgerufenen Quellen gehören. Der Auszug muss im abgerufenen Inhalt selbst liegen, nicht aus einem Suchausschnitt oder einer Schlagzeile rekonstruiert sein. Bei längeren Dokumenten lässt sich das über Schwellen für Token-Überlappung oder Sequenzähnlichkeit zwischen behauptetem Auszug und Quelltext prüfen. Schablonensprache, erfundene Verweise und Auszüge ohne Rückbindung an abgerufenes Material werden abgelehnt.

Jeder Evidenzsatz trägt zudem einen Konfidenzwert. Der Wert hängt nicht von der Polarität der Aussage ab. Er speist sich aus Dimensionen wie:

  • Quellentyp;
  • Aktualität;
  • Bestätigung durch unabhängige Quellen;
  • erkanntem Widerspruch zu anderen Belegen.

Der Quellentyp trägt meist am stärksten zur Konfidenz bei. Die Hierarchie gehört deshalb in eine explizite, prüfbare Tabelle, nicht in ein verborgenes Ermessen in der Eingabeaufforderung. Methodische Ausgangswerte sehen etwa so aus:

  • Regulierungsbehörde, offizielle Einreichung oder zertifizierende Stelle — 1.00
  • Öffentliches Register — 0.90
  • Akademische Quelle — 0.85
  • Unabhängige Aufsichts- oder Standardisierungsstelle — 0.80
  • Eigene Offenlegungen des Untersuchungsobjekts — 0.70
  • Medienberichterstattung — 0.60
  • Allgemeine Webquelle — 0.50
  • Soziale Medien oder unverifizierte Nutzerinhalte — 0.30

Die Zahlen sind methodische Ausgangswerte, keine empirische Schätzung, wie wahrheitsgemäss eine Quellenkategorie im Schnitt ist. Sie machen die Behandlung der Quellen explizit, prüfbar und konfigurierbar. Statistische Präzision beanspruchen sie nicht.

So kann eine prüfende Person jede nachgelagerte Zahl wieder aufklappen: welche Aussage, welcher Auszug, welche Quelle, welche Konfidenz, und warum.


4. Unbekannt als gültiger Zustand

Unsicherheit ist Information, nicht fehlende Ausgabe. Jedes analytische Signal kann einen von fünf epistemischen Zuständen annehmen:

  • gestützt — die Belege weisen durchgängig in eine Richtung;
  • widerlegt — gut verankerte Belege weisen gegen die erwartete Richtung;
  • widersprüchlich — glaubwürdige Belege stehen auf mehreren Seiten und lösen sich nicht;
  • unzureichende Belege — es gibt etwas, aber nicht genug für einen belastbaren Befund;
  • unbekannt — es fand sich kein nennenswerter Beleg.

Die Zustände sind nicht austauschbar. Sie so zu behandeln, ist ein häufiger Fehler in Bewertungssystemen. Ein gestützter negativer Befund ist nicht fehlende Information. Widerspruch ist nicht Neutralität. Unzureichende Belege heissen nicht «vermutlich unauffällig». Sie heissen: die Frage ist noch nicht beantwortet.

Viele Systeme schreiben fehlende oder mehrdeutige Belege in einen mittleren Skalenwert, weil ein Zahlenfeld irgendeine Zahl enthalten muss. Die Ausgabe wirkt vollständig. Die Vollständigkeit ist hergestellt, nicht verdient. Hier bleibt ein unbekanntes oder unzureichendes Ergebnis ein legitimes Ergebnis: das System gibt die am besten gestützte verfügbare Antwort. Es erzwingt nicht für jedes Signal eine.

Für die Rangordnung folgt daraus unmittelbar: die Belegabdeckung bleibt eine eigene Dimension, getrennt von der Punktzahl. Ein dünn belegtes Untersuchungsobjekt darf nicht still mit einem gründlich recherchierten, tatsächlich neutralen zusammenfallen.

Drei Grössen, die oft zu einer verschmelzen, bleiben über den ganzen Weg getrennt:

  • die scheinbare Richtung des Befunds (seine Polarität);
  • die Stärke des Befunds, unabhängig von der Richtung;
  • die Konfidenz, dass die Belege den Befund tatsächlich tragen.

5. Deterministische Klassifikation und Scoring

Sind die Belege geprüft und jedem Signal Zustand, Richtung, Stärke und Konfidenz zugewiesen, geht der Datensatz an deterministische Software für Klassifikation und Bewertung. In diesem Schritt gibt es keinen Modellaufruf. Derselbe strukturierte Datensatz erzeugt bei jedem Lauf dieselbe Punktzahl. Genau deshalb trennt man diese Stufe von der Generierung.

Vereinfacht, als Skizze, sieht der Beitrag eines Signals so aus:

Signalbeitrag = Belegstärke × Konfidenz × Polarität × Regelgewicht

Belegstärke sagt, wie gewichtig der Befund ist. Konfidenz sagt, wie gut die stützenden Belege verankert sind. Polarität kodiert die Richtung (positiv, negativ, neutral). Regelgewicht sagt, wie stark das Signal für die gestellte Frage zählen soll, unter der Bedingung, dass die Gewichte insgesamt eine feste Summe ergeben.

Das ist eine Skizze, keine Spezifikation. Reale Umsetzungen ergänzen Deckel, Untergrenzen, nichtlineare Terme, sektor- oder kategoriespezifische Vorannahmen und Wechselwirkungen zwischen Signalen. Für die Kalibrierung zählt das. Für die Architektur zählt etwas anderes: der Weg vom geprüften Belegdatensatz zum Zahlenbeitrag ist eine feste Funktion, keine Modellinferenz. Man kann sie unabhängig von der Belegbeschaffung erneut ausführen, testen und prüfen.

Klassifikationsschwellen — die Regeln, die aus einer Zahl eine diskrete Kategorie machen — werden gleich behandelt. Die Grenzen stehen in der Konfiguration. Ein Modell leitet sie zur Bewertungszeit nicht ab. Die Kategorie eines Untersuchungsobjekts wird in der Regel festgesetzt, bevor die Rangordnung innerhalb der Kategorie läuft. Ein kleiner Zahlenunterschied nahe einer Grenze darf ein Objekt mit klar besserer Kategorie nicht still überholen.


6. Ranking, ohne die Methodik zu verbergen

Aus Signalbeiträgen eine Rangordnung zu machen, erzeugt Fehlermuster, die man übersieht, wenn die Methodik unbenannt bleibt. Drei treten oft genug auf, um sie zu benennen.

6.1 Volumenverzerrung

Viele schwache Signale mit niedriger Konfidenz können sich zu einem grösseren Beitrag addieren als wenige starke, gut verankerte. Unkorrigiert beeinflusst dann die Menge verfügbarer Belege — teilweise eine Folge davon, wie viel über ein Objekt geschrieben wurde — die Punktzahl unabhängig von der Qualität.

6.2 Aufhebung

Positive und negative Beiträge addieren sich standardmässig arithmetisch. Ein Untersuchungsobjekt mit substanziellen, tatsächlich widersprüchlichen Belegen landet dann bei einem mittleren Aggregat, das nach «nicht viel los» aussieht, während der Datensatz erhebliche Uneinigkeit zeigt. Der Konfliktzustand aus Abschnitt 4 muss deshalb ausserhalb der Schlusszahl sichtbar bleiben. Die Punktzahl allein trägt diese Information nicht.

6.3 Kohorten-Relativität

Normalisiert man Punktzahlen an den Extremwerten des jeweils zusammengestellten Vergleichslaufs, kann dasselbe Objekt einen anderen relativen Rang erhalten, nur weil sich die Zusammensetzung des Laufs geändert hat — ohne jede Änderung an seinen eigenen Belegen. Das begrenzt, wie vergleichbar ein Rang über Läufe, Zeiträume und Vergleichsmengen hinweg ist. Es ist offenzulegen, nicht als absolutes Mass zu verkaufen.

Kohortenabhängigkeit und Volumenverzerrung lassen sich gemeinsam dämpfen, indem der Einfluss der Beleganzahl begrenzt und das Ergebnis auf eine feste absolute Skala abgebildet wird, nicht auf eine laufrelative. Illustrativ, mit k, Mittelpunkt, Skala und s als Konfigurationsparametern, nicht als festen Produktionskonstanten:

Dämpfung = min(1, Beleganzahl / k)

absolute Punktzahl = Mittelpunkt + Skala × tanh(aggregierter Beitrag / s)

Die erste Zeile begrenzt, wie stark zusätzliches Volumen den Beitrag noch aufbläht, sobald etwa k unabhängige Elemente erreicht sind. Die zweite bildet den gedämpften Aggregatwert auf eine beschränkte, um Mittelpunkt zentrierte Skala ab. Skala steuert die Breite des Ausgabebereichs, s die Geschwindigkeit der Sättigung. Die konkreten Werte sind eine Kalibrierungsfrage, keine architektonische. Jede Umsetzung gehört validiert, bevor sie als produktionsreif gilt — einschliesslich der Sprache, mit der man sie beschreibt. «Bayessch» etwa nur dann, wenn die Methode tatsächlich einen Posterior führt.

Nichts davon räumt die Einschränkungen aus. Es verlagert und begrenzt sie. Volumenverzerrung, Aufhebung und Kohorten-Relativität sind dokumentierte Eigenschaften der Rangmethodik, keine Fehler, die man still aus dem Blick korrigiert.


7. Was Determinismus leistet, und was nicht

Was «deterministisch» hier kauft, wird leicht überzeichnet. Es lohnt Präzision.

Determinismus liefert Reproduzierbarkeit: dieselbe strukturierte, geprüfte Eingabe erzeugt jedes Mal, auf jeder Maschine, unbegrenzt dieselbe Ausgabe. Er liefert keine Korrektheit. Eine deterministische Funktion kann eine fehlerhafte Formel, ein veraltetes Gewicht oder eine verzerrte Vorannahme treu umsetzen — konsistent statt zufällig. Der Fehler kann dadurch schwerer auffallen, nicht leichter.

Verankerung (Abschnitt 3) liefert Nachvollziehbarkeit: von der Punktzahl zurück zum konkreten Auszug und zur Quelle. Sie liefert keine Vollständigkeit. Ein gut verankerter Datensatz kann Belege vermissen, die nie beschafft wurden.

Konfidenzbewertung liefert eine strukturierte Darstellung von Unsicherheit. Sie liefert keine statistisch kalibrierte Wahrscheinlichkeit, solange keine Kalibrierung gegen reale Ergebnisse stattgefunden hat. Einen unkalibrierten Konfidenzwert als Wahrscheinlichkeit zu lesen, ist ein Kategorienfehler.

Kurz: Determinismus, Verankerung und Konfidenzbewertung machen ein System prüfbar, reproduzierbar und angreifbar. Sie machen seine Ausgaben nicht von selbst richtig.


8. Evaluation nach Pipeline-Stufe

Eine korrekt wirkende Endausgabe kann Fehler verbergen, die sich zufällig aufheben. Eine fehlerhafte Endausgabe kann in Retrieval, Auszug, Verankerung, Konfidenzschätzung oder Rangordnung entstanden sein. Wer nur den Schlussbericht bewertet, erfährt nicht, welche Stufe versagt hat.

Die Evaluation gehört deshalb je Stufe strukturiert, nicht nur von Ende zu Ende. Mindestens zu messen sind:

  • Präzision und Recall der Quellenbeschaffung — fand das System die Quellen, die zählen?
  • Präzision und Recall des Auszugs — wurden die Aussagen in diesen Quellen korrekt erfasst?
  • Verankerungsfehler — sitzt die Aussage am richtigen Untersuchungsobjekt und am richtigen Quelltext?
  • Erzeugung ungestützter Aussagen — wie oft behauptet das System etwas, das die beschafften Belege nicht tragen?
  • Konflikterkennung — markiert das System echten Widerspruch, statt ihn wegzumitteln?
  • Konfidenzkalibrierung — entsprechen angegebene Konfidenzniveaus der tatsächlichen Zuverlässigkeit, geprüft gegen reale Ergebnisse?
  • Stabilität der Rangordnung — wie stark wandert der Rang bei kleinen, nicht substanziellen Änderungen am Vergleichslauf?

Methodische Änderungen — neues Gewichtungsschema, neues Konfidenzmodell, neue Rangmethode — gehen erst nach solcher stufenspezifischer Evaluation in den Betrieb, nicht weil die Endausgabe «plausibel aussieht». Der sinnvolle Grundsatz lautet: im Zweifel nicht ausrollen. Eine Änderung, die die relevante Evaluation nicht bestanden hat, geht nicht live. Jede Ausnahme braucht einen expliziten, geprüften Override, keinen stillen Standard.


9. Bekannte Fehlermodi

Neben den rangspezifischen Problemen aus Abschnitt 6 hat ein System dieses Musters weitere charakteristische Fehlermuster. Sie gehören benannt, nicht weggehofft:

  • Regelbasierte Verankerung kann Quellen falsch einordnen. Heuristiken zum Abgleich von Entitäten — Bevorzugung mehrteiliger Namensübereinstimmungen, Unterdrückung von Treffern, die nur die Suchanfrage wiederholen, Verlangen einer sinnvollen Beziehung statt blossen gemeinsamen Vorkommens — senken falsch-positive Treffer. Sie beseitigen sie nicht.
  • Deterministische Bewertung reproduziert ihre Annahmen treu, auch die falschen. Ein schlecht kalibriertes Gewicht oder eine veraltete Vorannahme korrigiert sich nicht. Sie wird konsistent angewendet, bis jemand sie ändert.
  • Neuberechnung repariert keinen bereits gespeicherten, falsch verankerten Fakt. Die Bewertungsfunktion über einem verdorbenen Belegdatensatz wiederholt den Fehler nur deterministisch. Die Behebung verlangt erneute Beschaffung und erneuten Auszug, keine andere Formel.
  • Quellenhierarchien kodieren Ermessen, das überarbeitet werden muss. Die Gewichte aus Abschnitt 3 sind Ausgangswerte, keine feststehenden Wahrheiten. In neuen Kontexten gehören sie überprüft.
  • Kategorie- oder Sektorvorannahmen können systematisch verzerren, wenn sie einmal gesetzt und nie wieder am tatsächlichen Verhalten der bewerteten Population gemessen werden.
  • Die Schlusszahl ist nur so gut wie die Belege darunter. Keine nachgelagerte Sorgfalt ersetzt eine Quellenbeschaffung, die das Wesentliche verfehlt hat.

Keiner dieser Punkte spricht gegen die Architektur. Es sind genau die Dinge, die das Evaluationsprogramm prüfen muss — weil Determinismus Verhalten vorhersagbar macht, nicht automatisch korrekt.


10. Kalibrierung und Ground Truth

Regressionstests an festen Eingaben — dieselben bekannten Fälle erneut laufen lassen und prüfen, ob sich Ausgaben unerwartet verschoben haben — fangen unbeabsichtigte Änderungen. Sie ersetzen keine Kalibrierung gegen Ergebnisse, die beim Bau des Systems nicht verwendet wurden.

Ein glaubwürdiges Kalibrierungsprogramm braucht eine unabhängig gebaute Referenzmenge: Untersuchungsobjekte, manuell recherchiert von Personen ohne Zugriff auf die Systemausgaben. Dagegen lassen sich Beschaffung, Auszug, Verankerung, Konfidenz und Rangordnung direkt messen, statt aus interner Konsistenz abzuleiten. Eine bescheidene, aber tatsächlich unabhängige Menge — in der Grössenordnung einiger Dutzend Objekte über eine Handvoll repräsentativer Forschungsfragen — reicht meist, um die grössten Kalibrierungslücken zu sehen. Jeden Grenzfall klärt sie nicht.

Solange eine solche Evaluation nicht gelaufen ist, gelten Konfidenzwerte als strukturiert, aber unkalibriert. Aussagen zu «Präzision» oder «Recall» des Systems sind vorläufig. Das ist kein kleiner Vorbehalt zum Abhaken. Es ist eine Einschränkung, die in jeder Beschreibung sichtbar bleiben muss, solange sie zutrifft.


11. Designprinzipien

Von den Mechanismen zurückgetreten, ruht das Muster auf wenigen übertragbaren Grundsätzen:

  1. Auszug und Bewertung in getrennten Komponenten halten, auch wenn ein einziger Modellaufruf beides erledigen würde. Nur die Trennung macht jede Hälfte unabhängig testbar.
  2. Unbekannt zu einem gleichrangigen Ergebnis machen. Ein System, das «unbekannt» nicht sagen kann, wird irgendwann Falsches mit Zuversicht sagen, weil jedes Feld irgendeinen Wert braucht.
  3. Jede Aussage in einer wieder einsehbaren Quelle verankern. Ein Zitat ohne Rückbindung an abgerufenen Text ist kein Beleg. Es ist eine plausibel klingende Zeichenkette.
  4. Fachliche Kriterien als prüfbare Regeln kodieren, nicht als Anweisung an ein Modell, überall dort, wo sie ein folgenreiches Ergebnis steuern. Regeln lassen sich prüfen, versionieren und testen. In Eingabeaufforderungen verstecktes Ermessen in der Regel nicht.
  5. Grenzen der Rangordnung benennen, statt sie still zu schlucken. Volumenverzerrung, Aufhebung und Kohorten-Relativität sind Eigenschaften einer Methodik — aber nur, wenn sie dokumentiert sind.
  6. Statistische Sprache an das tatsächliche Verhalten binden. Einen Durchschnitt nicht Posterior nennen und einen unkalibrierten Konfidenzwert nicht Wahrscheinlichkeit, solange die Methode den Begriff nicht trägt.
  7. Jede Stufe evaluieren, nicht nur den Schlussbericht. Eine korrekt wirkende Ausgabe belegt keine korrekt funktionierende Kette.
  8. Methodische Änderungen ohne bestandene Evaluation nicht ausrollen, und für jede Ausnahme einen expliziten, geprüften Pfad verlangen.

12. Schlussfolgerung

Das Muster macht keine einzelne Komponente ausgefeilt. Quellengewichtung, Konfidenzbewertung, deterministische Formeln und modellgestützter Auszug sind etablierte, für sich unauffällige Techniken. Architektonisch zählt, sie in eine zurechenbare Kette zu trennen: Sprachmodelle helfen beim Finden, Ausziehen, Ordnen und Deuten; deterministische, prüfbare Software verantwortet Klassifikation, Bewertung und Rangordnung; fehlende und unzureichende Belege bleiben gültige, sichtbare Ergebnisse statt einer plausibel wirkenden Zahl.

Ein solches System kann trotzdem scheitern — an falsch verankerten Entitäten, schlecht kalibrierten Gewichten, verzerrten Vorannahmen oder Belegen, die nie beschafft wurden. Diese Fehlermuster sprechen nicht gegen die Architektur. Dafür existiert das Evaluationsprogramm.

Das Ergebnis ist kein autonomer Richter. Es ist eine kontrollierte Kette mit festgelegten Zuständigkeiten und bekannten Fehlermustern. Ihre Glaubwürdigkeit hängt weniger davon ab, wie ausgefeilt die Ausgaben wirken, als davon, ob sie auf Belege zurückführen, aus denselben strukturierten Eingaben reproduzierbar sind, methodisch angreifbar bleiben — und zurückgehalten werden, wenn die verfügbaren Belege eine Schlussfolgerung tatsächlich nicht tragen.