Deterministische Beurteilung in der KI-gestützten Investmentforschung

Diese Notiz untersucht ein architektonisches Muster, das immer wieder auftritt, sobald Sprachmodelle vor folgenreiche Ergebnisse gestellt werden: Forschungssysteme, die grosse Mengen unstrukturierter Evidenz in Klassifikationen, Scores oder Rankings überführen müssen, auf deren Grundlage Menschen handeln.

Grosse Sprachmodelle sind gut in Retrieval, Extraktion, Strukturierung und Interpretation. Vergleichsweise schlecht sind sie darin, eine finale Beurteilung zu besitzen — denn ein Modell, das um eine Antwort gebeten wird, liefert in der Regel eine, sei sie auch qualifiziert, mit Vorbehalten versehen und mit Zitaten belegt, aber dennoch generiert. Das Modell ist darauf optimiert, eine plausible analytische Sequenz fortzusetzen, nicht darauf, zu prüfen, ob die verfügbare Evidenz tatsächlich eine Schlussfolgerung rechtfertigt.

Das hier besprochene Muster trennt diese beiden Anliegen. Sprachmodelle unterstützen Retrieval, Extraktion, Strukturierung und Interpretation von Evidenz. Folgenreiche Klassifikationen, Scores und Rankings werden von prüfbarer, reproduzierbarer Software erzeugt, die eine prüfende Person unabhängig vom Modell, das bei der Evidenzsammlung geholfen hat, erneut ausführen, auditieren und anfechten kann.

Fünf Designprinzipien wiederholen sich über Implementierungen dieses Musters hinweg:

1. Extraktion und Beurteilung sollten als getrennte Funktionen behandelt werden, idealerweise mit getrennten Verantwortlichkeiten;
2. unbekannte, widersprüchliche und unzureichende Evidenz sollten als explizite, gleichrangige Ergebnisse bestehen bleiben, statt weggeglättet zu werden;
3. jede Behauptung, die in eine Entscheidung einfliesst, sollte auf einen wieder einsehbaren Quellenauszug zurückführbar sein;
4. domänenspezifische Kriterien sollten als prüfbare Regeln ausgedrückt werden, nicht der Modellinterpretation überlassen bleiben;
5. statistische oder Leistungssprache sollte beschreiben, was ein System tatsächlich tut, nicht was es anstrebt.

Keines dieser Prinzipien ist für sich genommen aussergewöhnlich. Was das Muster dokumentationswürdig macht, ist die Disziplin, sie konsequent getrennt zu halten, während ein System wächst — sowie die Ehrlichkeit darüber, was Determinismus tatsächlich leistet, sobald er einmal etabliert ist.

1. Das architektonische Problem

Sprachmodelle werden zunehmend eingesetzt, um genau die Art von Material zu verarbeiten, auf der entscheidungsrelevante Forschung beruht: Einreichungen, Offenlegungen, Nachrichtenberichte, regulatorische Mitteilungen und unstrukturierte Webinhalte. Ihr Nutzen dabei ist real. Sie identifizieren relevante Passagen, übersetzen natürlichsprachliche Fragen in Forschungsaufgaben, organisieren heterogene Evidenz und fassen Textmengen zusammen, die von Hand erschöpfend zu lesen unpraktikabel wäre.

Die Schwierigkeit beginnt, wenn dieselben Fähigkeiten von der Informationsverarbeitung auf die Beurteilung ausgedehnt werden — wenn sich die Frage von „Kann das System ein Ranking erzeugen?“ zu „Wird das Ranking unter einer Methodik erzeugt, die kontrolliert ist und im Nachhinein geprüft werden kann?“ verschiebt.

Diese beiden Fragen werden leicht vermischt, weil ein Sprachmodell bereitwillig beide beantwortet. Es fasst Evidenz zusammen und vergibt, wenn danach gefragt, auch einen Score oder einen Rang. Nichts in seiner Ausgabe signalisiert, welche der beiden Operationen es gerade ausgeführt hat oder wie wiederholbar die zweite wäre, würde dieselbe Evidenz morgen erneut vorgelegt, in anderer Reihenfolge, mit anderer Formulierung.

Die architektonische Antwort besteht darin, diese Grenze im System selbst explizit zu machen, statt sie implizit in einem Prompt zu belassen. Retrieval, Extraktion, Strukturierung und Interpretation gelten als generative, modellgestützte Arbeit. Klassifikation, Scoring und Ranking gelten als deterministische Berechnung über einen strukturierten, validierten Datensatz — eine Berechnung, die zur Laufzeit kein Modell konsultiert und aus derselben Eingabe bei jedem Durchlauf dieselbe Ausgabe erzeugt.

2. Eine Trennung von Verantwortlichkeiten

Die resultierende Pipeline lässt sich nützlich so beschreiben:

Forschungsfrage → strukturierte Signale → Evidenz → Validierung → Konfidenz → deterministischer Score → Ranking → Bericht

Jede Stufe hat einen eigenen Verantwortungsträger. Ein Planungsschritt übersetzt eine Forschungsfrage in eine Menge gewichteter analytischer Signale. Retrieval- und Extraktionsagenten erstellen ein Subjektprofil, sammeln eine erste Evidenzmenge und führen gezielte Lückensuchen durch, wo die Abdeckung dünn ist. Eine Konsolidierungsstufe fasst diese Evidenzmengen zusammen, markiert Widersprüche und schätzt für jedes Element die Konfidenz. Der sprachmodellgestützte Teil der Pipeline endet an dieser Stelle.

Alles Nachgelagerte — Klassifikation, Scoring, Normalisierung und Ranking — wird von deterministischen Diensten berechnet, die den strukturierten, validierten Evidenzdatensatz konsumieren und feste Regeln darauf anwenden.

Diese Trennung ist wichtig, weil Extraktionsfehler und Beurteilungsfehler unterschiedliche Ursachen haben und unabhängig voneinander beobachtbar sein müssen.

Ein Extraktionsfehler sieht typischerweise so aus:

• das Versäumnis, eine Quelle zu finden, die das Bild wesentlich verändert;
• die fehlerhafte Zuordnung einer Behauptung zum falschen Subjekt;
• das Fehllesen einer Passage, einschliesslich ihrer Einschränkungen oder ihres Geltungsbereichs;
• das Fallenlassen widersprüchlicher Evidenz, statt sie abzugleichen;
• die Behandlung eines Such-Snippets, als wäre es die vollständige Quelle.

Ein Ranking-Fehler sieht typischerweise so aus:

• übermässige Empfindlichkeit gegenüber dem Evidenzvolumen statt gegenüber der Evidenzqualität;
• Gewichte, die die beabsichtigten Prioritäten nicht mehr widerspiegeln;
• entgegengesetzte Signale, die sich so aufheben, dass Uneinigkeit verborgen bleibt;
• instabile Normalisierung über Vergleichsbatches hinweg;
• falsch oder inkonsistent angewendete Straf- oder Gate-Regeln;
• eine Vergleichskohorte, die tatsächlich nicht vergleichbar ist.

Wenn Extraktion und Ranking in einem einzigen generativen Schritt geschehen, verschwimmen diese beiden Fehlerklassen — ein schlechter Rang und ein falscher Fakt sehen von aussen identisch aus. Den Ranking-Schritt deterministisch zu machen, garantiert für sich genommen keine korrekte Antwort. Es garantiert aber, dass dieselben strukturierten Eingaben dieselbe Ausgabe erzeugen — und genau das macht Regressionstests, methodische Prüfung und nachträgliches Audit überhaupt erst möglich.

3. Evidenz als typisierter Datensatz

Ein Zitat ist nicht dasselbe wie Unterstützung. Such-Snippets lassen Kontext weg, Schlagzeilen vereinfachen oder übertreiben, paywalled Seiten können auffindbar sein, ohne einsehbar zu sein, und der Name eines Subjekts kann auf einer generischen Register- oder Verzeichnisseite erscheinen, ohne dass die Seite tatsächlich etwas Substanzielles über dieses Subjekt aussagt.

Damit ein Zitat nicht als rein symbolisches Zuverlässigkeitszeichen fungiert, behandelt das Muster jedes Evidenzstück als typisierten Datensatz mit einer expliziten Kette:

Behauptung → Evidenzsatz → Quellenauszug → Quelle

Eine Behauptung ist eine diskrete, überprüfbare Aussage. Der Evidenzsatz verknüpft diese Behauptung mit dem Auszug, der sie stützt, und trägt Metadaten darüber, wie der Auszug abgerufen und validiert wurde — eine zitierte URL muss zur Menge der tatsächlich abgerufenen Quellen gehören, und der Auszug muss im abgerufenen Inhalt selbst verankert sein, statt aus einem Snippet oder einer Schlagzeile rekonstruiert zu werden. Bei längeren Dokumenten lässt sich die Verankerung über Token-Überlappungs- oder Sequenzähnlichkeitsschwellen zwischen dem behaupteten Auszug und dem Quelltext prüfen. Schablonensprache, erfundene Verweise und Auszüge, die nicht auf abgerufenes Material zurückgeführt werden können, werden rundweg abgelehnt.

Jeder Evidenzsatz trägt zudem einen Konfidenzwert, der unabhängig von der Polarität der Behauptung berechnet wird, aus Dimensionen wie:

• Quellentyp;
• Aktualität;
• Bestätigung durch unabhängige Quellen;
• identifizierter Konflikt mit anderer Evidenz.

Der Quellentyp ist meist der grösste einzelne Beitrag zur Konfidenz, und es ist sinnvoll, diese Hierarchie als explizite, prüfbare Tabelle zu führen statt als impliziten Ermessensentscheid, der in einem Prompt verborgen bleibt. Eine repräsentative Menge methodischer Defaults sieht so aus:

• Regulierungsbehörde, offizielle Einreichung oder zertifizierende Stelle — 1.00
• Öffentliches Register — 0.90
• Akademische Quelle — 0.85
• Unabhängige Aufsichts- oder Standardisierungsstelle — 0.80
• Eigene Offenlegungen des Subjekts — 0.70
• Medienberichterstattung — 0.60
• Allgemeine Webquelle — 0.50
• Social Media oder unverifizierte Nutzerinhalte — 0.30

Diese Zahlen sind methodische Defaults, keine empirischen Schätzungen dazu, wie wahrheitsgemäss eine gegebene Quellenkategorie im Durchschnitt ist. Ihr Zweck ist es, die Quellenbehandlung explizit, prüfbar und konfigurierbar zu machen, nicht eine statistische Präzision zu beanspruchen, die sie nicht besitzen.

Diese Struktur erlaubt es einer prüfenden Person, die Grundlage jeder nachgelagerten Zahl erneut zu öffnen: welche Behauptung, welcher Auszug, welche Quelle, mit welcher Konfidenz, und warum.

4. Unbekannt als gültiger Zustand

Unsicherheit sollte strukturierte Information sein, nicht die Abwesenheit von Ausgabe. Jedes analytische Signal im Muster kann einen von fünf epistemischen Zuständen annehmen:

• unterstützt — Evidenz weist konsistent in eine Richtung;
• widerlegt — gut verankerte Evidenz weist gegen die erwartete Richtung;
• widersprüchlich — glaubwürdige Evidenz existiert auf mehreren Seiten und löst sich nicht sauber auf;
• unzureichende Evidenz — es existiert etwas Evidenz, die aber nicht die Schwelle für einen belastbaren Befund erreicht;
• unbekannt — es wurde keine nennenswerte Evidenz gefunden.

Diese Zustände sind nicht austauschbar, und sie als solche zu behandeln, ist eines der häufigeren Fehlermuster in Scoring-Systemen generell. Ein unterstützter negativer Befund ist nicht dasselbe wie fehlende Information. Widersprüchliche Evidenz ist nicht dasselbe wie ein neutraler Befund. Unzureichende Evidenz bedeutet nicht „vermutlich unauffällig“ — sie bedeutet, dass die Frage noch nicht tatsächlich beantwortet wurde.

Viele Scoring-Systeme wandeln fehlende oder mehrdeutige Evidenz implizit in einen moderaten, mittigen Skalenwert um, weil ein numerisches Feld irgendeine Zahl enthalten muss. Die Ausgabe wirkt dann vollständig, aber die Vollständigkeit ist hergestellt, nicht verdient. Das hier beschriebene Muster behandelt ein unbekanntes oder unzureichendes Ergebnis stattdessen als legitime, gleichrangige Ausgabe: Das System liefert die bestunterstützte verfügbare Antwort, statt für jedes Signal eine Antwort zu erzwingen.

Das hat eine direkte Konsequenz für das Ranking: Die Evidenzabdeckung muss als eigene Dimension sichtbar bleiben, getrennt vom Score selbst, damit ein Subjekt mit dünner Abdeckung nicht stillschweigend von einem Subjekt ununterscheidbar wird, das gründlich erforscht und dabei tatsächlich neutral befunden wurde.

Es bedeutet zudem, dass drei häufig zu einer Grösse verschmolzene Variablen über die gesamte Pipeline hinweg getrennt bleiben müssen:

• die scheinbare Richtung eines Befunds (seine Polarität);
• die Stärke des Befunds, unabhängig von der Richtung;
• die Konfidenz, dass die Evidenz den Befund tatsächlich trägt.

5. Deterministische Klassifikation und Scoring

Sobald Evidenz validiert und jedem Signal ein Zustand, eine Richtung, eine Stärke und eine Konfidenz zugewiesen wurde, wird der resultierende Datensatz an deterministische Software zur Klassifikation und zum Scoring übergeben. In diesem Schritt findet kein Modellaufruf statt. Derselbe strukturierte Datensatz erzeugt bei jeder Verarbeitung denselben Score — genau das ist der Sinn, diese Stufe von der Generierung zu trennen.

Eine vereinfachte, illustrative Form eines Beitrags pro Signal sieht so aus:

Signalbeitrag = Evidenzstärke × Konfidenz × Polarität × Policy-Gewicht

Dabei spiegelt Evidenzstärke wider, wie bedeutsam der zugrunde liegende Befund ist, Konfidenz spiegelt wider, wie gut verankert die stützende Evidenz ist, Polarität kodiert die Richtung (positiv, negativ oder neutral), und Policy-Gewicht kodiert, wie stark ein gegebenes Signal für die gestellte Frage zählen soll, vorbehaltlich der Nebenbedingung, dass die Menge der Gewichte insgesamt eine feste Summe ergibt.

Dies ist bewusst eine Skizze und keine Spezifikation. Reale Implementierungen fügen Caps, Böden, nichtlineare Terme, sektor- oder kategoriespezifische Priors sowie Interaktionseffekte zwischen Signalen hinzu — Details, die für die Kalibrierung wichtig, für den architektonischen Punkt aber zweitrangig sind: Die Transformation von einem validierten Evidenzdatensatz zu einem numerischen Beitrag ist eine feste Funktion, keine Modellinferenz, und sie kann unabhängig davon, wie die Evidenz gesammelt wurde, erneut ausgeführt, getestet und auditiert werden.

Klassifikationsschwellen — die Regeln, die ein numerisches Ergebnis in eine diskrete Kategorie überführen — werden gleich behandelt. Kategoriegrenzen werden in der Konfiguration definiert, nicht zum Zeitpunkt des Scorings von einem Modell abgeleitet, und die Kategorie eines Subjekts wird in der Regel aufgelöst, bevor das Ranking innerhalb der Kategorie stattfindet, damit ein kleiner numerischer Unterschied nahe einer Grenze nicht stillschweigend ein Subjekt mit klar besserer Kategorie überholt.

6. Ranking, ohne die Methodik zu verbergen

Die Überführung von Signalbeiträgen in ein Ranking bringt Fehlermuster mit sich, die leicht übersehen werden, wenn die Methodik nicht klar benannt wird. Drei davon treten häufig genug auf, um explizit benannt zu werden.

6.1 Volumenverzerrung

Eine grosse Zahl schwacher, niedrigkonfidenter Signale kann sich zu einem grösseren Beitrag summieren als eine kleine Zahl starker, gut verankerter Signale. Unkorrigiert bedeutet das, dass die Menge verfügbarer Evidenz — die teilweise davon abhängt, wie viel über ein Subjekt geschrieben wurde — den Score unabhängig von der Evidenzqualität beeinflussen kann.

6.2 Aufhebung

Positive und negative Beiträge summieren sich standardmässig arithmetisch. Ein Subjekt mit substanzieller, tatsächlich widersprüchlicher Evidenz kann daher bei einem moderaten Aggregatscore landen, der wie „nicht viel los“ wirkt, während der zugrunde liegende Datensatz erhebliche Uneinigkeit zeigt. Der in Abschnitt 4 beschriebene Konfliktzustand muss deshalb ausserhalb der finalen Zahl sichtbar bleiben — der Score allein kann diese Information nicht tragen.

6.3 Kohorten-Relativität

Werden Scores gegen die Extremwerte des jeweils zusammengestellten Vergleichsbatches normalisiert, kann dasselbe Subjekt einen anderen relativen Rang erhalten, rein weil sich die Zusammensetzung des Batches geändert hat — ohne dass sich an der Evidenz des Subjekts selbst etwas geändert hätte. Das begrenzt, wie vergleichbar ein Rang über verschiedene Durchläufe, Zeiträume oder Vergleichsmengen hinweg ist, und muss offengelegt werden, statt als absolutes Mass präsentiert zu werden.

Eine Möglichkeit, Kohortenabhängigkeit und Volumenverzerrung gleichzeitig zu reduzieren, besteht darin, den Einfluss der Evidenzanzahl zu dämpfen und das Ergebnis auf eine feste absolute Skala statt eine batch-relative abzubilden. Eine illustrative, parametrisierte Form — mit k, Mittelpunkt, Skala und s als Konfigurationsparametern und nicht als festen Produktionskonstanten — könnte so aussehen:

Dämpfung = min(1, Evidenzanzahl / k)

absoluter Score = Mittelpunkt + Skala × tanh(aggregierter Beitrag / s)

Die erste Zeile begrenzt, wie stark zusätzliches Evidenzvolumen einen Beitrag noch aufblähen kann, sobald etwa k unabhängige Elemente erreicht sind. Die zweite bildet den gedämpften Aggregatwert auf eine beschränkte, um Mittelpunkt zentrierte Skala ab, wobei Skala die Breite des Ausgabebereichs und s die Geschwindigkeit der Sättigung steuert. Die konkreten Werte dieser Parameter sind eine Kalibrierungsfrage, keine architektonische — und jede Implementierung dieser Idee sollte validiert werden, bevor sie als produktionsreif gilt, einschliesslich der Prüfung, ob die zur Beschreibung verwendete Terminologie (zum Beispiel „bayessch“ nur dann, wenn die Methode tatsächlich einen Posterior führt) zu dem passt, was der Code tut.

Nichts davon beseitigt die zugrunde liegenden Einschränkungen; es verlagert und begrenzt sie. Volumenverzerrung, Aufhebung und Kohorten-Relativität sollten als dokumentierte Eigenschaften der Ranking-Methodik behandelt werden, nicht als Fehler, die still aus dem Blickfeld wegkorrigiert werden.

7. Was Determinismus leistet — und was nicht

Es lohnt sich, präzise zu sein, was „deterministisch“ hier tatsächlich bringt, weil es leicht überzeichnet wird.

Determinismus liefert Reproduzierbarkeit: dieselbe strukturierte, validierte Eingabe erzeugt jedes Mal, auf jeder Maschine, unbegrenzt dieselbe Ausgabe. Es liefert keine Korrektheit — eine deterministische Funktion kann eine fehlerhafte Formel, ein veraltetes Gewicht oder einen verzerrten Prior treu implementieren, und sie wird dies konsistent tun statt zufällig, was den Fehler schwerer erkennbar machen kann, nicht leichter.

Verankerung (Abschnitt 3) liefert Nachvollziehbarkeit: Eine prüfende Person kann von einem Score zurück zum spezifischen Auszug und zur Quelle gehen, die ihn erzeugt haben. Sie liefert keine Vollständigkeit — ein gut verankerter Datensatz kann dennoch Evidenz vermissen, die überhaupt nie abgerufen wurde.

Konfidenz-Scoring liefert eine strukturierte Darstellung von Unsicherheit. Es liefert keine statistisch kalibrierte Wahrscheinlichkeit, sofern nicht tatsächlich eine Kalibrierungsübung gegen reale Ergebnisse durchgeführt wurde; einen unkalibrierten Konfidenzwert als Wahrscheinlichkeit zu behandeln, ist ein Kategorienfehler, vor dem man sich explizit hüten sollte.

Kurz: Determinismus, Verankerung und Konfidenz-Scoring erzeugen zusammen ein System, dessen Verhalten geprüft, reproduziert und angefochten werden kann. Sie erzeugen für sich genommen kein System, dessen Ausgaben garantiert korrekt sind.

8. Evaluation nach Pipeline-Stufe

Eine korrekt wirkende Endausgabe kann Fehler verbergen, die sich zufällig aufheben. Eine fehlerhafte Endausgabe kann aus mehreren früheren Stufen stammen — Retrieval, Extraktion, Verankerung, Konfidenzschätzung oder Ranking — und den finalen Bericht als einzig bewertungswürdig zu behandeln, macht es unmöglich zu erkennen, welche Stufe tatsächlich versagt hat.

Die Evaluation sollte daher pro Stufe strukturiert sein, nicht nur end-to-end, und mindestens messen:

• Retrieval-Präzision und -Recall — hat das System die relevanten Quellen gefunden?
• Extraktions-Präzision und -Recall — wurden die Behauptungen in diesen Quellen korrekt erfasst?
• Verankerungsfehler — wurden Behauptungen korrekt dem richtigen Subjekt zugeordnet und korrekt am Quelltext verankert?
• Generierung nicht gestützter Behauptungen — wie oft behauptet das System etwas, das die abgerufene Evidenz tatsächlich nicht stützt?
• Konflikterkennung — markiert das System tatsächlich widersprüchliche Evidenz korrekt, statt sie wegzumitteln?
• Konfidenzkalibrierung — entsprechen angegebene Konfidenzniveaus der tatsächlichen Zuverlässigkeit, geprüft gegen reale Ergebnisse?
• Ranking-Stabilität — wie stark bewegt sich der Rang eines Subjekts bei kleinen, nicht substanziellen Änderungen am Vergleichsbatch?

Methodische Änderungen an der Pipeline — ein neues Gewichtungsschema, ein neues Konfidenzmodell, eine neue Ranking-Methode — sollten hinter dieser Art stufenspezifischer Evaluation gated werden, statt ausgerollt zu werden, weil die Endausgabe „plausibel aussieht“. Ein sinnvoller Default ist, geschlossen zu scheitern: Eine Änderung, die die relevante Evaluation nicht bestanden hat, geht nicht live, und jede Ausnahme erfordert einen expliziten, auditierten Override statt eines stillschweigenden Defaults.

9. Bekannte Fehlermodi

Über die ranking-spezifischen Probleme aus Abschnitt 6 hinaus hat ein auf diesem Muster aufgebautes System weitere charakteristische Fehlermodi, die benannt statt vorausgesetzt werden sollten:

• Regelbasierte Verankerung kann Quellen falsch klassifizieren. Heuristiken zum Entity-Matching — Bevorzugung von Multi-Token-Namensübereinstimmungen, Unterdrückung von Query-Echo-Treffern, Verlangen einer sinnvollen Beziehung statt blossen Ko-Vorkommens — reduzieren falsch-positive Treffer, beseitigen sie aber nicht.
• Deterministisches Scoring reproduziert seine Annahmen treu, einschliesslich falscher. Ein falsch kalibriertes Gewicht oder ein veralteter Prior korrigiert sich nicht von selbst; er wird schlicht konsistent angewendet, bis ihn jemand aktualisiert.
• Neuberechnung kann einen bereits gespeicherten, falsch verankerten Fakt nicht reparieren. Das erneute Ausführen der Scoring-Funktion über einen fehlerhaften Evidenzdatensatz reproduziert den Fehler nur deterministisch. Die Behebung erfordert erneutes Retrieval und erneute Extraktion, keine andere Formel.
• Quellenhierarchien kodieren Ermessensentscheide, die überarbeitet werden müssen. Die Gewichte aus Abschnitt 3 sind Defaults, keine feststehenden Wahrheiten, und sollten überprüft werden, sobald das System in neuen Kontexten eingesetzt wird.
• Kategorie- oder Sektor-Priors können systematischen Bias einführen, wenn sie einmal gesetzt und nie wieder gegen das tatsächliche Verhalten der bewerteten Population geprüft werden.
• Der finale Score ist nur so gut wie die Evidenz darunter. Keine noch so grosse nachgelagerte Sorgfalt kompensiert ein Retrieval, das die relevanten Quellen verfehlt hat.

Keiner dieser Punkte ist ein Argument gegen die hier beschriebene Architektur. Es sind genau die Dinge, die ihr Evaluationsprogramm prüfen muss — gerade weil Determinismus das Verhalten des Systems vorhersagbar macht, nicht automatisch korrekt.

10. Kalibrierung und Ground Truth

Regressions- und Fixture-basiertes Testen — das erneute Ausführen einer festen Menge bekannter Eingaben und die Prüfung, dass sich Ausgaben nicht unerwartet verschoben haben — ist nützlich, um unbeabsichtigte Änderungen zu erkennen, ersetzt aber keine Kalibrierung gegen Ergebnisse, die nicht zum Aufbau des Systems selbst verwendet wurden.

Ein glaubwürdiges Kalibrierungsprogramm braucht eine unabhängig konstruierte Ground-Truth-Menge: Subjekte, die manuell recherchiert wurden, von Personen ohne Zugriff auf die eigenen Ausgaben des Systems, gegen die Retrieval, Extraktion, Verankerung, Konfidenz und Ranking allesamt direkt gemessen werden können, statt aus interner Konsistenz abgeleitet zu werden. Eine bescheidene, aber tatsächlich unabhängige Menge — in der Grössenordnung einiger Dutzend Subjekte über eine Handvoll repräsentativer Forschungsfragen — reicht meist aus, um die grössten Kalibrierungslücken aufzudecken, auch wenn sie nicht jeden Grenzfall klärt.

Bis eine solche Evaluation tatsächlich durchgeführt wurde, sollten Konfidenzwerte als strukturiert, aber unkalibriert behandelt werden, und jede Aussage zu „Präzision“ oder „Recall“ des Systems sollte als vorläufig verstanden werden. Das ist kein kleiner Vorbehalt, der einmal erwähnt und dann übergangen wird — es ist eine Einschränkung, die in jeder Beschreibung des Systems sichtbar bleiben sollte, solange sie zutrifft.

11. Designprinzipien

Zurückgetreten von den Mechanismen beruht das Muster auf einer kleinen Zahl übertragbarer Prinzipien:

1. Extraktion und Beurteilung in getrennten Komponenten halten, auch wenn es einfacher wäre, beides in einem einzigen Modellaufruf zu erledigen. Die Trennung ist es, die jede Hälfte unabhängig testbar macht.
2. Unbekannt zu einer gleichrangigen Ausgabe machen. Ein System, das nicht „unbekannt“ sagen kann, wird irgendwann etwas Falsches mit Zuversicht sagen, weil jedes Feld irgendeinen Wert enthalten muss.
3. Jede Behauptung in einer wieder einsehbaren Quelle verankern. Ein Zitat, das nicht auf abgerufenen Text zurückgeführt werden kann, ist keine Evidenz; es ist eine plausibel klingende Zeichenkette.
4. Domänenspezifische Kriterien als prüfbare Regeln kodieren, nicht als Anweisungen an ein Modell, überall dort, wo diese Kriterien ein folgenreiches Ergebnis steuern. Regeln lassen sich prüfen, versionieren und testen; in Prompts eingebettete Ermessensentscheide in der Regel nicht.
5. Ranking-Einschränkungen benennen, statt sie stillschweigend zu absorbieren. Volumenverzerrung, Aufhebung und Kohorten-Relativität sind Eigenschaften einer Methodik, keine zu versteckenden Defekte — aber nur, wenn sie dokumentiert sind.
6. Statistische Sprache an tatsächliches Verhalten anpassen. Einen Durchschnitt nicht als Posterior bezeichnen und einen unkalibrierten Konfidenzwert nicht als Wahrscheinlichkeit, bis die zugrunde liegende Methode den Begriff tatsächlich trägt.
7. Jede Stufe evaluieren, nicht nur den finalen Bericht. Eine korrekt wirkende Ausgabe ist kein Beleg für eine korrekt funktionierende Pipeline.
8. Bei methodischen Änderungen, die die relevante Evaluation nicht bestanden haben, geschlossen scheitern, und für jede Ausnahme einen expliziten, auditierten Pfad verlangen.

12. Schlussfolgerung

Das hier untersuchte Muster macht keine einzelne Komponente ausgefeilt. Quellengewichtung, Konfidenz-Scoring, deterministische Formeln und sprachmodellgestützte Extraktion sind allesamt etablierte, für sich genommen unauffällige Techniken. Architektonisch bedeutsam ist, sie in eine rechenschaftspflichtige Pipeline getrennt zu halten: Sprachmodelle unterstützen Retrieval, Extraktion, Strukturierung und Interpretation; deterministische, prüfbare Software besitzt Klassifikation, Scoring und Ranking; unbekannte und unzureichende Evidenz bleiben gültige, sichtbare Ergebnisse, statt zu einer plausibel wirkenden Zahl weichgezeichnet zu werden.

Ein solches System kann dennoch scheitern — durch falsch verankerte Entitäten, falsch kalibrierte Gewichte, verzerrte Priors oder Evidenz, die nie abgerufen wurde. Diese Fehlermodi sind keine Argumente gegen die Architektur; sie sind das, wofür ihr Evaluationsprogramm existiert.

Das resultierende System sollte nicht als autonomer Richter beschrieben werden. Es ist eine kontrollierte Pipeline, in der unterschiedliche Komponenten definierte Verantwortlichkeiten und bekannte Fehlermodi haben, und seine Glaubwürdigkeit beruht weniger darauf, wie ausgefeilt seine Ausgaben wirken, als darauf, ob diese Ausgaben auf Evidenz zurückgeführt, aus denselben strukturierten Eingaben reproduziert, auf methodischer Ebene angefochten und zurückgehalten werden können, wenn die verfügbare Evidenz eine Schlussfolgerung tatsächlich nicht stützt.