Jugement déterministe dans la recherche d’investissement assistée par l’IA

Dès qu’un modèle de langage se tient devant un résultat dont on se servira ensuite — une classe, une note, un rang — le même schéma revient. Les systèmes de recherche doivent transformer des masses de texte brut en verdicts sur lesquels des gens agiront.

Les grands modèles savent retrouver, extraire, structurer, interpréter. Trancher, c’est autre chose. Interrogé, le modèle répond presque toujours : avec des réserves, des nuances, des citations, mais il répond. Il est entraîné à poursuivre un raisonnement qui sonne juste, pas à dire si les pièces au dossier suffisent vraiment à conclure.

Le dispositif décrit ici tient ces deux métiers à distance. Le modèle aide à rassembler, extraire, structurer et lire les preuves. Les classifications, notes et classements qui engagent réellement quelqu’un sortent d’un logiciel qu’on peut inspecter, relancer et contester — sans dépendre du modèle qui a aidé à constituer le dossier.

Cinq principes reviennent d’une mise en œuvre à l’autre :

1. extraire et juger sont deux fonctions ; autant les confier à deux composants ;
2. l’inconnu, le conflit et l’insuffisance restent des résultats à part entière, qu’on n’a pas le droit d’aplanir ;
3. toute assertion qui nourrit une décision se rattache à un extrait qu’on peut rouvrir ;
4. les critères du métier s’écrivent en règles inspectables, pas en interprétation libre du modèle ;
5. le vocabulaire statistique ou de performance nomme ce que le système fait, non ce qu’on voudrait qu’il fasse.

Aucun de ces points n’a rien d’exotique pris seul. Ce qui mérite d’être consigné, c’est la discipline : les tenir séparés quand le système grandit — et dire clairement ce que le déterminisme achète, une fois en place, et ce qu’il n’achète pas.

1. Le problème d’architecture

On confie de plus en plus aux modèles le matériau dont vit la recherche utile à une décision : dépôts, publications, articles, avis d’autorités, pages web sans structure. Là, le gain est réel. Ils repèrent les passages, transforment une question en plan de travail, ordonnent des pièces disparates, condensent ce qu’on ne lira pas ligne à ligne.

La bascule se produit plus loin. On quitte le traitement de l’information pour le jugement. On ne demande plus : le système sait-il produire un classement ? On demande : ce classement repose-t-il sur une méthode maîtrisée, encore inspectable après coup ?

Les deux questions se confondent facilement. Le modèle répond aux deux sans broncher. Il résume. Sur demande, il note et il classe. Rien dans le texte produit n’indique laquelle des deux opérations vient d’avoir lieu, ni si la seconde se répéterait demain, mêmes preuves dans un autre ordre, autre formulation.

Le geste d’architecture consiste à tracer cette frontière dans le système, pas dans une consigne. Retrouver, extraire, structurer, interpréter : travail génératif, assisté par le modèle. Classer, noter, ranger : calcul déterministe sur un dossier structuré et validé. À ce stade, plus aucun appel au modèle. Même entrée, même résultat, à chaque exécution.

2. Séparer les responsabilités

La chaîne se lit ainsi :

question de recherche → signaux structurés → preuves → validation → confiance → score déterministe → classement → rapport

Chaque étage a un responsable. Une planification transforme la question en signaux analytiques pondérés. Des agents de collecte et d’extraction dressent le profil du sujet, constituent un premier corpus et comblent les trous là où la couverture est mince. Une consolidation fusionne ces corpus, marque les contradictions et estime la confiance de chaque pièce. L’assistance du modèle s’arrête ici.

Ensuite — classification, notation, normalisation, classement — des services déterministes consomment le dossier validé et lui appliquent des règles fixes.

Cette coupure n’est pas du goût de l’organigramme. Les erreurs d’extraction et les erreurs de jugement n’ont pas les mêmes causes ; il faut pouvoir les voir séparément.

Une erreur d’extraction, typiquement :

• une source qui change le tableau n’a pas été trouvée ;
• une assertion est collée au mauvais sujet ;
• un passage est mal lu, y compris ses réserves ou son champ d’application ;
• une contradiction est écartée au lieu d’être traitée ;
• un extrait de moteur de recherche est pris pour le document entier.

Une erreur de classement, typiquement :

• trop de poids au volume des preuves, trop peu à leur qualité ;
• des pondérations qui ne correspondent plus aux priorités affichées ;
• des signaux opposés qui s’annulent et masquent le désaccord ;
• une normalisation qui saute d’un lot de comparaison à l’autre ;
• des pénalités ou des filtres mal ou inégalement appliqués ;
• un ensemble de comparaison qui n’est pas comparable.

Quand extraction et classement tiennent dans le même pas génératif, les deux familles d’erreurs se brouillent : un mauvais rang et un mauvais fait ont le même visage. Rendre le classement déterministe ne rend pas la réponse juste. Cela garantit que les mêmes entrées structurées donnent le même résultat — condition sine qua non des tests de régression, de la revue de méthode et de l’audit après coup.

3. La preuve comme enregistrement typé

Citer n’est pas étayer. Un extrait de recherche coupe le contexte. Un titre simplifie ou force le trait. Une page derrière paywall peut se découvrir sans se laisser examiner. Le nom d’un sujet peut figurer sur un registre ou un annuaire générique sans que la page dise rien de substantiel sur lui.

Pour qu’une citation ne serve pas de simple talisman de fiabilité, chaque preuve est un enregistrement typé, avec une chaîne explicite :

assertion → enregistrement de preuve → extrait source → source

Une assertion est un énoncé discret, vérifiable. L’enregistrement la relie à l’extrait qui l’appuie et porte la métadonnée de collecte et de validation : l’URL citée doit appartenir aux sources réellement collectées ; l’extrait doit être ancré dans ce contenu, non reconstitué à partir d’un extrait de moteur ou d’un titre. Sur les documents longs, on vérifie l’ancrage par des seuils de chevauchement de tokens ou de similarité de séquence entre l’extrait invoqué et le texte source. Langage de gabarit, références inventées, extraits sans lien avec le matériel collecté : rejet immédiat.

Chaque enregistrement porte aussi un niveau de confiance, calculé indépendamment du sens (positif ou négatif) de l’assertion, à partir notamment de :

• le type de source ;
• la récence ;
• la corroboration par des sources indépendantes ;
• un conflit identifié avec d’autres preuves.

Le type de source pèse en général le plus. Autant en faire un tableau explicite, inspectable, plutôt qu’un arbitrage enfoui dans une consigne. Des valeurs méthodologiques par défaut, représentatives, ressemblent à ceci :

• Régulateur, dépôt officiel ou organisme certificateur — 1.00
• Registre public — 0.90
• Source académique — 0.85
• Organisme de surveillance ou de normalisation indépendant — 0.80
• Propres déclarations du sujet — 0.70
• Couverture médiatique — 0.60
• Source web générale — 0.50
• Réseaux sociaux ou contenu utilisateur non vérifié — 0.30

Ce sont des défauts de méthode, pas des estimations empiriques de la véracité moyenne d’une catégorie. Ils rendent le traitement des sources explicite, révisable, configurable. Ils ne prétendent pas à une précision statistique qu’ils n’ont pas.

Un relecteur peut alors rouvrir le fondement de n’importe quel chiffre en aval : quelle assertion, quel extrait, quelle source, à quel niveau de confiance, et pourquoi.

4. L’inconnu comme état légitime

L’incertitude est une information structurée, pas un trou dans le fichier de sortie. Chaque signal analytique se résout en l’un de cinq états épistémiques :

• étayé — les preuves vont de façon cohérente dans un sens ;
• contredit — des preuves bien ancrées vont contre le sens attendu ;
• en conflit — des preuves crédibles existent de plusieurs côtés et ne se départagent pas ;
• preuves insuffisantes — il y a quelque chose, mais pas de quoi conclure avec assurance ;
• inconnu — rien de significatif n’a été trouvé.

Ces états ne se valent pas. Les confondre est l’un des ratés les plus courants des systèmes de notation. Un constat négatif étayé n’est pas une information manquante. Un conflit n’est pas une neutralité. Des preuves insuffisantes ne veulent pas dire « probablement sans problème » : la question n’a tout simplement pas reçu de réponse.

Beaucoup de systèmes, faute de pouvoir laisser un champ numérique vide, transforment l’absence ou l’ambiguïté en une valeur moyenne, au milieu de l’échelle. Le résultat a l’air complet. Cette complétude est fabriquée. Ici, l’inconnu ou l’insuffisant est un résultat légitime : le système rend la meilleure réponse étayée dont il dispose, au lieu d’inventer une réponse pour chaque signal.

Conséquence directe pour le classement : la couverture des preuves reste une dimension visible, distincte de la note. Un sujet peu documenté ne doit pas se confondre, en silence, avec un sujet longuement étudié et trouvé vraiment neutre.

Trois variables qu’on fusionne trop souvent restent donc distinctes d’un bout à l’autre de la chaîne :

• le sens apparent du constat (sa polarité) ;
• la force du constat, indépendante du sens ;
• la confiance que les preuves portent réellement ce constat.

5. Classer et noter de façon déterministe

Preuves validées, chaque signal muni d’un état, d’un sens, d’une force et d’une confiance : le dossier passe alors à un logiciel déterministe. Aucun appel de modèle à cette étape. Le même dossier structuré produit la même note à chaque traitement. C’est tout l’intérêt de couper ici la génération.

Sous une forme simplifiée, illustrative, la contribution d’un signal s’écrit :

signal contribution = evidence strength × confidence × polarity × policy weight

La force de la preuve dit l’importance du constat. La confiance dit la solidité de l’ancrage. La polarité code le sens (positif, négatif, neutre). Le poids de politique dit combien ce signal compte pour la question posée, sous la contrainte que l’ensemble des poids totalise une somme fixe.

C’est une esquisse, pas une spécification. Les mises en œuvre réelles ajoutent plafonds, planchers, termes non linéaires, pondérations initiales selon le secteur ou la catégorie, effets d’interaction entre signaux. Ces détails calibrent. Le point d’architecture est ailleurs : passer d’un dossier validé à une contribution numérique, c’est une fonction fixe, pas une inférence. On la relance, on la teste, on l’audite, indépendamment de la façon dont les preuves ont été rassemblées.

Les seuils de classification — les règles qui transforment un nombre en catégorie discrète — suivent la même logique. Les frontières sont dans la configuration, pas déduites par un modèle au moment de noter. En général, on tranche la catégorie avant de classer à l’intérieur de la catégorie, pour qu’un petit écart près d’une frontière ne fasse pas passer, en silence, devant un sujet dont la catégorie est nettement meilleure.

6. Classer sans cacher la méthode

Passer des contributions par signal à un classement ouvre des ratés faciles à glisser sous le tapis si la méthode n’est pas dite. Trois reviennent assez souvent pour être nommés.

6.1 Biais de volume

Beaucoup de signaux faibles, peu assurés, peuvent totaliser plus qu’un petit nombre de signaux forts et bien ancrés. Sans correction, la quantité de preuves — qui dépend en partie de ce qui a été écrit sur le sujet — pèse sur la note sans égard à la qualité.

6.2 Annulation

Par défaut, positif et négatif s’additionnent. Un sujet dont le dossier est réellement conflictuel peut donc atterrir sur une note agrégée modérée, l’air de « il ne se passe rien », alors que le fond montre un désaccord sérieux. L’état de conflit de la section 4 doit rester visible hors du chiffre final : la note, seule, ne porte pas cette information.

6.3 Relativité au lot

Si l’on normalise par rapport aux extrêmes du lot de comparaison du moment, le même sujet change de rang relatif dès que la composition du lot change, sans que ses propres preuves aient bougé. Un rang n’est alors comparable ni d’une exécution à l’autre, ni d’une période à l’autre, ni d’un ensemble à l’autre. Il faut le dire, au lieu de le présenter comme une mesure absolue.

On réduit à la fois la dépendance au lot et le biais de volume en atténuant l’effet du nombre de preuves et en projetant le résultat sur une échelle absolue fixe, non relative au lot. Une forme illustrative, paramétrée — k, midpoint, scale et s comme paramètres de configuration, non comme constantes de production — peut s’écrire :

damping = min(1, evidence count / k)

absolute score = midpoint + scale × tanh(aggregate contribution / s)

La première ligne plafonne ce qu’un volume supplémentaire peut encore gonfler, une fois environ k pièces indépendantes atteintes. La seconde projette l’agrégat atténué sur une échelle bornée centrée sur midpoint : scale règle la largeur de la plage, s la vitesse de saturation. Les valeurs concrètes relèvent de la calibration, pas de l’architecture. Toute mise en œuvre de cette idée se valide avant d’être tenue pour prête à la production — y compris en vérifiant que le vocabulaire (par exemple, éviter « bayésien » si la méthode ne tient pas réellement une distribution a posteriori) correspond à ce que fait le code.

Rien de tout cela n’efface les limites ; cela les déplace et les borne. Biais de volume, annulation, relativité au lot : propriétés documentées de la méthode de classement, pas des anomalies à recoudre hors de vue.

7. Ce que le déterminisme donne — et ce qu’il ne donne pas

Il faut être précis. On surestime volontiers ce que « déterministe » achète ici.

Le déterminisme donne la reproductibilité : la même entrée structurée et validée produit le même résultat, à chaque fois, sur chaque machine, indéfiniment. Il ne donne pas l’exactitude. Une fonction déterministe peut appliquer fidèlement une formule fausse, un poids périmé, une pondération initiale biaisée — et le faire de façon constante plutôt qu’aléatoire, ce qui rend l’erreur plus difficile à voir, non plus facile.

L’ancrage (section 3) donne la traçabilité : on remonte d’une note à l’extrait et à la source qui l’ont produite. Il ne donne pas la complétude. Un dossier bien ancré peut encore manquer des preuves jamais collectées.

La notation de confiance donne une représentation structurée de l’incertitude. Elle ne donne pas une probabilité statistiquement calibrée, sauf exercice de calibration mené contre des résultats réels. Traiter une confiance non calibrée comme une probabilité est une erreur de catégorie ; il faut s’en garder explicitement.

En bref : déterminisme, ancrage et notation de confiance rendent un comportement inspectable, reproductible, contestable. Ils ne rendent pas, à eux seuls, les résultats garantis justes.

8. Évaluer chaque étage de la chaîne

Un résultat final d’apparence correcte peut cacher des erreurs qui s’annulent par hasard. Un résultat faux peut naître à n’importe quel étage antérieur — collecte, extraction, ancrage, estimation de confiance, classement. Si l’on n’évalue que le rapport final, on ne saura jamais lequel a failli.

L’évaluation se structure donc par étage, pas seulement de bout en bout. Au minimum :

• précision et rappel de la collecte — les sources qui comptent ont-elles été trouvées ?
• précision et rappel de l’extraction — les assertions de ces sources ont-elles été saisies correctement ?
• erreurs d’ancrage — attribution au bon sujet, ancrage dans le texte source ?
• assertions non étayées — à quelle fréquence le système affirme-t-il ce que les preuves collectées ne portent pas ?
• détection des conflits — le système marque-t-il vraiment la contradiction, au lieu de la moyenner ?
• calibration de la confiance — les niveaux annoncés correspondent-ils à la fiabilité constatée face aux résultats ?
• stabilité du classement — de combien le rang bouge-t-il sous de petits changements non substantiels du lot de comparaison ?

Un changement de méthode — nouvelle pondération, nouveau modèle de confiance, nouvelle façon de classer — passe par cette évaluation par étage. On ne le met pas en production parce que le résultat final « a l’air raisonnable ». Le défaut sensé, c’est de rester fermé : ce qui n’a pas passé l’évaluation pertinente ne part pas en ligne. Toute exception exige une dérogation explicite, auditée, jamais un silence.

9. Modes de défaillance connus

Outre les ratés propres au classement (section 6), le schéma a d’autres failles caractéristiques. Autant les nommer que les présumer absentes :

• Un ancrage par règles peut mal ranger une source. Les heuristiques d’entités — privilégier les noms à plusieurs tokens, écarter l’écho de la requête, exiger une relation réelle plutôt qu’une co-occurrence — réduisent les faux positifs ; elles ne les éliminent pas.
• La notation déterministe reproduit ses hypothèses, y compris les fausses. Un poids mal calibré ou une pondération initiale périmée ne se corrige pas tout seul ; on l’applique, constamment, jusqu’à ce que quelqu’un la change.
• Recalculer ne répare pas un fait déjà stocké et faussement ancré. Relancer la fonction de notation sur un dossier corrompu, c’est reproduire l’erreur, de façon déterministe. Il faut recollecter et réextraire, pas changer de formule.
• Les hiérarchies de sources encodent des arbitrages, révisables. Les poids de la section 3 sont des défauts, pas des vérités établies ; on les réexamine quand le système change de contexte.
• Des pondérations initiales de catégorie ou de secteur peuvent biaiser le système si on les fixe une fois et qu’on ne les confronte plus au comportement réel de la population notée.
• La note finale ne vaut que les preuves en dessous. Aucune rigueur en aval ne rattrape une collecte qui a manqué les sources qui comptaient.

Rien de tout cela n’invalide l’architecture. Ce sont précisément les points que le programme d’évaluation doit viser — parce que le déterminisme rend le comportement prévisible, non automatiquement correct.

10. Calibration et vérité de terrain

Régression et jeux figés — relancer un ensemble d’entrées connues, vérifier que les résultats n’ont pas dérivé — attrapent le changement involontaire. Ils ne remplacent pas une calibration contre des résultats qui n’ont pas servi à construire le système.

Un programme crédible a besoin d’un jeu de vérité de terrain construit à part : des sujets travaillés à la main, par des gens qui n’ont pas accès aux résultats du système, pour mesurer directement collecte, extraction, ancrage, confiance et classement, au lieu de les déduire d’une cohérence interne. Un jeu modeste mais vraiment indépendant — de l’ordre de quelques dizaines de sujets, sur une poignée de questions représentatives — suffit en général à faire apparaître les plus gros écarts de calibration, même s’il ne tranchera pas tous les cas limites.

Tant que cette évaluation n’a pas réellement eu lieu, les valeurs de confiance restent structurées mais non calibrées. Toute revendication de « précision » ou de « rappel » pour le système est provisoire. Ce n’est pas une réserve à citer une fois puis à oublier : c’est une limite qui doit rester visible dans toute description du système, aussi longtemps qu’elle est vraie.

11. Principes de conception

Repris hors des mécaniques, le schéma tient sur peu de principes transposables :

1. Garder l’extraction et le jugement dans des composants distincts, même s’il serait plus simple de tout faire en un seul appel au modèle. C’est cette coupure qui rend chaque moitié testable à part.
2. Faire de l’inconnu un résultat de plein droit. Un système incapable de dire « inconnu » finira par affirmer faux, avec assurance, parce que chaque champ doit contenir une valeur.
3. Ancrer chaque assertion dans une source qu’on peut rouvrir. Une citation sans chemin vers un texte collecté n’est pas une preuve ; c’est une chaîne de caractères qui sonne juste.
4. Écrire les critères du métier en règles inspectables, non en consignes au modèle, partout où ces critères tranchent un résultat qui engage. Les règles se revoient, se versionnent, se testent ; les arbitrages coincés dans une consigne, en général, non.
5. Dire les limites du classement au lieu de les absorber. Biais de volume, annulation, relativité au lot sont des propriétés d’une méthode, pas des défauts à cacher — à condition de les documenter.
6. Aligner le vocabulaire statistique sur le comportement réel. Une moyenne n’est pas une distribution a posteriori. Un score de confiance non calibré n’est pas une probabilité, tant que la méthode ne justifie pas le mot.
7. Évaluer chaque étage, pas seulement le rapport final. Un résultat d’apparence correcte ne prouve pas une chaîne saine.
8. Rester fermé sur les changements de méthode qui n’ont pas passé l’évaluation pertinente, et exiger un chemin explicite, audité, pour toute exception.

12. Conclusion

Le schéma n’a rien de sophistiqué, pièce par pièce. Pondérer les sources, noter la confiance, appliquer des formules déterministes, extraire avec l’aide d’un modèle : techniques établies, banales prises isolément. Ce qui compte en architecture, c’est de les tenir séparées dans une chaîne imputable. Le modèle aide à retrouver, extraire, structurer, interpréter. Un logiciel déterministe, inspectable, tranche la classe, la note et le rang. L’inconnu et l’insuffisance restent des résultats valides, visibles — on ne les lisse pas en un chiffre qui a l’air plausible.

Le système peut encore faillir : entités mal ancrées, poids mal calibrés, pondérations initiales biaisées, preuves jamais collectées. Ces failles ne plaident pas contre l’architecture ; c’est pour elles que le programme d’évaluation existe.

On ne décrira pas ce système comme un juge autonome. C’est une chaîne contrôlée, où chaque composant a une charge définie et des failles connues. Sa crédibilité ne tient pas à l’apparence sophistiquée des résultats. Elle tient à ceci : peut-on les ramener aux preuves, les reproduire à partir des mêmes entrées structurées, les contester sur la méthode, et les retenir quand les preuves, vraiment, ne portent pas de conclusion ?