Le piège de l’optimisation
Un système capable poursuit l’objectif qu’on lui donne, pas celui qu’on avait en tête. La loi de Goodhart devient un problème d’ingénierie.
Propriété, alignement et travail à poursuivre une fois le modèle en place.
Propriété, alignement et travail à poursuivre une fois le modèle en place.
Un système capable poursuit l’objectif qu’on lui donne, pas celui qu’on avait en tête. La loi de Goodhart devient un problème d’ingénierie.
Quand le logiciel cesse de tenir la relation avec celui qui s’en sert
Un modèle répond. Un agent agit. Lancer un processus ne fait pas la souveraineté. On l’est lorsqu’on peut l’arrêter — et le savoir.