Six valeurs du même indicateur
Inférence auto-hébergée — écrit le 1er septembre 2026, repris ici le 2 septembre 2026
Note de reprise et correction. Ce texte a été écrit et publié ailleurs le 1er septembre 2026, avant que ce site existe. Il est repris tel qu’il a été écrit, et il contient deux erreurs que j’ai découvertes le lendemain : la valeur citée ne portait pas sur le corpus auquel je l’attribuais, et le corpus comptait 536 lignes et non 492. Sa conclusion est également trop simple. La correction complète est ici : Un tiers de mes échecs n’en étaient pas. Ce texte reste en ligne parce qu’une correction se signale, elle ne s’efface pas.
Six valeurs du même indicateur, en une semaine. Le modèle n’a jamais changé.
Pas de réentraînement. Pas de nouveau prompt. Aucun réglage touché.
À chaque fois, c’était la mesure qui était fausse.
Trois causes, et aucune n’est propre à mon cas.
Un test qui encode sa propre hypothèse ne teste rien
Ma première mesure comparait la sortie du système à ce que je croyais être la bonne réponse. Pas une vérité de terrain : une intuition écrite en dur.
Il validait ma supposition, pas le système.
Sans vérité de terrain, il n’y a pas de rappel
492 énoncés arbitrés à la main, un par un. Le travail le plus ingrat de ces six mois.
Et le seul qui ait rendu tous les chiffres suivants interprétables.
Un chiffre sans dénominateur voyage
Un même « 60 % » ne dit pas la même chose selon ce qu’on met en dessous. La valeur a circulé dans quatre documents avant que je voie qu’elle ne désignait pas la même population.
Ce qui me reste
Quand un indicateur bouge, le premier réflexe est d’aller regarder le système. C’est presque toujours le mauvais endroit.
Une organisation qui ne sait pas mesurer si elle progresse ne peut pas décider si un outil vaut son coût. Vrai pour un lab personnel comme pour un budget à sept chiffres.
Mon registre porte deux lignes vides : le coût unitaire réel, et la latence en percentiles sur le chemin applicatif. Je ne les ai pas mesurées. Je préfère l’écrire que l’estimer.