Un modèle qui répond mal ne plante pas
Inférence auto-hébergée — écrit le 27 août 2026, repris ici le 2 septembre 2026
Note de reprise. Ce texte a été écrit et publié ailleurs le 27 août 2026, avant que ce site existe. Il est repris tel qu’il a été écrit, à une exception près : la version d’origine décrivait le système comme une recherche augmentée. C’était inexact. Il s’agit d’un pipeline d’extraction déterministe suivi d’une classification locale, et la distinction est développée dans les notes suivantes.
Erreurs : zéro. Latence : 98 ms. Alertes : aucune.
Et les réponses sont fausses.
Un modèle de langage qui répond mal ne plante pas. Il répond. C’est le problème qui m’a coûté le plus de temps en six mois d’auto-hébergement : toute la supervision classique dit que tout va bien.
Ce qui marche chez moi n’a rien d’élégant.
Un jeu de cas versionné comme du code
Propriétaire identifié, rejoué à chaque changement de modèle, de prompt ou d’index. Sans cela, on ne sait pas si une variation vient du système ou du hasard.
Une revue humaine sur échantillon aléatoire
Aléatoire, et pas sur les cas signalés. Sinon on ne mesure que ce qu’on soupçonnait déjà, et on confirme ses propres hypothèses en croyant vérifier.
Le taux de désaccord suivi comme une métrique à part entière
L’écart entre le juge automatique et le juge humain. C’est lui qui décide quand relâcher la revue, pas une impression.
Ce que ça ressemble vraiment
Moins à de la supervision applicative qu’à du contrôle qualité industriel. On échantillonne, on compare à une référence, on accepte une part d’incertitude et on la chiffre.
Le coût humain de l’évaluation ne disparaît pas. Les organisations qui tiennent sont celles qui l’ont accepté.