Six mois à faire tourner un modèle sur mon propre serveur
Inférence auto-hébergée — écrit le 25 août 2026, repris ici le 2 septembre 2026
Note de reprise. Ce texte a été écrit et publié ailleurs le 25 août 2026, avant que ce site existe. Il est repris ici tel qu’il a été écrit. Les mesures qu’il cite ont depuis été révisées : voir le registre pour leur état courant.
Six mois à faire tourner un modèle de langage sur mon propre serveur. Pas de démonstration, pas de discours. Des mesures, des erreurs, et des alertes disque à deux heures du matin.
Trois leçons que personne ne m’avait vendues.
Le coût caché n’est pas le GPU, c’est le prompt
Entre 39 et 47 % de mes tokens étaient identiques à chaque requête.
On dimensionne un système d’inférence en pensant au calcul. La part du travail qui se répète à l’identique d’un appel à l’autre est invisible tant qu’on ne l’instrumente pas, et c’est elle qui décide si un cache sert à quelque chose.
Votre métrique de qualité mente, jusqu’à preuve du contraire
38 % des éléments importants étaient hors de son périmètre.
Une métrique qui ne couvre pas ce qu’on croit qu’elle couvre ne signale rien. Elle rassure. C’est pire qu’une absence de métrique, parce qu’elle occupe la place.
La confiance se gagne par ce que le modèle n’a pas le droit de faire
Chez moi, il ne régénère jamais le texte source. Jamais.
Ce n’est pas une précaution de style : un verbatim qui doit rester opposable ne peut pas être réécrit par un modèle. La provenance est reconstruite depuis la source, jamais générée.
C’est une contrainte d’architecture, et c’est elle qui rend le système défendable devant quelqu’un qui n’a pas envie de le croire.