Ce n'est presque jamais le modèle

Inférence auto-hébergée — publié le 8 septembre 2026

Quand un système à base de modèle de langage rate quelque chose, le réflexe est d’incriminer le modèle. Mauvais prompt, contexte trop court, capacité insuffisante.

Sur les 109 énoncés que ce système ne relève pas, le modèle n’est en cause dans aucun.

Et la catégorie que tout le monde suppose dominante — le vocabulaire manquant — est la plus petite des cinq.

D’où viennent ces 109

La note précédente posait le décor : sur 421 énoncés contraignants, 312 sont relevés et 109 ne le sont pas. Un tiers de ces manques venaient de l’instrument de mesure et non du système.

Cette note-ci s’intéresse aux deux tiers restants, et surtout à une question de décision : où mettre l’effort de correction.

Les 109 ont été comparés mécaniquement, jamais par un modèle, à l’ensemble des candidats réellement produits par le balayage. Cinq mécanismes en ressortent.

Les cinq mécanismes

Le bornage domine tout le reste. Le candidat s’arrête à un deux-points alors que l’énoncé se poursuit dans une énumération qui est grammaticalement l’objet du même verbe. Ou l’inverse : une longue proposition sans verbe précède le verbe réel, et le candidat démarre trop tard.

Dans les cinquante-neuf cas, le bon verbe a été détecté, dans la bonne phrase. Ce qui échoue, c’est de savoir où la phrase commence et où elle finit.

La référence non unitaire est un artefact du corpus de jugement : la ligne de vérité-terrain regroupe plusieurs occurrences distinctes, énumération compressée ou citations fusionnées par des ellipses. Aucun balayage ne peut faire correspondre un candidat à une ligne qui n’est la copie exacte d’aucun passage unique.

Le vocabulaire absent couvre les tournures passives, les verbes hors de la liste balayée, les impératifs sans sujet.

Les deux propositions regroupées décrivent une ligne qui couvre un déclencheur puis une action. Le balayage produit bien un candidat par proposition, mais aucun ne couvre la ligne entière, et la part couverte tombe sous un seuil de majorité fixé ailleurs.

L’en-tête collé est un défaut étroit du comparateur : la phrase a été trouvée mot pour mot, avec un titre de section accolé devant, et le comparateur refuse au-delà de huit mots ou si l’ajout contient un signe de fin de phrase. Une référence de section en contient un.

Le modèle n’intervient nulle part

Relisez la liste. Segmentation de phrases, forme des lignes de référence, liste de verbes, seuil de couverture, tolérance du comparateur.

Ce sont cinq décisions d’ingénierie prises en amont, et aucune ne relève de ce que le modèle comprend ou ne comprend pas. Il n’a jamais vu ces cent neuf énoncés : ils ne lui ont pas été soumis, parce que l’étage qui le précède ne les a pas produits comme candidats.

C’est une conséquence de l’architecture, pas un accident. Un modèle qui ne reçoit que des candidats ne peut pas rattraper ce qui n’a jamais été candidat.

Et cela vaut au-delà de ce cas : dans tout système où un modèle est précédé d’une chaîne déterministe, une part des échecs qu’on lui attribue lui est structurellement inaccessible.

Une catégorie n’est pas un défaut

Les quatorze cas de vocabulaire absent méritent d’être sortis du lot.

Le balayage est une liste fermée d’une vingtaine de formes verbales. Une phrase qui n’en emploie aucune lui est invisible par construction, pas par défaut. Ce n’est pas un bug qu’on corrige : c’est le prix d’un choix, celui d’un mécanisme énumérable et rejouable plutôt qu’un jugement statistique.

On peut allonger la liste. On ne peut pas la rendre exhaustive, et prétendre le contraire serait la première fausse promesse du système.

Ce que ça décide

C’est ici que l’analyse cesse d’être technique.

Cinquante-neuf cas de bornage relèvent d’un correctif unique et localisé, sur le détecteur de fin de phrase. Vingt-trois cas — référence non unitaire et en-tête collé — se corrigent dans l’instrument de mesure, pas dans le produit. Treize cas dépendent d’un seuil, donc d’un arbitrage. Quatorze cas sont une limite assumée.

Autrement dit : un seul chantier couvre plus de la moitié du reste à gagner, deux chantiers ne concernent que la mesure, et un quart des cas ne sont pas des défauts du tout.

Sans cette taxonomie, la conversation aurait porté sur le modèle. Elle aurait coûté du temps, elle aurait probablement conduit à essayer un modèle plus gros, et elle n’aurait rien donné.

Savoir distinguer une limite de conception d’un défaut à corriger n’est pas une compétence d’ingénierie. C’est ce qui décide de l’affectation d’un budget.

Ce que je ne peux pas conclure

Deux catégories comptent moins de vingt cas. Les proportions y sont fragiles et je ne les donnerais pas comme stables.

L’analyse porte sur un seul paquet de référence. La répartition entre mécanismes reflète autant la forme rédactionnelle de ces documents-là que le comportement du système.

Une estimation figure au rapport : corriger le détecteur de bornage porterait le rappel par inclusion de 74,1 % à environ 88,1 %. Elle est annoncée comme un majorant, pas un plancher — et la raison invoquée est que deux des cinq catégories existent précisément parce qu’un premier correctif en a exposé un second, plus fin.

Il faudra donc remesurer après, et non conclure avant.

Une note de la série Inférence auto-hébergée. Les mesures citées figurent au registre, avec leur date.