Le problème
Une vingtaine de normes de plusieurs dizaines de pages font environ 800 pages. Si le LLM reçoit tout le texte d'un coup avec le cahier des charges, il oublie des passages et en invente. Il faut découper le travail.
La correspondance se vérifie dans les deux sens :
- sens 1, du cahier des charges vers les normes : chaque donnée est rattachée aux exigences qui la visent. C'est ce qui donne sa couleur à la donnée ;
- sens 2, des normes vers le cahier des charges : chaque exigence applicable est rattachée aux données qui y répondent. Sinon, elle est signalée comme absente.
Ce n'est pas une bijection au sens strict. Une donnée peut relever de plusieurs exigences et une exigence peut viser plusieurs données ; beaucoup de données ne relèvent d'aucune norme. Le résultat est une table de correspondance contrôlée dans les deux sens : une matrice de traçabilité.
Vue d'ensemble
Le principe : le LLM ne lit jamais plus qu'un passage précis à la fois. Il ne décide pas seul de la couleur : le code vérifie ce qu'il cite et fait les calculs.
LLM le LLM lit un passage court ; code le travail est fait par le programme, sans LLM ; humain l'utilisateur valide.
1. Préparation, une fois par norme
Les normes sont presque toutes bâties sur le même plan : domaine d'application, références normatives, termes et définitions, exigences par thème, annexes. On s'appuie sur cette logique.
1Découpage en paragraphes numérotés code
Le texte de la norme est découpé selon sa numérotation (4, 4.2, 4.2.1…). Chaque paragraphe garde sa page, son titre de section et l'édition de la norme. Pour un PDF scanné, la reconnaissance de caractères se fait d'abord sur le GPU.
2Fiche résumé, une page par norme code LLM
Le code reprend le sommaire, le § 1 et le § 2. Le LLM n'écrit qu'une phrase de résumé par section.
- Thème : finition des pièces en acier inoxydable.
- S'applique à : pièces en acier inoxydable après fabrication, en particulier celles destinées à une zone à contamination contrôlée. Exclut : les pièces moulées.
- Renvoie à : FICT 105 (états de surface), FICT 107 (propreté).
- Plan : § 4 décapage et passivation · § 5 rugosité des faces exposées · § 6 polissage · annexe A contrôle de la passivation.
3Carte des recouvrements LLM humain
Une table croise les thèmes et les normes. Quand une donnée tombe dans un thème, toutes les normes de ce thème sont lues, pas seulement la première trouvée.
| Thème | Normes qui en traitent (banc d'essai) |
|---|---|
| État de surface | FICT 105 (général), FICT 106 (inox, zone contrôlée) |
| Tolérances générales | FICT 103 (cotes usinées), FICT 104 (constructions soudées) |
| Soudage | FICT 108 → FICT 110 (niveaux de qualité) → FICT 111 (ressuage) |
| Propreté, décontamination | FICT 106, FICT 107 |
4Index plein texte code
Tous les paragraphes de toutes les normes sont indexés mot à mot (« Ra », « rugosité », « chanfrein »…). C'est le second chemin de l'aiguillage, indépendant des résumés.
2. Sens 1 : de chaque donnée vers les exigences
1Normes applicables LLM humain
On part des normes citées par le cahier des charges et de celles dont le domaine d'application couvre l'objet. Le LLM propose la liste à partir des fiches résumé, et l'utilisateur la valide. Une norme hors sujet est écartée ici avec sa raison, par exemple « pièces moulées : l'objet est soudé ».
2Repérage des données code
Les valeurs chiffrées, les nuances, les classes et les matières sont repérées par l'outil colorer_normes, qui existe déjà.
3Aiguillage large, par deux chemins LLM code
- par le sens : les fiches résumé (20 pages en tout, lues d'un coup) et la carte des recouvrements donnent les normes et les sections utiles ;
- par les mots : l'index plein texte donne les paragraphes qui contiennent les mêmes termes ;
- tout paragraphe trouvé par l'un ou l'autre chemin est candidat. Le code suit aussi les renvois (« selon FICT 110 », « voir 4.2 ») sur un ou deux niveaux.
4Passage assemblé code
Un paragraphe seul ne suffit pas toujours. Le code y joint le titre de sa section, les définitions du § 3 qu'il emploie, et les tableaux et paragraphes qu'il cite.
5Lecture par le LLM : une réponse structurée, pas un verdict LLM
Le LLM lit le passage et la donnée, puis dit ce que le passage exige, avec la citation exacte :
{"norme": "FICT 106", "paragraphe": "5.2", "type": "plage", "max": 0.8, "unite": "µm",
"condition": "pièce destinée à une zone à contamination contrôlée",
"citation": "Les faces exposées des pièces destinées à une zone à contamination
contrôlée présentent une rugosité Ra au plus égale à 0,8 µm."}
6Contrôle par le code, puis couleur code
- la citation doit se trouver mot pour mot dans le passage, sinon la réponse est rejetée : c'est le garde-fou contre l'invention ;
- la condition est confrontée au cahier des charges. S'il ne permet pas de trancher, la question est posée à l'utilisateur ;
- le verdict est un calcul : dans la plage, hors de la plage, égal, membre de la famille…
7Mémoire code humain
Chaque réponse validée est gardée comme fiche d'exigence. Le LLM tourne à température 0 : une même donnée face au même passage donne toujours le même résultat. La relecture humaine ne porte que sur les fiches réellement utilisées.
- Aiguillage : thème « état de surface » → FICT 105 § 5 et FICT 106 § 5 ; l'index trouve aussi « Ra » dans FICT 102 (pièces moulées), norme écartée car hors sujet.
- FICT 105 § 5.2 : Ra choisi dans la série 0,4 – 0,8 – 1,6 – 3,2 – 6,3 µm → 1,6 en fait partie : encadré
- FICT 106 § 5.2 : zone à contamination contrôlée → Ra ≤ 0,8 µm. Le cahier des charges dit bien « zone à contamination contrôlée » → la condition s'applique → 1,6 > 0,8 : hors norme ⚠
- Deux normes, deux verdicts : la donnée prend le plus sévère, et la note cite les deux. Un aiguillage qui se serait arrêté à FICT 105 aurait manqué l'écart.
3. Sens 2 et contrôle croisé
Le sens 1 part des données du cahier des charges. Il ne peut donc pas voir une exigence que le cahier des charges oublie. Le sens 2 la fait apparaître :
- pour chaque section des normes applicables, le LLM liste les exigences (une section à la fois), avec citation contrôlée par le code ;
- chaque exigence est cherchée dans le cahier des charges, d'abord par les mots, puis par le LLM sur les passages candidats ;
- rien trouvé : exigence absente, inscrite au rapport (par exemple : « emballage sans contact avec l'acier non allié » alors que le cahier des charges ne parle pas d'emballage).
Contrôle croisé : une paire donnée–exigence trouvée dans un sens doit l'être aussi dans l'autre. Les désaccords et les conflits entre normes forment une liste courte, relue par l'utilisateur. Un passage n'est perdu que si les deux sens le manquent.
4. Garde-fous
| Risque | Parade |
|---|---|
| Le LLM invente une exigence ou un chiffre | citation contrôlée mot pour mot par le code ; chiffres et tableaux lus par le code ; le LLM ne décide jamais seul de la couleur |
| Normes qui se recoupent : un passage manqué | aiguillage large (toutes les normes du thème), deux chemins indépendants, renvois suivis, sens 2 en filet de sécurité |
| Deux normes en désaccord | la donnée prend le verdict le plus sévère, la note cite les deux ; l'utilisateur tranche ou applique l'ordre de priorité du contrat |
| Exigence conditionnelle (« si zone contrôlée », classe, catégorie) | condition écrite dans la réponse et confrontée au cahier des charges ; question posée si le texte ne tranche pas |
| Norme hors sujet qui contient les mêmes mots | domaine d'application lu dans la fiche résumé ; norme écartée avec sa raison |
| Résultat qui change d'un passage à l'autre | température 0 et mémoire des réponses validées |
| Normes sous licence, documents confidentiels | tout reste sur la machine locale (DGX) ; le LLM est local |
5. Couleurs dans le cahier des charges
| Couleur | Statut | Sens |
|---|---|---|
| vert | imposé | la norme fixe la donnée |
| jaune | encadré | la norme donne une plage ou une famille ; le cahier des charges choisit dedans |
| orange | à préciser, hors norme ⚠, à vérifier, conflit | plus large que la norme ; hors de ce qu'elle permet ; norme citée mais non fournie ; normes en désaccord |
| bleu clair | libre | aucune norme fournie ne vise la donnée |
Chaque donnée colorée porte une note : norme, paragraphe, citation et verdict.
6. Banc d'essai test_protocol_1
Un jeu d'essai entièrement fictif, dont on connaît la bonne réponse, pour mesurer le protocole avant de l'appliquer à de vraies normes.
Chaque norme a plusieurs pages et suit le plan usuel. Elles traitent de tôles inox, de tolérances, d'états de surface, de soudage, de visserie, de joints, d'étanchéité (IP), de chocs (IK), de marquage, de certificats, d'emballage et de traçabilité. Deux sont hors sujet, et sont là pour piéger.
Un carter soudé en inox, qui protège un capteur dans une zone à contamination contrôlée. Il cite souvent les normes, et parfois une norme qui n'est pas fournie.
Pièges placés volontairement
- recouvrements : deux normes sur un même sujet avec des exigences différentes (état de surface, tolérances) ;
- renvois en chaîne : le soudage renvoie aux niveaux de qualité, qui fixent l'étendue du ressuage ;
- conditions : exigences qui ne valent qu'en zone contrôlée, ou au-delà d'une pression ;
- tableaux : tolérances d'épaisseur, couples de serrage, énergies de choc ;
- normes hors sujet qui contiennent les mêmes mots ;
- exigences absentes du cahier des charges, à trouver par le sens 2.
Mesures
Une « vérité terrain » donne, pour chaque donnée, les exigences attendues et le statut attendu, ainsi que la liste des exigences absentes. On mesure dans chaque sens :
- le rappel : la part des correspondances attendues que le protocole retrouve ;
- la précision : la part des correspondances proposées qui sont justes ;
- les statuts justes, et les pièges déjoués un par un.
7. Décisions à prendre
- Le LLM local et sa longueur de contexte.
- La forme des normes reçues : PDF avec du texte, ou scannées.
- Qui relit les fiches résumé, la carte des recouvrements et les fiches d'exigences, et combien de temps y consacrer.
- L'ordre de priorité entre normes en cas de désaccord, s'il est fixé par le contrat.