Dossier de relecture — deux sessions de mesure, 19-20 août 2026

À qui ce document s'adresse. À un relecteur qui n'a assisté à aucune des deux sessions et doit pouvoir rejouer ce qui est affirmé ici, ou le réfuter. Chaque résultat porte la commande qui le produit et les réserves qui le bornent.

Lisible en HTML à /benchmarks/ (la route rend tout .md du dossier).

Ce document ne tient AUCUN état d'avancement — c'est le rôle de CHANGELOG/, de PLAN/PASSATION.md et de la mémoire. Il consigne des mesures et la façon de les refaire.

0. Les cinq résultats, et ce qu'ils coûtent à croire

1. LE VERBATIM — pourquoi les citations étaient « introuvables »

Ce qui était supposé

« Sur pièces, Mistral concatène : il colle une phrase d'amorce à la liste qui suit. » Le correctif attendu était donc dans le prompt d'extraction.

Ce que la mesure dit

docker compose exec -T web python \
    benchmarks/extraction_format/typer_les_non_verbatim.py

La concaténation fait 3 cas sur 21 chez Small. Zéro ellipse : aucun modèle n'annonce son élision.

L'exemple qui a tout retourné

La page 1 du corpus porte littéralement :

source  : « … d'un territoire . Soutenu depuis 2011 … »
extrait : « … d'un territoire. »

Le point est détaché de son mot par notre ingestion. Le modèle le recolle, comme le ferait un humain — et notre comparaison lui refusait sa citation. Les trois modèles font la même correction au même endroit : les extractions 34, 167 et 301 sont un seul passage vu par trois modèles.

Même famille : « par IMS Global , un consortium », « des 1/3 Lieux(La Bobine », « Le créateur/ la créatrice ».

La répartition des 60 citations INTROUVABLE

⚠️ Cette répartition a d'abord été publiée à l'envers (21 points ajoutés, 7 espaces). L'outil ne refusait que les ponctuations fortes (?, !) après le passage, jamais un . que la source portait déjà : 13 cas changeaient de colonne, et avec eux la conclusion — ce n'était pas le modèle qui met en phrase, c'était nous qui détachons les points. Verrouillé par test_un_point_deja_dans_la_source_n_est_pas_un_point_AJOUTE.

Les deux correctifs, et leur garde-fou

1. core/services/verification.py tolère trois retouches de forme (point final, casse d'amorce, espace de ponctuation) — jamais un changement de fond.
2. hypostasis_extractor/services/ingestion_docling.py recolle la ponctuation détachée, à l'ingestion.

Ce que la tolérance doit refuser, et qui est testé :

Trois de ces cinq ont été trouvés par relecture adverse après une première version que je croyais sûre.

2. LES RÉDACTEURS — ce que neuf passes autorisent à dire

Le protocole, et les trois défauts qu'il ferme

docker compose exec -T -e NOMBRE_DE_PASSES=3 \
    -e MODELES_DU_BANC='{"small": 1, "medium": 5, "large": 4}' \
    web python benchmarks/redaction/lancer_les_passes.py
docker compose exec -T web python benchmarks/redaction/analyser_les_passes.py

Le bruit, mesuré au lieu d'être supposé

mistral-large rend 29,4 % puis 40,6 % sur deux passes identiques, à température 0. Onze points d'amplitude avec lui-même.

Ce qui tranche, et ce qui ne tranche pas

Tout classement fondé sur le « % vérifiées » — y compris ceux publiés le 18 et le 19 août — est du bruit.

L'effet du SUJET égale celui du modèle

% de prose sans marqueur, par article, médiane sur trois passes :

Small passe de 4,5 % à 35,2 % selon le sujet. « Gouvernance collective » est celui que le corpus couvre le moins : le modèle comble le vide avec de la prose non sourcée, précisément là où il devrait se taire. Aucun choix de modèle ne corrige cela.

La porte du prompt, ouverte puis fermée

La consigne disait :

« Chaque affirmation tirée d'une hypostase se termine par le marqueur de sa source »

Elle conditionnait le marqueur à l'origine de la phrase. Une phrase de synthèse générale n'est, du point de vue du modèle, tirée d'aucune extraction en particulier : elle échappait à la règle sans la violer.

Réécrite en « TOUTE AFFIRMATION … si une phrase ne peut porter aucun marqueur, supprime-la », avec deux exceptions nécessaires (titres, liaisons structurelles) :

Large supprime les deux tiers de sa prose non sourcée sans changer de modèle — et son taux de vérifiées BAISSE. Ce n'est pas une régression : il source désormais ce qu'il laissait nu, et le juge note ces sources-là faibles. Son « 35 % » se lisait sur la moitié de son texte.

Le tarif

Prompt d'entrée identique pour les trois (15 365 caractères mesurés).

Large est dominé : Small le bat sur les deux axes, Medium sur la qualité. C'est le milieu de gamme qui ne gagne rien, et il est le plus instable.

Les coûts réels ne sont pas enregistrés en base (les trois champs prévus n'ont aucun écrivain). Calcul depuis les caractères mesurés, 4 caractères par token. Le classement ne dépend pas de cette conversion, les montants absolus si.

3. LES JUGES LOCAUX — ce que le jeu adverse ne prouve pas

La fuite, et comment la rejouer

docker compose exec -T web python \
    benchmarks/juge_de_verification/comparer_un_encodeur.py --adverse \
    --depuis /app/benchmarks/juge_de_verification/encodeurs-adverse.json

Le tableau imprime désormais deux baselines :

97 % des affirmations fausses portent une négation, contre 42 % des vraies. Toutes les paires perturbées sont fausses, toutes les vraies non perturbées, et la perturbation dominante est une négation.

Ce qui tombe : la preuve positive que ces juges vérifient. Une AUC de 0,74 est compatible avec le biais NLI « marqueur de négation ⇒ contradiction ». Ce qui tient : la conclusion négative — écarter les deux LettuceDetect est mieux fondé encore, ils échouent alors qu'un indice de surface était à portée.

Le résultat neuf : deux juges sur quatre sont muets

836 avis réels, écrits sur les 209 citations jugeables du carnet :

docker compose exec -T web python manage.py noter_avec_les_juges_locaux

Les deux MEILLEURS juges sont muets 85 % du temps. Cause : la MARGE_DE_NEUTRALITE = 2,5 est appliquée uniformément à des échelles différentes. Les juges à contradiction rendent (P(ent) − P(contra) + 1)/2, très concentré autour de 50 — CamemBERTa v2 va de 43,1 à 78,4, médiane 50,1. bge-m3 rend P(entailment) brut, étalé de 0,3 à 99,2.

Conséquence non dite jusqu'ici : l'accord affiché repose de fait sur bge-m3 — précisément le juge sans classe contradiction, c'est-à-dire sans le seul signal que le dossier défend.

16 citations sur 225 ne sont notées par personne : toutes introuvable. C'est sain — une citation dont le passage n'existe plus n'a pas de paire.

3 bis. CE QUE LES MESURES ONT ÉCARTÉ À L'ÉCRAN

Trois designs successifs ont été proposés puis tués par une mesure, avant qu'une ligne de production ne soit écrite. C'est le meilleur exemple de ce que ce dossier sert à permettre.

Ce qui a été retenu : le renvoi [N] passe en ambre quand les locaux démentent franchement le cran — 16 citations sur 209, soit 7,7 %. Assez rare pour se voir, assez fréquent pour se rencontrer.

docker compose exec -T web python manage.py shell -c "
from core.models import SourceLink
from core.services.degre_agrege import degre_agrege, tension_des_juges
from collections import Counter
c = Counter(
    tension_des_juges(list(l.avis_locaux.all()), l.score_de_verification)
    for l in SourceLink.objects.filter(avis_locaux__isnull=False).distinct()
                               .prefetch_related('avis_locaux'))
print(dict(c))"

Un agrégat ne pourra piloter la couleur que le jour où il dépassera ~0,6 d'AUC contre une référence. La moyenne des quatre fait 0,566 — et le meilleur juge seul fait 0,642 : moyenner détruit de l'information.

4. LES PROCÉDURES, pour tout rejouer

Trois pièges, chacun a coûté une mesure :

1. Une seule suite de tests à la fois. L'échec ne ressemble pas à sa cause — des centaines d'erreurs en real_ensure_connection. Avant tout make test-rapide : bash docker exec hypostasia_web sh -c "ps -eo args | grep -c '[m]anage.py test'" ps -eo args | grep -c "[m]ake test" Zéro partout, ou on ne lance pas.
2. Redémarrer les workers après toute modification de code — sans quoi ils tournent avec l'ancien, et la mesure ne dit rien.
3. Un banc qui déplace un rôle doit le reposer en partant : un rôle posé à la main survit au redémarrage (get_or_create, pas update_or_create).

5. CE QUE CES DEUX SESSIONS NE DÉMONTRENT PAS

• Aucun juge n'a démontré qu'il vérifie. Le jeu adverse fuit ; l'étalon et les 15 paires relues sont lexicalement saturés (un recouvrement de mots y fait 0,889 et 0,981). Il n'existe aucune référence propre à ce jour.
• Trois répétitions, c'est peu. L'étendue sur trois points sous-estime la dispersion : les verdicts « tranche » les plus serrés (prose nue Medium/Large, 16,2 contre 14,8) sont des indices, pas des preuves.
• Le juge de production a sa propre variation, non isolée : une part du « bruit » attribué au rédacteur lui appartient peut-être.
• Quatre articles, un corpus, un carnet de démonstration, 6 notes dont 5 analysées.
• Le taux de verbatim de gemini-2.5-flash (100 %) reste invérifiable : la base a été détruite, et il tournait à température 0,7.
• Les 60 INTROUVABLE typés l'ont été sur les articles d'UN SEUL rédacteur (mistral-large), et 60 liens ne sont que 43 citations distinctes.
• La vérification au navigateur n'a pas été faite pour le bloc de preuve pliable, en clair et en sombre, contrastes calculés. C'est une exigence d'AGENTS.md que rien ne remplace.