Rapport de test — Format d'extraction LangExtract / Hypostasia

Date : 2026-03-22 Texte source : "La Ronde des Intelligences" (page 15, 19726 chars, ~13 chunks) Auteurs du texte : Dominique Luzeaux, Jean Sallantin, Véronique Pinet, Jonas Turbeaux

1. Contexte et problématique

1.1 Hypostasia et la géométrie des débats

Hypostasia est un outil de gestion de débat et de connaissance. Il analyse des textes pour en extraire l'ossature argumentative en s'appuyant sur la géométrie des débats — une théorie qui définit 30 hypostases (manières d'être discutable). Chaque argument extrait d'un texte est classé selon une ou plusieurs de ces hypostases (théorie, problème, hypothèse, axiome, phénomène, etc.).

L'extraction est réalisée par un LLM (Gemini, GPT, etc.) piloté par la librairie open-source LangExtract (Google). Le LLM reçoit un texte découpé en chunks, et pour chaque chunk il renvoie un JSON structuré contenant les extractions.

1.2 Comment fonctionne LangExtract

LangExtract utilise un format JSON interne pour communiquer avec le LLM. Le développeur définit ses extractions en Python :

Extraction(extraction_class="character", extraction_text="ROMEO", attributes={"emotion": "wonder"})

LangExtract sérialise automatiquement cet objet dans le prompt envoyé au LLM :

{"character": "ROMEO", "character_attributes": {"emotion": "wonder"}}

La clé JSON ("character") correspond à extraction_class. La valeur ("ROMEO") correspond à extraction_text. Le suffixe _attributes est ajouté automatiquement.

Le LLM doit répondre dans ce même format. Le resolver de LangExtract parse la réponse et reconstruit les objets Extraction.

1.3 La question : quel extraction_class utiliser ?

Pour Hypostasia, l'extraction_class peut être défini de deux manières :

Approche A — Classe générique unique : extraction_class = "hypostase" pour toutes les extractions. L'hypostase spécifique (théorie, problème...) est rangée dans les attributs. C'est le pattern classique de LangExtract (comme "character" pour tous les personnages).

Le LLM voit dans les exemples :

{"hypostase": "citation du texte...", "hypostase_attributes": {"hypostases": "théorie, conjecture", ...}}

Toujours la même clé "hypostase" → format simple et prévisible.

Approche B — Classe spécifique variable : extraction_class = le nom de l'hypostase principale ("théorie", "problème", "hypothèse"...). Chaque extraction a une clé JSON différente. Les attributs contiennent les hypostases secondaires.

Le LLM voit dans les exemples :

{"théorie": "citation du texte...", "théorie_attributes": {"hypostases": "théorie, conjecture", ...}}
{"problème": "autre citation...", "problème_attributes": {"hypostases": "problème, définition", ...}}

30 clés possibles → format plus riche mais plus complexe pour le LLM.

1.4 Enjeux

• Stabilité : le LLM produit-il du JSON valide dans les deux approches ? Boucle-t-il ?
• Volume : combien d'extractions pertinentes le LLM trouve-t-il ?
• Richesse de classification : le LLM utilise-t-il la diversité des 30 hypostases ?
• Dépendance au modèle : le résultat change-t-il entre Gemini et GPT ?
• Impact sur le produit : l'approche choisie détermine comment l'interface affiche les badges, filtres, et cartes d'extraction.

2. Objectif du test

Comparer les deux approches (A et B) avec deux modèles LLM (Gemini 2.5 Flash et GPT-4o Mini) sur un même texte long (19726 chars, ~13 chunks) pour mesurer stabilité, volume et richesse.

3. Méthodologie

3.1 Configuration

3.2 Prompt commun (identique pour les 4 tests)

Tu es Hypostasia, un expert mondial en analyse syntaxique et en logique argumentative.
Ta mission est de déconstruire le texte fourni pour en extraire l'ossature argumentative
via les hypostases (définitions plus bas).
Tu agis avec une neutralité absolue et une précision chirurgicale.

# Définitions des 30 hypostases

- classification, aporie, approximation, paradoxe, formalisme
- événement, variation, dimension, mode, croyance
- invariant, valeur, structure, axiome, conjecture
- paradigme, objet, principe, domaine, loi
- phénomène, variable, variance, indice, donnée
- méthode, définition, hypothèse, problème, théorie

ANALYSE MAINTENANT LE TEXTE SUIVANT.
Instructions :
1. Identifie 5 à 15 arguments pertinents.
2. Pour chaque argument, extrais la citation EXACTE. Ne pas reformuler.
3. Synthétise l'idée en une phrase (résumé).
4. Associe 1 à 3 hypostases parmi les 30 définies.
5. Ignore le bruit, menus, pubs, copyright.

3.3 Pièce 5 — Approche A (classe unique)

RÈGLES DE FORMAT STRICTES — chaque extraction DOIT suivre ce schéma :

{
  "hypostase": "citation exacte du texte source",
  "hypostase_attributes": {
    "resume": "synthèse en une phrase",
    "hypostases": "hypothèse, théorie",
    "mots_cles": "mot1, mot2"
  }
}

- La clé est TOUJOURS "hypostase"
- "hypostases" dans les attributs : 1 à 3 parmi les 30. Ne JAMAIS lister les 30.
- Ne JAMAIS répéter la même extraction ni boucler.

3.4 Pièce 5 — Approche B (classe spécifique)

RÈGLES DE FORMAT STRICTES — chaque extraction DOIT suivre ce schéma :

{
  "théorie": "citation exacte du texte source",
  "théorie_attributes": {
    "resume": "synthèse en une phrase",
    "hypostases": "théorie, conjecture",
    "mots_cles": "mot1, mot2"
  }
}

- La clé est le NOM de l'hypostase principale (théorie, problème, hypothèse...)
- Chaque extraction peut avoir une clé différente selon l'hypostase identifiée.
- "hypostases" dans les attributs : 1 à 3 parmi les 30. Ne JAMAIS lister les 30.
- Ne JAMAIS répéter la même extraction ni boucler.

3.5 Few-shot examples

Texte source de l'exemple :

L'intelligence artificielle est la révolution la plus importante depuis l'invention de l'écriture. On nous présente l'IA comme une fatalité historique, alors qu'il s'agit d'un choix politique.

Approche A (classe unique) :

Extraction(extraction_class="hypostase", extraction_text="L'intelligence artificielle est la révolution...",
           attributes={"resume": "L'IA comparée à l'écriture.", "hypostases": "théorie, conjecture", "mots_cles": "IA, révolution"})
Extraction(extraction_class="hypostase", extraction_text="On nous présente l'IA comme une fatalité...",
           attributes={"resume": "L'IA est un choix politique.", "hypostases": "problème, définition", "mots_cles": "choix, politique"})

Ce que le LLM voit dans le prompt :

{"extractions": [
  {"hypostase": "L'intelligence artificielle est la révolution...", "hypostase_attributes": {"resume": "...", "hypostases": "théorie, conjecture"}},
  {"hypostase": "On nous présente l'IA comme une fatalité...", "hypostase_attributes": {"resume": "...", "hypostases": "problème, définition"}}
]}

Approche B (classe spécifique) :

Extraction(extraction_class="théorie", extraction_text="L'intelligence artificielle est la révolution...",
           attributes={"resume": "L'IA comparée à l'écriture.", "hypostases": "théorie, conjecture", "mots_cles": "IA, révolution"})
Extraction(extraction_class="problème", extraction_text="On nous présente l'IA comme une fatalité...",
           attributes={"resume": "L'IA est un choix politique.", "hypostases": "problème, définition", "mots_cles": "choix, politique"})

Ce que le LLM voit dans le prompt :

{"extractions": [
  {"théorie": "L'intelligence artificielle est la révolution...", "théorie_attributes": {"resume": "...", "hypostases": "théorie, conjecture"}},
  {"problème": "On nous présente l'IA comme une fatalité...", "problème_attributes": {"resume": "...", "hypostases": "problème, définition"}}
]}

3.6 Code du script de test

Fichier : tmp/test_format_extraction.py

Le script utilise l'annotateur natif de LangExtract (pas notre override AnnotateurAvecProgression) pour tester le comportement pur de la librairie. Chaque test lance annotate_text() avec les mêmes paramètres, seuls le prompt (pièce 5), les few-shot et le modèle changent.

4. Résultats synthétiques

4.1 Tableau comparatif

Légende : - Classes = hypostases distinctes dans extraction_class (1 pour approche A, variable pour B) - Hyp. attributs = hypostases distinctes trouvées dans attributes["hypostases"] - Couverture /30 = nombre des 30 hypostases effectivement utilisées (dans attributs) - Moy. hyp/extr. = nombre moyen d'hypostases attribuées par extraction

4.2 Richesse dans extraction_class (Approche B seulement)

Gemini 2.5 Flash — 2 classes : | Classe | Nombre | % | |---|---|---| | théorie | 97 | 86.6% | | problème | 15 | 13.4% |

GPT-4o Mini — 14 classes : | Classe | Nombre | % | |---|---|---| | théorie | 59 | 62.1% | | problème | 10 | 10.5% | | hypothèse | 7 | 7.4% | | événement | 5 | 5.3% | | définition | 3 | 3.2% | | axiome | 2 | 2.1% | | méthode | 2 | 2.1% | | croyance | 1 | 1.1% | | dimension | 1 | 1.1% | | domaine | 1 | 1.1% | | loi | 1 | 1.1% | | paradoxe | 1 | 1.1% | | phénomène | 1 | 1.1% | | principe | 1 | 1.1% |

4.3 Richesse dans attributes["hypostases"] (les 4 tests)

Gemini 2.5 Flash — Approche A (27/30, 345 attributions, moy. 2.9/extr.) : | Hypostase | Freq. | | Hypostase | Freq. | | Hypostase | Freq. | |---|---|---|---|---|---|---|---| | méthode | 43 | | structure | 41 | | définition | 41 | | principe | 38 | | formalisme | 20 | | problème | 16 | | phénomène | 16 | | loi | 15 | | événement | 11 | | théorie | 11 | | valeur | 10 | | croyance | 8 | | domaine | 8 | | axiome | 7 | | mode | 7 | | paradigme | 6 | | classification | 6 | | hypothèse | 5 | | invariant | 5 | | conjecture | 4 | | dimension | 3 | | donnée | 3 | | indice | 2 | | variable | 2 | | paradoxe | 1 | | variation | 1 | | aporie | 1 | | Manquantes : objet, variance, approximation |||||||

Gemini 2.5 Flash — Approche B (28/30, 335 attributions, moy. 3.0/extr.) : | Hypostase | Freq. | | Hypostase | Freq. | | Hypostase | Freq. | |---|---|---|---|---|---|---|---| | principe | 41 | | définition | 37 | | méthode | 36 | | structure | 30 | | théorie | 27 | | loi | 18 | | problème | 17 | | formalisme | 17 | | phénomène | 16 | | événement | 11 | | objet | 11 | | croyance | 10 | | mode | 8 | | domaine | 7 | | axiome | 7 | | hypothèse | 7 | | valeur | 7 | | paradigme | 5 | | classification | 5 | | invariant | 4 | | conjecture | 3 | | dimension | 3 | | donnée | 2 | | aporie | 2 | | variable | 1 | | variation | 1 | | indice | 1 | | paradoxe | 1 | | Manquantes : variance, approximation |||||

GPT-4o Mini — Approche A (28/30, 208 attributions, moy. 2.0/extr.) : | Hypostase | Freq. | | Hypostase | Freq. | | Hypostase | Freq. | |---|---|---|---|---|---|---|---| | phénomène | 23 | | structure | 17 | | principe | 16 | | méthode | 16 | | axiome | 15 | | théorie | 13 | | domaine | 13 | | définition | 11 | | valeur | 10 | | objet | 9 | | loi | 9 | | paradigme | 7 | | problème | 5 | | formalisme | 5 | | paradoxe | 5 | | dimension | 4 | | événement | 3 | | hypothèse | 3 | | invariant | 3 | | conjecture | 2 | | classification | 2 | | variable | 2 | | donnée | 2 | | croyance | 2 | | mode | 1 | | variation | 1 | | aporie | 1 | | indice | 1 | | Manquantes : variance, approximation ||||| | Hallucinations : système, interaction, interface, dimenssion, étude, principes, invariants |||||||

GPT-4o Mini — Approche B (26/30, 204 attributions, moy. 2.1/extr.) : | Hypostase | Freq. | | Hypostase | Freq. | | Hypostase | Freq. | |---|---|---|---|---|---|---|---| | théorie | 28 | | axiome | 21 | | phénomène | 19 | | structure | 15 | | principe | 14 | | problème | 11 | | hypothèse | 10 | | loi | 10 | | méthode | 9 | | dimension | 8 | | définition | 7 | | domaine | 7 | | événement | 7 | | formalisme | 6 | | objet | 5 | | valeur | 5 | | conjecture | 3 | | croyance | 3 | | donnée | 3 | | variation | 2 | | mode | 2 | | paradoxe | 2 | | variable | 2 | | paradigme | 2 | | invariant | 1 | | variance | 1 | |||| | Manquantes : classification, aporie, indice, approximation |||||||

4.4 Hypostases jamais utilisées

approximation est absente des 4 tests. variance est quasi-absente (1 seule occurrence sur GPT-B). Le texte source ne contient probablement pas d'arguments de ce type.

4.5 Hallucinations

Les LLM inventent parfois des hypostases hors-liste :

GPT hallucine plus que Gemini (7 vs 5 en approche A), mais les hallucinations sont filtrées par la normalisation côté code (front/normalisation.py).

5. Résultats détaillés par test

5.1 TEST 1 — Approche A / Gemini 2.5 Flash

118 extractions, 157.5s, 0 erreur

(La liste complète des 118 extractions est dans le fichier de sortie brut)

5.2 TEST 2 — Approche B / Gemini 2.5 Flash

112 extractions, 176.7s, 0 erreur — 2 classes seulement (théorie 87%, problème 13%)

Observation : Gemini classe presque tout en théorie. Le texte est effectivement très théorique, mais cette pauvreté de classification rend l'approche B peu utile avec Gemini.

5.3 TEST 3 — Approche A / GPT-4o Mini

104 extractions, 220.5s, 0 erreur

Observation : GPT est plus lent (220s vs 158s) mais produit des hypostases variées dans les attributs (2 par extraction en moyenne). Quelques hallucinations mineures dans les hypostases ("système", "interaction", "dimenssion" — non listées dans les 30).

5.4 TEST 4 — Approche B / GPT-4o Mini

95 extractions, 180.2s, 0 erreur — 14 classes distinctes

Observation : GPT-4o Mini avec l'approche B est le plus riche en classification. Il utilise 14 des 30 hypostases comme extraction_class, ce qui donne un paysage argumentatif beaucoup plus varié.

6. Synthèse et recommandations

6.1 Stabilité

Les 4 tests produisent 0 erreur. Pas de boucle de répétition, pas de JSON corrompu, pas de crash. Le prompt corrigé (cohérent avec les few-shot et le format natif LangExtract) stabilise les deux modèles.

6.2 Volume d'extractions

L'approche A produit plus d'extractions (118/104) que l'approche B (112/95). Le format plus simple laisse au LLM plus de "bande passante" pour extraire du contenu au lieu de classifier.

6.3 Richesse de classification — deux niveaux de lecture

Niveau 1 : extraction_class (la clé JSON)

Gemini en approche B est très pauvre en extraction_class — il reproduit les seules classes vues dans les few-shot (qui n'en montrent que 2). Biais probable des few-shot.

Niveau 2 : attributes["hypostases"] (la vraie richesse sémantique)

Constat clé : la richesse dans les attributs est comparable entre les 4 tests (26 à 28 sur 30). Même quand Gemini ne produit que 2 extraction_class en approche B, il utilise 28 hypostases distinctes dans les attributs. Les attributs portent la vraie diversité, pas la clé JSON.

Gemini est plus généreux en attributions (3 hypostases par extraction en moyenne) que GPT (2 par extraction).

Les hypostases approximation et variance sont absentes des 4 tests — elles ne correspondent probablement pas au contenu du texte analysé.

6.4 Performance

Gemini est plus rapide que GPT dans les deux approches.

6.5 Trade-offs

6.6 Biais des few-shot

Ce test utilise seulement 2 extractions en few-shot : une "théorie" et un "problème". Gemini en approche B reproduit ce pattern exactement (87% théorie, 13% problème). GPT extrapole à 14 classes.

Hypothèse : si les few-shot montraient les 30 hypostases, Gemini diversifierait ses extraction_class. À vérifier dans un prochain test avec des few-shot couvrant les 30 classes.

6.7 Hallucinations

Les LLM inventent parfois des hypostases hors-liste. GPT hallucine plus que Gemini (7 vs 5), mais les hallucinations sont filtrées côté code par la normalisation. Exemples : "système", "interaction", "problématique", "application".

6.8 Recommandation

La richesse sémantique est dans les attributs, pas dans extraction_class. Les deux approches couvrent 26 à 28 des 30 hypostases dans les attributs. Le choix entre A et B est donc un choix d'affichage front-end, pas de qualité d'analyse.

Prochaine étape : refaire le test avec des few-shot couvrant les 30 hypostases pour vérifier si Gemini diversifie ses extraction_class quand il voit plus d'exemples.