◀ Toutes les mesures

Test 2 — 30 few-shot couvrant toutes les hypostases

Date : 2026-03-22 Texte source : "La Ronde des Intelligences" (page 15, 19726 chars, ~13 chunks) Différence avec le test 1 : few-shot passent de 2 extractions à 30 (une par hypostase), prompt amélioré avec définitions par familles épistémiques.

1. Changements par rapport au test 1

Élément Test 1 (2 few-shot) Test 2 (30 few-shot)
Nombre de few-shot 2 extractions 30 extractions (une par hypostase)
Texte few-shot Texte court sur l'IA (2 phrases) Texte synthétique sur l'IA dans l'éducation (6 paragraphes)
Définitions Liste plate des 30 noms 6 familles épistémiques avec définition informelle + formelle
Classes dans few-shot Approche B : 2 classes (théorie, problème) Approche B : 30 classes (toutes les hypostases)
Prompt instructions Basique Amélioré (instructions proportionnelles à la longueur du texte)

2. Résultats synthétiques

2.1 Test 2 — avec 30 few-shot

Test Modèle Extr. Temps Classes Hyp. attr. Couv/30 Moy. hyp/extr.
A (classe unique) Gemini 2.5 Flash 102 140.9s 1 28 28/30 ~2.8
B (classe spécifique) Gemini 2.5 Flash 90 137.4s 20 27 27/30 ~3.0
A (classe unique) GPT-4o Mini 98 193.1s 1 35* 35*/30 ~2.0
B (classe spécifique) GPT-4o Mini 87 166.3s 23 25 25/30 ~2.1

*GPT hallucine des hypostases hors-liste (35 > 30), voir section 2.4.

2.2 Comparaison Test 1 → Test 2

Métrique Test 1 (2 few-shot) Test 2 (30 few-shot) Évolution
Gemini B — Classes distinctes 2 20 +900%
GPT B — Classes distinctes 14 23 +64%
Gemini B — Extractions 112 90 -20%
GPT B — Extractions 95 87 -8%
Gemini A — Couverture attributs 27/30 28/30 +1
GPT A — Couverture attributs 28/30 35*/30 +hallucinations

L'hypothèse est confirmée : Gemini avec 30 few-shot passe de 2 à 20 classes en extraction_class. Le biais des few-shot expliquait la pauvreté de classification de Gemini dans le test 1.

2.3 Répartition des classes (Approche B, 30 few-shot)

Gemini 2.5 Flash — 20 classes (distribution équilibrée) :

Classe Nb Classe Nb Classe Nb Classe Nb
définition 12 principe 11 méthode 9 formalisme 7
problème 6 loi 6 mode 5 phénomène 5
objet 4 croyance 4 événement 4 structure 3
axiome 3 classification 2 hypothèse 2 conjecture 2
théorie 2 paradigme 1 domaine 1 donnée 1

GPT-4o Mini — 23 classes (mais 3 hallucinations) :

Classe Nb Classe Nb Classe Nb Classe Nb
théorie 18 problème 15 axiome 11 hypothèse 5
structure 4 dimension 4 phénomène 3 croyance 3
invariant 3 objet 3 principe 3 définition 2
méthode 2 interface 2 paradoxe 1 paradigme 1
éventualité 1 règle 1 conjecture 1 donnée 1
formalisme 1 évenement 1 citation 1

En italique : hallucinations (hors des 30 hypostases)

2.4 Hallucinations

Modèle Approche Hallucinations dans extraction_class Hallucinations dans attributs
Gemini A aucune fonction (1)
Gemini B aucune publication (1)
GPT A aucune problématique, axiomatique, thérapie, rôle, objets, théorique, principes, approche, projet, interface
GPT B interface (2), éventualité (1), règle (1), évenement (1), citation (1) règle (1), interface (1)

Gemini hallucine très peu (1 hallucination par test). GPT hallucine plus (5-10 par test), surtout en approche A dans les attributs.

3. Analyse comparative Test 1 vs Test 2

3.1 Impact des 30 few-shot sur Gemini

Métrique Test 1 Test 2 Analyse
Classes en approche B 2 (théorie 87%, problème 13%) 20 classes équilibrées Gemini copie les few-shot — avec 30 exemples il diversifie
Distribution Très déséquilibrée définition 13%, principe 12%, méthode 10%... Beaucoup plus homogène
Volume 112 extractions 90 extractions -20% (le prompt plus long consomme du contexte)
Couverture attributs 28/30 27/30 Stable

3.2 Impact des 30 few-shot sur GPT

Métrique Test 1 Test 2 Analyse
Classes en approche B 14 23 GPT diversifie aussi, mais hallucine plus
Hallucinations classe 0 5 Le grand nombre de classes augmente le risque d'invention
Volume 95 extractions 87 extractions -8% (impact modéré du prompt plus long)
Couverture attributs 26/30 25/30 Stable

3.3 Stabilité

Les 4 tests produisent 0 crash. Pas de boucle de répétition, pas de JSON corrompu. Le prompt amélioré (définitions par familles + 30 few-shot) est aussi stable que le prompt minimal.

3.4 Coût du prompt plus long

Le passage de 2 à 30 few-shot augmente la taille du prompt d'environ 8K tokens. Impact : - Volume : ~15% d'extractions en moins (90-102 vs 95-118) - Temps : comparable ou légèrement plus rapide (le LLM "comprend" mieux ce qu'on attend) - Qualité : classification beaucoup plus riche

4. Synthèse globale (Test 1 + Test 2)

4.1 Résultats clés

  1. Le biais des few-shot est confirmé : Gemini reproduit les classes vues dans les exemples. Avec 2 few-shot il produit 2 classes, avec 30 il en produit 20.

  2. La couverture dans les attributs est stable (~27/30) quel que soit le nombre de few-shot. Les attributs portent la richesse sémantique indépendamment du format.

  3. GPT extrapole, Gemini copie : GPT produit 14 classes même avec 2 few-shot, Gemini a besoin de voir chaque classe.

  4. Le prompt par familles épistémiques stabilise les deux modèles : 0 erreur sur les 8 tests (4 du test 1 + 4 du test 2).

  5. Gemini hallucine très peu, GPT hallucine plus mais les hallucinations sont filtrables par la normalisation.

4.2 Recommandation

Approche B avec 30 few-shot est la meilleure combinaison : - Gemini produit 20 classes distinctes (vs 2 avec 2 few-shot) - GPT produit 23 classes (vs 14) - La couverture dans les attributs reste bonne (25-27/30) - Zéro crash, zéro boucle - Le coût du prompt plus long (-15% extractions) est compensé par la richesse de classification

Pour la production, les 30 few-shot devraient être stockés dans la DB comme AnalyseurExample + ExampleExtraction, et le prompt utiliser les définitions par familles épistémiques.

4.3 Prochaines étapes possibles