L'IA, testée et prouvée.
Trois questions. Devinez un chiffre, puis regardez-le se faire mesurer.
Question 1 de 3Tirée du chapitre 1 du livre
Une même requête, envoyée 20 fois au même modèle d'IA avec ses réglages par défaut. Combien de réponses distinctes sont revenues ?
Les trois mesures
Chaque chiffre ci-dessous provient d'un essai conservé dans le dépôt du livre.
Question 1 de 3Tirée du chapitre 1 du livre
Une même requête, envoyée 20 fois au même modèle d'IA avec ses réglages par défaut. Combien de réponses distinctes sont revenues ?
Mesuré : 10 réponses distinctes sur 20.
Une échelle de 1 à 20. La valeur mesurée, indiquée par un trait doré, est de 10 réponses distinctes sur 20.
- Ce qui s'est passé
- 10 réponses distinctes en 20 appels. La plus fréquente est revenue 8 fois.
- Pourquoi cet écart
- Un modèle choisit ses mots par échantillonnage : par défaut, la même requête ne donne pas deux fois le même texte. Les 20 réponses disaient la même chose, seule la formulation a bougé.
- Comment c'est mesuré
- 20 appels avec une seule requête à claude-opus-4-6. Les réponses identiques ont été regroupées, puis les groupes comptés.
- Dans le livre
- Le chapitre 1 du livre refait les 20 appels avec un deuxième réglage d'échantillonnage et recompte.
- Fichier d'essai:
- runs/ch1-sampling-2026-09-07.txt
- Script:
- scripts/ch1_sampling.py
Question 2 de 3Tirée du chapitre 8 du livre
Un assistant d'IA muni de trois outils reçoit une courte question. Le mode d'emploi de ses outils voyage avec la question. Quelle part de ce premier message était du mode d'emploi ?
Mesuré : 98,0 % du premier message.
Une échelle de 0 à 100. La valeur mesurée, indiquée par un trait doré, est de 98,0 % du premier message.
- Ce qui s'est passé
- Le premier message comptait 748 jetons (un jeton est un morceau de mot). De ce nombre, 733 étaient le mode d'emploi des outils. La question elle-même en comptait 8.
- Pourquoi cet écart
- Le mode d'emploi de chaque outil est envoyé au complet avec chaque message, que l'outil serve ou non. Une question courte ne le raccourcit pas.
- Comment c'est mesuré
- Compté avec le compteur de jetons du fournisseur du modèle sur claude-opus-4-6, en comparant le message avec et sans chaque partie.
- Dans le livre
- Le chapitre 8 du livre mesure ce que devient ce coût quand on divise un assistant en plusieurs.
- Fichier d'essai:
- runs/ch5-context-composition.txt
- Script:
- scripts/ch5_context_composition.py
Question 3 de 3Tirée du chapitre 14 du livre
Un assistant d'IA traite 12 conversations, l'une après l'autre. Puis il traite les mêmes 12 en en menant 8 à la fois. Combien de fois plus vite a-t-il terminé ?
Mesuré : 5,75 fois plus vite.
Une échelle de 1 à 12. La valeur mesurée, indiquée par un trait doré, est de 5,75 fois plus vite.
- Ce qui s'est passé
- L'une après l'autre, les 12 conversations ont pris 123,4 secondes. Avec 8 à la fois, elles ont pris 21,5 secondes : 5,75 fois plus vite, et non 8.
- Pourquoi cet écart
- Avec 12 conversations dont 8 à la fois, il faut deux tours, et le deuxième n'est qu'à moitié plein. Chaque conversation a aussi duré à peu près aussi longtemps qu'avant : les attentes se chevauchent, elles ne raccourcissent pas.
- Comment c'est mesuré
- Les mêmes 12 conversations ont été lancées sur claude-opus-4-6 avec 1, 2, 4 puis 8 à la fois, et le temps total à l'horloge a été noté chaque fois.
- Dans le livre
- Le chapitre 14 du livre examine ce que coûte le fait de mener des conversations côte à côte, et quand s'en abstenir.
- Fichier d'essai:
- runs/ch14-async-2026-10-28.txt
- Script:
- scripts/ch14_async_run.py
Ce qu'est Measured
La plupart des contenus sur l'IA montrent une démo. Measured montre le chiffre : ce qui a été testé, ce qui s'est passé, pourquoi, et comment on l'a mesuré.
Le livre
AI Engineering, Measured
par Hassan Mansour
Le livre. Chaque chiffre qu'il contient provient d'un essai. Lancement bientôt.
Une étape mène à la suivante
Gratuit
Les trois questions de cette page. Des outils gratuits s'ajouteront ici à mesure qu'ils seront construits.
Cours
L'Académie Measured, avec un test dans chaque module. Aucun cours n'est encore ouvert.
Pour les équipes
Un atelier pratique de 2 heures ou de 3,5 heures, avec une soumission pour votre équipe après un appel d'exploration gratuit de 20 minutes.
La famille Measured
- Lancement bientôt
Académie Measured
par Hassan Mansour
Des cours avec un test dans chaque module. Pour les personnes de 18 ans et plus.
- En ligne
L'IA au travail, Measured
Un atelier pratique pour les équipes, de 2 heures ou de 3,5 heures. Le premier pilote n'a pas encore eu lieu.
- En ligne
Proofline
Un pipeline multi-agents à code source ouvert, avec évaluations et approbation humaine, construit en public.
- En ligne
Measured Lab
Contrôler le travail d'une IA selon des règles lisibles, dans votre navigateur : Évaluer, Observer et Sécuriser, avec des liens de résultat que chacun peut relancer. Ouvert maintenant.
- En ligne
Indice Measured
par Hassan Mansour
Une comparaison de modèles sur les propres jeux d'essai de Hassan : note, coût par passage et vitesse, chaque chiffre relié à son fichier d'essai brut. Le numéro 1 est paru.
Qui mesure
Hassan Mansour
spécialiste principal en IA appliquée
Travaille sur l'IA agentique et le RAG dans une entreprise réglementée.
- Plus de 6 ans chez Bell Canada à bâtir des systèmes en production, dont environ les 3 derniers en IA
- Gagnant du Hackathon Bell ; deux fois lauréat du prix Excellence et Innovation de Bell Canada
- Boursier de recherche du CRSNG et du FRQNT
- B. Sc. en informatique, Concordia ; candidat à la M. Sc. en communication numérique multilingue, McGill
- Travaille en français et en anglais ; langue maternelle : l'arabe
Liste d'attente
La liste d'attente ouvre bientôt
Il n'y a pas encore de formulaire ici : cette page ne recueille donc rien à votre sujet.