Measured

La méthode

Montrer le chiffre.

Une démo montre que quelque chose a fonctionné une fois. Une mesure montre à quelle fréquence, dans quelles conditions, et comment vous pourriez le vérifier vous-même. C'est toute la méthode, et le livre repose sur elle.

143 constats mesurés, chapitre par chapitre

Chaque trait du cadran est un constat du livre : un chiffre issu d'un essai. Choisissez un chapitre pour voir combien il en contient.

Chapitre
123456789101112131415C143constats mesurés

143 constats répartis dans 15 chapitres et les annexes. Derrière eux : 134 fichiers d'essai et au moins 1 123 appels de modèle consignés.

Chapitre 1

Why AI Development Feels Different

4 constats mesurés

Un des constats de ce chapitre est une question de la page d'accueil. Devinez-le avant de le lire. Aller aux trois questions

Chapitre 2

Picking Your Stack Without Getting Paralyzed

6 constats mesurés

Chapitre 3

Structured Output: Getting Data Back, Not Text

10 constats mesurés

Chapitre 4

Your First Agent: A Loop, a Tool, and a Stop Condition

20 constats mesurés

Chapitre 5

RAG: When to Retrieve, and How to Tell It Failed

20 constats mesurés

Chapitre 6

Vector Storage: An Index That Outlives the Process

13 constats mesurés

Chapitre 7

Conversation State: What to Keep and What to Drop

5 constats mesurés

Chapitre 8

Multi-Agent Systems: When to Split, and When Not To

10 constats mesurés

Un des constats de ce chapitre est une question de la page d'accueil. Devinez-le avant de le lire. Aller aux trois questions

Chapitre 9

MCP: Using Tools You Did Not Write

8 constats mesurés

Chapitre 10

Evaluation: Catching Regressions in a System That Won't Repeat

7 constats mesurés

Chapitre 11

Security: Bounding What the Model Can Do

7 constats mesurés

Chapitre 12

Observability: Tracing What Actually Happened

7 constats mesurés

Chapitre 13

Cost: What It Spends, and How to Spend Less

9 constats mesurés

Chapitre 14

Streaming, Async, and Jobs: Handling the Wait

15 constats mesurés

Un des constats de ce chapitre est une question de la page d'accueil. Devinez-le avant de le lire. Aller aux trois questions

Chapitre 15

Your Own System: The First Three Moves

Aucun constat n'est rattaché à ce chapitre.

Annexe C

2 constats mesurés

Comment on a compté : un constat correspond à une ligne du tableau des constats, dans le registre de travail du livre, qu'un chapitre ou une annexe utilise. Chacun est rattaché au premier chapitre qui l'utilise. Les lignes qui ne servent qu'au cours ne sont pas comptées.

Constats par chapitre
Constats par chapitre
ChapitreTitreConstats
1Why AI Development Feels Different4
2Picking Your Stack Without Getting Paralyzed6
3Structured Output: Getting Data Back, Not Text10
4Your First Agent: A Loop, a Tool, and a Stop Condition20
5RAG: When to Retrieve, and How to Tell It Failed20
6Vector Storage: An Index That Outlives the Process13
7Conversation State: What to Keep and What to Drop5
8Multi-Agent Systems: When to Split, and When Not To10
9MCP: Using Tools You Did Not Write8
10Evaluation: Catching Regressions in a System That Won't Repeat7
11Security: Bounding What the Model Can Do7
12Observability: Tracing What Actually Happened7
13Cost: What It Spends, and How to Spend Less9
14Streaming, Async, and Jobs: Handling the Wait15
15Your Own System: The First Three Moves0
Annexe C2
Total143

Ce qu'une affirmation mesurée contient

Le même sujet, dit de deux façons. La première est celle d'une démo. La seconde est un constat du chapitre 1 du livre, avec les quatre éléments que chaque constat y contient.

Une affirmation de démo

Le modèle donne une bonne réponse à la question du client.

À quelle fréquence ? Par rapport à quoi ? Pourriez-vous le refaire ?

Une illustration de la formulation habituelle des démos, pas une citation.

Une affirmation mesurée

10 réponses distinctes sur 20

Ce qui s'est passé
10 réponses distinctes en 20 appels. La plus fréquente est revenue 8 fois.
Pourquoi cet écart
Un modèle choisit ses mots par échantillonnage : par défaut, la même requête ne donne pas deux fois le même texte. Les 20 réponses disaient la même chose, seule la formulation a bougé.
Comment c'est mesuré
20 appels avec une seule requête à claude-opus-4-6. Les réponses identiques ont été regroupées, puis les groupes comptés.
Dans le livre
Le chapitre 1 du livre refait les 20 appels avec un deuxième réglage d'échantillonnage et recompte.
Fichier d'essai:
runs/ch1-sampling-2026-09-07.txt
Script:
scripts/ch1_sampling.py

Faites la preuve vous-même

La règle du livre : chaque chiffre publié doit pouvoir être retracé jusqu'à une ligne d'un essai consigné. Au lancement du livre, les fichiers d'essai seront publics dans un dépôt compagnon : un lecteur pourra suivre ce chemin plutôt que de croire l'auteur sur parole.

À propos du livreS'inscrire à la liste d'attenteLancement bientôt