Measured Lab
Measured Lab est ouvert. Ses trois onglets s'exécutent dans votre navigateur.
- Ce que c'est
- Une application Web pour contrôler le travail d'une IA selon des règles que l'on peut lire, et voir pourquoi il réussit ou échoue.
- Évaluer
- On choisit l'un des 20 sujets d'essai, on lit ses règles et ses sources, puis on soumet deux brouillons côte à côte aux mêmes règles. On modifie un brouillon et on relance les contrôles.
- Observer et Sécuriser
- Observer lit pas à pas le déroulement d'un agent, à partir d'un exemple enregistré ou d'une trace que vous collez. Sécuriser examine votre propre texte à la recherche d'instructions cachées et contrôle ce qu'un agent enverrait à l'extérieur.
- Liens de résultat du Lab
- Après un contrôle, on peut créer un lien qui consigne exactement ce qui a été exécuté. Quiconque l'ouvre peut le relancer dans son propre navigateur et voir si le résultat concorde. Le résultat est contenu dans le lien : rien n'est conservé sur un serveur.
- Comment se font les contrôles
- Les contrôles sont du code tiré de measured-evals, la bibliothèque d'évaluation à code source ouvert de Proofline. Ils s'exécutent dans votre navigateur : aucun modèle, aucune clé, et votre texte n'est envoyé nulle part.
- Pas encore fait
- Les contrôles qui demandent un modèle ou une personne sont affichés comme non exécutés. Il n'y a ni forfait Pro ni prix.
Ouvrir Measured Lab (ouvre un autre site)
Voir aussiJournal de construction