Un résultat bien présenté peut rester inutilisable par une application. Cet atelier distingue trois contrôles : JSON lisible, contrat respecté et catégorie correcte. Le script fonctionne localement avec Node.js 22 ou version ultérieure, sans compte ni appel à un modèle.
Protocole v1 · 7 septembre 2026 · Les cinq réponses fournies sont des exemples pédagogiques, pas les résultats d’un fournisseur d’IA.
Télécharger et exécuter
Placez les deux fichiers dans le même dossier, ouvrez un terminal dans ce dossier et exécutez :
node evaluer.mjs exemples.jsonl rapport.jsonLe fichier de rapport ne doit pas déjà exister : choisissez un nouveau nom pour conserver vos essais précédents. Sur le jeu pédagogique, le résultat attendu est de trois contrats valides et deux catégories correctes sur cinq. Un classement faux peut donc respecter le contrat JSON.
Le contrat testé
{"category":"normal","reason":"Une justification non vide."}Les catégories autorisées sont urgent, normal et hors-perimetre. Aucun champ supplémentaire n’est accepté. Chaque ligne du fichier JSONL comporte un identifiant unique, une catégorie de référence dans expected et la réponse à contrôler dans output.
Comparer vos propres essais
- Définissez la tâche et les exemples de référence avant de consulter les réponses.
- Conservez les mêmes entrées, consignes et règles de notation entre variantes.
- Notez fournisseur, identifiant exact du modèle, date, paramètres, version du prompt et nombre de répétitions dans un journal séparé.
- Exportez une ligne par réponse, puis lancez l’évaluateur sur chaque fichier.
- Examinez les erreurs par exemple. Le taux de JSON valide ne mesure pas la justesse générale d’un modèle.
Ce que le rapport permet de vérifier
Le rapport conserve la version du protocole, la version de Node.js et l’empreinte SHA-256 du fichier d’entrée. Il n’estime ni coût, ni vitesse, ni qualité rédactionnelle. Pour mesurer une latence, instrumentez l’appel réel et gardez les conditions de réseau et de charge dans votre journal.
Retirez les données personnelles, secrets et documents confidentiels de vos jeux d’essai. Le script fourni lit uniquement le fichier que vous lui indiquez et ne l’envoie à aucun service.