Un agent IA peut appeler un modèle, rechercher des documents, exécuter des outils puis recommencer plusieurs fois avant de produire un résultat. Une simple durée HTTP ne suffit plus pour comprendre un échec ou une facture. Il faut reconstruire le parcours complet de la tâche.
OpenTelemetry fournit un langage commun pour les traces, métriques et événements. Ses conventions sémantiques GenAI couvrent les clients de modèles, les agents et MCP. Elles permettent d’éviter un schéma différent pour chaque fournisseur, tout en gardant la possibilité d’ajouter des attributs métier.
Tracer la tâche de bout en bout
Commencez par un span racine représentant la demande utilisateur ou le job asynchrone. Ajoutez ensuite des spans enfants pour les appels au modèle, la récupération de contexte, les appels d’outils, les validations et les éventuelles reprises.
Cette hiérarchie répond à des questions concrètes : quel outil a ralenti la tâche ? Combien de boucles ont été nécessaires ? L’erreur vient-elle du modèle, d’un timeout réseau ou d’une donnée invalide ? Sans corrélation, les journaux isolés donnent rarement la séquence exacte.
Conserver les attributs qui expliquent le comportement
Enregistrez le fournisseur, le modèle, le nom de l’opération, la latence, l’état, le nombre de tokens d’entrée et de sortie lorsqu’ils sont disponibles. Pour un outil, ajoutez un identifiant stable, sa durée et un résultat catégorisé : succès, refus, timeout ou erreur fonctionnelle.
Ajoutez aussi des attributs métier à faible cardinalité : environnement, version de l’agent, type de tâche, équipe ou produit. Évitez d’utiliser l’identifiant utilisateur brut, le prompt complet ou la réponse comme dimensions de métriques.
Mesurer autre chose que les tokens
Les tokens expliquent une partie du coût, mais pas la valeur. Suivez le taux de réussite au premier passage, le nombre moyen d’appels d’outils, la proportion de tâches nécessitant une intervention humaine, la durée jusqu’au résultat validé et le coût par tâche réussie.
Pour un agent de code, une unité utile peut être la pull request acceptée, le test réparé ou la vulnérabilité confirmée. Le nombre de lignes générées est facile à mesurer, mais il encourage un comportement opposé à la maintenabilité.
Définir des catégories d’erreurs exploitables
Une pile d’exception brute ne suffit pas. Classez les incidents : limite de débit, budget dépassé, refus d’autorisation, schéma d’outil invalide, dépendance indisponible, sortie non conforme ou boucle maximale atteinte. Le tableau de bord doit permettre de passer de l’indicateur global à un exemple de trace.
Conservez le statut exact du fournisseur dans un champ contrôlé, sans transformer chaque message d’erreur en nouvelle étiquette. Une cardinalité incontrôlée augmente le coût de l’observabilité et ralentit les requêtes.
Protéger prompts, réponses et arguments
La télémétrie GenAI peut contenir du code, des données personnelles, des secrets ou des documents internes. N’enregistrez pas les contenus complets par défaut. Préférez des tailles, des empreintes, des identifiants de documents et des catégories de résultat.
Si un échantillon de contenu est indispensable au diagnostic, appliquez une politique explicite : consentement, filtrage, chiffrement, rétention courte et accès restreint. Les arguments d’un outil doivent être traités comme des données potentiellement sensibles.
Échantillonner sans perdre les incidents
Un échantillonnage uniforme peut supprimer précisément la trace rare qui explique un problème. Conservez systématiquement les erreurs, les tâches très lentes, les dépassements de budget et les interventions humaines. Échantillonnez davantage les succès répétitifs.
Versionnez les prompts système, les outils et la configuration de l’agent. La trace doit permettre de comparer un changement avant et après déploiement sans stocker le texte sensible lui-même.
Relier observabilité et évaluation
La production ne remplace pas un benchmark reproductible. Utilisez les traces pour identifier des scénarios réels, puis ajoutez-les sous forme anonymisée à votre jeu d’évaluation. Notre guide sur le benchmark des agents IA de code décrit comment comparer les versions avec les mêmes tâches et critères.
Tableau de bord minimal
- Volume et taux de réussite par type de tâche.
- Latence médiane et percentile élevé.
- Appels modèle et outils par tâche réussie.
- Tokens et coût estimé par résultat validé.
- Refus d’autorisation et erreurs de schéma.
- Interventions humaines et boucles maximales.
- Comparaison par version d’agent.
