Mesurer l’impact sans métriques de vanité

Tôt ou tard, quelqu’un demande : est-ce que ces agents-là donnent vraiment quelque chose? La réponse facile, c’est un tableau de bord d’activité. Plus de code, plus de PR, plus de prompts. Ça paraît bien et ça ne prouve rien.

Les agents rendent l’activité bon marché. Donc toute métrique qui compte de l’activité va monter, que vous livriez du meilleur logiciel ou non.

Activité vs résultats

Les PR mergées sont en haut à droite exprès. C’est plus proche d’un résultat, mais les agents rendent trivial le découpage du travail en plus de PR. Surveillez ce chiffre seulement à côté du taux de reprise et du délai.

Remplacez la métrique de vanité

Retournez chaque carte pour voir ce que je mesurerais à la place.

🃏 Métrique de vanité, meilleure question

Touchez une carte pour la retourner

Lignes de code généréesCombien de temps entre le début du ticket et la prod, pour du travail comparable? Plus de code, c’est souvent un coût, pas une victoire.Pourcentage du code écrit par l’IAQuelle part des PR assistées par un agent a été mergée sans réécriture majeure? Ça dit si la délégation a vraiment fait gagner du temps.Nombre de prompts ou de sessionsOù les gens bloquent-ils encore? L’utilisation dit qu’on a essayé, pas que ça a aidé.PR ouvertes par devQuelle part du travail mergé a demandé un correctif ou un revert dans les semaines suivantes? Une vitesse qui revient en reprise n’est pas de la vitesse.Temps sauvé, estimé par tâcheLe temps de cycle du vrai travail de l’équipe a-t-il changé par rapport au point de départ? Les estimations individuelles ont tendance à être généreuses.Tokens ou dépenses par devLe coût par changement livré, regardé à côté de la qualité. Dépenser peu avec beaucoup de reprise, ce n’est pas une économie.

Un plan de mesure qui tient sur une page

1. 1

   Avant

   Prenez un point de départ

   Sortez quelques semaines de délai, de reprise et d’attente de revue de votre outil de tickets et de l’historique du repo, avant de changer la façon de travailler.

2. 2

   Semaine 1

   Étiquetez le travail

   Marquez les PR assistées par un agent avec une étiquette ou un champ du gabarit. Sans ça, vous ne pouvez rien comparer.

3. 3

   Chaque mois

   Comparez des pommes avec des pommes

   Comparez des types de travail semblables : bugs avec bugs, petites fonctionnalités avec petites fonctionnalités. Un changement dans le mix peut simuler une amélioration.

4. 4

   Chaque mois

   Demandez à l’équipe

   Cinq minutes, trois questions : où les agents ont-ils aidé, où vous ont-ils coûté du temps, qu’arrêteriez-vous de faire? Les chiffres disent quoi, les gens disent pourquoi.

5. 5

   Chaque trimestre

   Décidez quelque chose

   Une métrique sur laquelle personne n’agit, c’est de la décoration. Chaque revue devrait changer une convention, un garde-fou ou l’endroit où vous utilisez les agents.

Avant de continuer

✅ À retenir

0 / 5 complété

• Je ne présente pas des métriques d’activité, comme les lignes, les prompts ou le % de code IA, comme de l’impact.
• On a un point de départ pour le délai, la reprise et l’attente de revue.
• Le travail assisté par un agent est étiqueté pour comparer des choses comparables.
• On mesure le système de l’équipe, jamais les devs individuellement.
• Chaque revue des métriques se termine par une décision.

↺ Réinitialiser