Comment mesurer les gains de productivité de l’IA ?

On parle beaucoup des gains de productivité que l’intelligence artificielle serait en train d’apporter aux entreprises. On lit des chiffres de tous ordres, ils impressionnent parfois, déçoivent souvent, sont toujours commentés et donnent lieu à des débats aussi interminables que passionnés je constate qu’une question n’est jamais posée, à savoir comment ces gains sont mesurés.

En bref :

• Les discours sur les gains de productivité liés à l’IA manquent souvent d’une mesure de départ, rendant toute évaluation de progrès incertaine.
• L’absence d’observation initiale empêche de mesurer correctement les effets de l’IA, notamment à cause de la complexité et du coût de cette étape.
• L’évaluation des gains se concentre sur les individus plutôt que sur les processus collectifs, ce qui limite leur pertinence pour la performance globale de l’entreprise.
• Les nouvelles tâches induites par l’IA (comme la vérification ou le contrôle) sont rarement prises en compte, ce qui fausse les calculs de productivité réelle.
• Les perceptions individuelles remplacent souvent les mesures objectives, malgré les biais qu’elles comportent, laissant les entreprises sans données fiables pour évaluer l’impact réel de l’IA.

Mesurer une situation ou mesurer une évolution

La productivité, en tant que telle, est une mesure statique : elle exprime à un instant donné le rapport entre ce que l’on produit et les ressources que l’on mobilise. C’est une photographie. Mais dès lors qu’il s’agit de parler de progression, de gains ou d’amélioration, il s’agit de comparer deux photographies;

Mesurer une évolution demande une mesure de départ et une mesure d’arrivée. Sans ce point de départ, il est impossible d’affirmer qu’il y a eu un progrès, que ce soit en matière de productivité ou dans n’importe quel autre domaine. Or la plupart des discours et études sur l’IA de ce point vue manquent d’une mesure initiale.

Le grand absent : l’observation initiale

Comment établir cette mesure de départ ? Vu que la plupart du temps les discours sont à propos de gains de productivité individuels c’est aussi sympa qu’empirique et il est difficile de faire mieux que ce que faisait Taylor à son époque : suivre un collaborateur tout au long de sa journée, noter les tâches réalisées, chronométrer leur durée, et disposer ainsi d’un référentiel avant l’introduction de l’IA.

Mais dans les faits, personne ne le fait. Trop intrusif, trop coûteux, trop complexe et on est souvent tellement pressés de déployer la technologie qu’on ne veut pas perdre de temps avec cette étape laborieuse . Résultat : on ignore non seulement combien de temps une tâche prenait auparavant, mais aussi toute la constellation de micro-tâches périphériques qui rythment le quotidien à savoir les ajustements, la coordinations, les interruptions, ce fameux « work about work » qui nous dit simplement que les collaborateurs passent un temps inouï à compenser les dysfonctionnements organisationnels et les problèmes d’outils de manière totalement masquée (Le « work about work » : quand la réalité travail consiste à faire fonctionner ce qui ne marche pas). Un temps qu’on ne veut en plus pas voir : demandez à un manager ce que fait son équipe il va rester très à la surface de ce qu’il voit, de ce qu’il pense être leur travail en fonction des livrables attendus mais sans, la plupart du temps, avoir la moindre idée de ce qu’ils font vraiment.

Mesurer les gens ou les activités ?

Ce serait plus simple si on mesurait un process ou une activité de bout en bout, un flux de travail sans se préoccuper des étapes intermédiaires et j’espère qu’on va y arriver avec l’IA argentique. Mais aujourd’hui la plus grande partie des pilotes concernent l’IA générative avec un focus sur l’augmentation individuelle des collaborateurs avec toutes les limites que cela comporte mais visiblement peu de gens en ont conscience à moins qu’ils ne préfèrent fermer les yeux (IA en entreprise : aller au delà de l’augmentation pour enfin transformer).

Or pour l’entreprise ce qui devrait vraiment compter c’est le progrès sur une activité, un process et pas sur un individu mais, comme me le confirmait un expert du sujet qui intervient auprès de nombreuses entreprises, trouver quelques collaborateurs pour qui il existe un gain significatif suffit aujourd’hui à leur bonheur, peu importe qu’au final ce gain n’ait aucun impact sur la performance d’un process ou d’une activité donnée. On sait pourtant depuis longtemps que lorsque qu’un résultats dépend du travail de plusieurs personnes la performance de l’un ne laisse pas présumer de la performance du collectif mais c’est une notion qui a eu mal de quitter les usines pour rentrer dans les bureaux (Optimum local vs optimum global et théorie des contraintes : pourquoi vos gains de productivité ne servent parfois à rien).

Mais si l’intuition d’une entreprise comme Moderna est la bonne alors il faudra bien un jour se résoudre à mesurer des flux plutôt que des activités individuelles et le jour où cela arrivera cela risque de donner la migraine à beaucoup (Penser le travail comme un flux : séduisant mais est-ce réaliste ?).

Après l’IA : une vision tronquée

Sans surprise, après l’introduction de l’IA, ces mêmes limites demeurent. On peut constater qu’une tâche cœur est accélérée, mais cela ne suffit pas à établir un gain global. Car l’IA introduit aussi de nouvelles tâches induites : prompter, vérifier, corriger, contrôler. Ce temps-là n’est jamais pris en compte dans les calculs, alors qu’il peut largement compenser, voire annuler, le gain initial.

Et encore une fois, si à l’échelle individuelle, une opération peut aller plus vite rien ne garantit que le gain net soit positif à l’échelle d’une activité impliquant plusieurs intervenants quand bien même la tâche de l’un ne serait qu’une validation finale. Ce qui est présenté comme une accélération locale peut se traduire, au final, par un résultat global neutre ou négatif.

La perception remplace la mesure

Mais tout ce que vous dit aurait du sens si on avait des chiffres fiables or ça n’est que rarement le cas.

En réalité, la plupart du temps, on ne mesure pas mais on interroge. Les « gains » de productivité sont rapportés par les salariés eux-mêmes de manière déclarative (bien sur, vu qu’on n’a pas pensé/su/voulu/pu mesurer) or ce ressenti est influencé par plusieurs biais.

Il y a l’effet nouveauté, qui donne l’impression d’aller plus vite simplement parce que l’outil est perçu comme moderne et l’habituel effet Hawthorne qui nous dit le fait d’être observé modifie les comportements et crée une illusion de performance. Mais il y a aussi des collaborateurs qui, emballés par le côté magique de l’IA vont oublier les nouvelles tâches induites par les outils et tout simplement ceux qui n’oseront pas dire à leur employeur qu’ils ne sont pas convaincus que l’outil dans lequel il investit massivement ne leur apporte finalement pas grand chose (surtout s’ils en connaissent le prix…)

On dit souvent que « perception is reality » mais en fait cela ne vaut que pour les salariés. L’entreprise, elle, a besoin de chiffres fiables pour savoir et en l’occurence elle avance dans le brouillard.

Je sais que le sujet est compliqué mais vu ce qui est en jeu en termes de gains (potentiels) et de dépenses (bien réelles, elles) je pense que le sujet demande plus de rigueur que simplement se satisfaire de trouver des collaborateurs qui disent que c’est mieux qu’avant. Comme le disait Deming « In God we trust, all others must bring data » (Nous avons confiance en Dieu. Les autres doivent fournir des données.).

Et encore je parle de gains, et pas de ROI qui est encore une autre paire de manches.

Le piège du collectif

Je ne vais pas revenir une énième fois sur le fait qu’une organisation n’est pas une juxtaposition d’individus mais un système d’interdépendances dans lequel ce qui profite aux uns ne profite pas toujours à l’entreprise mais si on ajoute cela aux biais de perception le passage du « je pense que je vais plus vite » au « nous avons la certitude que nous allons mieux » est des plus hasardeux.

Quitte à me répéter je pense que c’est un sujet sur lequel beaucoup sont en train de se fourvoyer dans les grandes largeurs et je serais heureux de voir beaucoup plus, si ça n’est de vigilance, en tout cas de prise de conscience de cette limite.

Conclusion

Au bout du compte, et en tout cas aujourd’hui, parler des gains de productivité liés à l’IA revient souvent à raconter une histoire plus qu’à établir un fait. Faute de mesure de départ, faute de mesure exhaustive après, faute de prise en compte des interdépendances collectives, les chiffres avancés reposent davantage sur la perception que sur la réalité.

On peut estimer, ressentir, raconter mais pour démontrer, il faudrait revenir à une rigueur d’observation que quasiment personne n’applique car annoncer des gains de productivité sans point de départ, c’est un peu comme affirmer qu’on court plus vite sans jamais s’être chronométré auparavant.

Pour répondre à vos questions

Crédit visuel : Image générée par intelligence artificielle via ChatGPT (OpenAI)

Articles similaires:

L’IA générative dans l’environnement de travail : révolution ou illusion ? IA en entreprise : aller au delà de l’augmentation pour enfin transformer IA et emploi : pourquoi je ne crois pas au « grand remplacement » de l’Homme par la machine L’IA pour les nuls qui veulent y voir un peu plus clair Penser le travail comme un flux : séduisant mais est-ce réaliste ? Fusion des RH et de l’IT : Moderna redessine son organisation pour et avec l’IA