Mesurer l’impact de l’IA générative au travail

Pour accompagner le lancement du Copilot IA dans sa gamme de logiciels (lire Qant du 22 septembre et du 16 novembre), Microsoft a également lancé une série d’études sur les gains de productivité que les entreprises peuvent effectivement attendre en échange du surcoût, important, de 30 dollars par poste et par mois. Pour évaluer l’impact de ces outils, les chercheurs se concentrent sur trois dimensions clés de la productivité : la vitesse, la qualité et l’effort. 

La vitesse est mesurée par le temps nécessaire pour accomplir une tâche, tandis que la qualité est évaluée en fonction de l’exactitude et de la pertinence des résultats. L’effort, quant à lui, est analysé pour déterminer l’impact à long terme de l’utilisation des outils LLM, notamment en termes de motivation et de prévention de l’épuisement professionnel. 

Au total, les études montrent que l’introduction de ces outils dans l’environnement de travail entraîne une augmentation significative de la productivité. Cette amélioration se manifeste principalement par une accélération de l’exécution des tâches sans compromettre la qualité. Deux essais contrôlés randomisés (Edelman et al.) ont par exemple évalué les performances et la satisfaction des utilisateurs de Copilot dans divers scénarios de travail conçus pour tester les tâches courantes : récupérer des informations à partir de fichiers, de courriers électroniques et d’un calendrier, rattraper son retard après une réunion en ligne manquée et rédiger du contenu. Dans les deux expériences, les utilisateurs de l’outil d’IA se sont montrés statistiquement significativement plus rapides : un gain de temps de 57,9 % pour la création de contenu mais de 16,4 % seulement pour les résumés de réunion. 

“Je n’aurais pas dit mieux”

Le gestionnaire de mails Outlook peut, avec Copilot, se fonder sur le contenu de la boîte “Envoyés” pour rédiger des courriers dans le style de l’utilisateur. Du moins en anglais, les utilisateurs recrutés pour l’expérience considèrent généralement les messages générés par cette fonctionnalité, « Sound Like Me » (SLM), comme plus clairs et plus concis. Confrontés en aveugle à des messages écrits par des humains et d’autres générés par l’IA, les utilisateurs ont du mal à faire la différence et parfois même font pire que le hasard. Mieux, à choisir entre les deux, les utilisateurs déclarent qu’ils préfèrent recevoir les messages générés par l’IA. 

C’est en matière de sécurité que les résultats sont les plus impressionnants. 149 participants ont été recrutés pour un essai randomisé. Tous étaient des novices en matière de sécurité, avec des compétences informatiques standard mais sans expertise spécifique. Ils ont tous eu accès à M365 Defender, et une moitié tirée au sort a eu accès au Security Copilot, qui fournit une interprétation basée sur l’IA des incidents de sécurité et recommande des réponses. Sur les trois tâches comportant des questions à choix multiples, les sujets avec Copilot ont donné 44 % de réponses correctes supplémentaires, avec un gain de vitesse de 26 %. Pour les réponses aux incidents, les gains de précision étaient de 73 %.

Ces résultats sont cohérents avec l’aide à la programmation. Dès février dernier, une étude avait montré que le Github Copilot pouvait permettre à une équipe de programmeurs de d’implémenter un serveur HTTP en JavaScript moitié (55,8 %) plus vite.

Au delà de la productivité, le bien-être

Les études portent aussi l’attention sur l’impact de ces outils sur le bien-être des employés. L’analyse de l’effort déployé par les travailleurs révèle que l’utilisation des LLM ne conduit pas à des signes d’épuisement ou de baisse de motivation. Au contraire, dans certains cas, les participants ont trouvé les tâches moins ardues et plus agréables, indiquant une amélioration potentielle du bien-être au travail grâce à ces technologies. Les auteurs prévoient d’élargir le champ de leurs recherches pour inclure une gamme plus large de tâches et de rôles, ainsi que d’étudier le passage à la réalité, dont les résultats peuvent être très différents des expériences contrôlées en environnement simulé.

Pour en savoir plus :

• Alexia Cambon et al., Early LLM-based Tools for Enterprise Information Workers Likely Provide Meaningful Boosts to Productivity, Microsoft, 2023
• Benjamin G. Edelman et al., Measuring the Impact of AI on Information Worker Productivity, SSRN, Déc. 2023
• Benjamin G. Edelman et al., Sound Like Me: Findings from a Randomized Experiment SSRN, Nov. 2023
• Benjamin G. Edelman et al, Randomized Controlled Trial for Microsoft Security Copilot,  SSRN, Nov. 2023
• Sida Peng et al, The Impact of AI on Developer Productivity: Evidence from GitHub Copilot, Arxiv, Fév. 2023