Pilotant plusieurs études sur les systèmes d’intelligence artificielle générative (SIAG), Frantz Rowe, professeur à l’université de Nantes, consultant-chercheur et membre de l’Institut universitaire de France, détaille les gains de ces outils, pas toujours à la hauteur des attentes, mais aussi les répercussions de leur usage sur les collectifs de travail et, plus globalement, sur la maîtrise des compétences et l’autonomie des entreprises.
Quels aspects des systèmes d’IA génératives (Siag) examinent les études que vous menez actuellement?
Frantz Rowe : Les missions de conseil et les recherches que je mène actuellement avec plusieurs grandes entreprises des secteurs bancaires et des télécommunications, ont pour but d’évaluer les effets des IA génératives sur le travail et les organisations. En particulier nous évaluons des expérimentations en bac à sable de Copilot 365, qui est associé à la suite bureautique de Microsoft, de Copilot GitHub, qui aide à produire du code, et aussi les instances internes de chat GPT. Ces derniers sont des dispositifs sécurisés afin que les données de l'entreprise ne partent pas à l'extérieur, ce qui ferait courir des risques en matière de propriété intellectuelle ou de protection des données individuelles. D’autres IAG que nous évaluons portent sur des tâches spécifiquement métier.
Quels gains apportent ces Siag ?
F. R. : Il y a des gains très substantiels qui motivent considérablement les entreprises à adopter ces Siag. Mais ce n’est pas toujours le cas. S’agissant de Copilot 365, dans les cas d'entreprise que nous avons observé, les résultats sont plutôt décevants. À part les comptes rendus sur Teams, la performance des autres services n'est pas au rendez-vous. Les fonctionnalités des Siag associées à Excel ou Powerpoint ne sont pas à la hauteur de ce qu'attendent les gens dans l'entreprise. Si une grande partie des collaborateurs était équipée, cela risque d’atteindre des sommes astronomiques pour des gains discutables. D’autant que les instances internes de ChatGPT permettent d’avoir des résultats comparables ou meilleurs sans payer les licences de Copilot 365.
Quel est l’outil le plus efficace ?
F. R. : GitHub Copilot peut être considéré comme un dispositif plus abouti, que les développeurs apprécient. Il permet des gains moyens de productivité de l’ordre de 10 %, voire beaucoup plus sur certaines tâches, mais il faut se rappeler que les entreprises calculent l’intérêt d’un investissement à partir de gains moyens. S’agissant du travail d’écriture de code, la fonctionnalité d’autocomplétion* de GitHub Copilot fait une proposition qui est acceptée par les développeurs dans 30 % des cas. C’est un gain de temps et cela réduit le risque d’erreur de frappe. À l’inverse, cela signifie que dans 70 % des cas, le développeur refuse la proposition. Ce dispositif pourrait être considéré comme peu efficace mais, même lorsque la proposition ne satisfait pas le développeur, elle peut susciter des idées et aboutir là aussi à un gain de temps. GitHub Copilot propose aussi un tchat qui fait des suggestions là aussi génératrices de productivité ou d’efficacité. Ce sont des systèmes plus adaptés pour les applications de front-office, comme les interfaces ou les sites web, que pour celles de back-office.
Quelle est l’attitude des entreprises ?
F. R. : Ce Siag est effectivement très satisfaisant pour les entreprises qui l’ont testé et il est en voie de généralisation. Entendons-nous bien : cela ne veut pas dire que tous les développeurs vont utiliser cet outil. Cela veut dire que tous ceux qui le désirent peuvent l’avoir. Par ailleurs, les gains de productivité sont mesurés sur une tâche précise, le développement de code, or un développeur a d’autres activités comme la conception, la formation, et les échanges avec les product owners ou avec ses collègues. En moyenne, un développeur consacre entre 30 % à 40 % de son temps de travail à l’écriture de code. C’est sur cette base qu’il faut calculer les gains de productivité d’un système comme GitHub Gopilot. Sur les tests, c’est aussi intéressant car, souvent, certains tests n’étaient pas réalisés car c’est une opération très chronophage. Avec des outils comme GitHub Copilot, il devient possible d’automatiser une plus grande partie des tests ce qui assure des gains de temps importants.
Quelle est la qualité des autres productions des Siag ?
F. R. : La production de texte, comme la production de code réalisée par les outils d’IA est d'une qualité, disons, pas très élevée. Un expert rédigera toujours mieux que ChatGPT dont la production écrite peut être assimilée à une sorte de « fast-food » de l’écriture1. C'est une nourriture qui est apparemment comestible, rapide à produire et qui peut être satisfaisante mais cela pose problème si vous êtes contraint de vous nourrir exclusivement de cela. L’IA générative produit des textes d’une qualité moyenne parce qu'elle se base sur des modèles de langage probabilistes. Elle va apprendre les expressions les plus courantes qui respectent à peu près la syntaxe. Cela donne quelque chose qui est assez fluide et lisible mais qui n'est pas toujours correct. C’est déjà un premier inconvénient. Le second, c’est que ce n'est pas l'expression la plus précise et la plus recherchée, la plus soutenue, qui sera produite. C’est un outil qui réduit la diversité de la production écrite inhérente à la diversité des personnes. Et c'est un vrai problème, parce que cet outil peut réduire la diversité de l'expression mais aussi la diversité des idées. Pour des organisations qui veulent innover, ce n’est pas la panacée.
Comment résoudre ce problème ?
F. R. : La question clef, c'est d'où on part. Si vous partez avec des ressources humaines qui comptent un certain nombre de personnes qualifiées, alors il est possible d’élever le niveau de qualité des productions de l’IA générative. Cela ne va pas pour autant augmenter les compétences des personnes qui sont déjà les plus qualifiées mais cela peut amener les moins qualifiées à se rapprocher des meilleurs. Il faut aussi avoir à l’esprit que les IA génératives produisent beaucoup d'erreurs ; 70 % à 80 % du contenu qu’elles produisent contiennent des erreurs mais la plupart sont mineures ce qui les rend difficile à repérer. Au-delà de la qualité des données, l’autre question cruciale est la possibilité pour les utilisateurs de donner leur feedback sur la production des IA génératives afin que ces systèmes améliorent leur efficacité.
Quels seront les effets des Siag sur les compétences ?
F. R. : Les Siag peuvent à la fois favoriser le développement de compétences mais aussi conduire à des pertes de compétences. Prenons le cas de personnes qui savent faire des synthèses. Si cette tâche est confiée à des Siag, au bout d’un certain temps, ces personnes perdront cette compétence car elles ne la mettront plus en action. Inversement, un développeur informatique pourra coder dans un autre langage plus rapidement sans le connaître très bien. C'est précisément ce que recherchent les entreprises, c’est la possibilité d’accélérer la production. Dans ce cas de figure, l'apprentissage en profondeur de ce nouveau langage sera limité. Les Siag soulèvent aussi une question autour du développement de l'esprit critique. Pour valider ce que propose un Siag, il faut être capable de questionner la justesse et la qualité du résultat produit, ce qui exige d’avoir des bases solides, le temps d’exercer son discernement et d’être consciencieux. Au-delà, les Siag ouvrent un nouveau champ de questions sur la définition des normes d’un métier. Est-ce que des personnes qui ne sont pas juristes vont être autorisées à produire des contrats simplement parce que des Siag permettent de le faire ? Quelles limites seront posées ?
Quel sera l’effet des Siag sur les collectifs de travail ?
F. R. : Nous avons observé une forme d’ambivalence. Les Siag peuvent réduire la dépendance des organisations vis-à-vis de prestataires extérieurs mais aussi la dépendance entre salariés ou entre services d’une même organisation. Cette autonomie se paie d’une dépendance accrue vis-à-vis des fournisseurs de Siag, or les organisations ne savent pas comment sont entraînés les modèles de ce Siag et n’ont pas la maîtrise de la politique tarifaire du fournisseur. Si un salarié est plus autonome, il mobilisera moins ses collègues mais au bout du compte cela réduit aussi les échanges or le collectif a déjà été mis à mal ces dernières années avec le télétravail consécutif à la crise sanitaire. La diffusion des Siag va accroître ce phénomène. Cela oriente les entreprises vers une forme d’organisation qui réunirait une série de personnes sans grand lien entre elles et qui seraient pilotées par une sorte de chef d’orchestre qui irait sur le marché pour trouver les compétences dont il a besoin. Est-ce encore une entreprise ? C’est un risque pour les organisations de se retrouver avec des gens qui ne travaillent plus autour d’objectifs communs mais contribuent dans leur domaine à ces objectifs sans se sentir attachés à l’organisation parce qu’ils ne travaillent pas, ou peu, les uns avec les autres.
Quel rôle doit jouer le dialogue social dans l’expérimentation et le déploiement des Siag ?
F. R. : Le rôle du dialogue social, et j'insiste même sur ce point, est très important parce que l'ampleur des changements potentiels et des investissements, à la fois financiers et humains pour tester les systèmes d'IAG, seront considérables. Cela doit passer par un choix collectif partagé dans l'intérêt de l’entreprise mais aussi des collaborateurs, car il n’y a pas de Siag efficace et efficient sans leur adhésion et leur participation active. Il faut donc apporter des informations à cette instance collective par des expérimentations sérieuses afin d’aboutir à une phase de construction avec les parties prenantes. Cela va permettre que l'acceptation des bons cas d'usage soit suivie de tous les effets d'apprentissage nécessaires et qu'on soit dans une forme de dynamique positive pour les salariés, les entreprises et la qualité des données. Cette phase de construction du Siag conditionne et doit se faire avec son déploiement, une fois la phase d’exploration (expérimentations en bac à sable) suffisamment riche d’enseignements. Mais cette dernière ne se termine pas pour autant dans l’entreprise car d’autres Siag sont constamment à développer. C’est cette dynamique globale qu’il faut entretenir en la sous-tendant par le dialogue social.
Les entreprises sont-elles en mesure de maîtriser leur relation avec les fournisseurs de Siag ?
F. R. : Notre problème, celui des organisations et de la société, et même des chercheurs2, c'est que nous sommes face une industrie, et en particulier des Gafam, qui a un marketing et un lobbying extraordinaires. Ils n'ont pas hésité à mettre sur le marché une technologie apparemment hyper puissante mais qui en fait a introduit beaucoup de nouveaux risques et de vulnérabilités. Quelquefois, les résultats sont effectivement très intéressants mais cela demande beaucoup d’investissement et de travail de mise au point ; or ces ressources ne sont pas accessibles à toutes les organisations.
* Autocomplétion : le système d’IA générative propose spontanément une suite aux premiers éléments de code écrits par le développeur.
(1) F Rowe in YK Dwivedi, N Kshetri, L Hughes, EL Slade, A Jeyaraj, AK Kar, ...(2023) Opinion Paper: “So what if ChatGPT wrote it?” Multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice … International Journal of Information Management 71, 102642
(2) Par exemple, les Siag peuvent aider à bien résumer un texte donné. Cela peut-être très utile aux chercheurs qui font tous des revues de littérature. Pour autant, les tâches requises pour celles-ci sont complexes et les Siag ne peuvent constituer un substitut valable pour automatiser complètement ce type de travail. Pour approfondir la question : voir Ngwenyama et Rowe (2024), Should we collaborate with AI to conduct literature reviews? changing epistemic values in a flattening world, Journal of the Association for Information Systems 25 (1), 122-136
