IA au bureau : éviter l'effet Wall-E

Dans le bureau des salariés avachis aux membres et cerveau atrophiés, incapables de se mouvoir de manière autonome si d’exercer la moindre réflexion par rapport à ce qu’on diffuse sur leurs écrans. Dehors une décharge géante à ciel ouvert. La société moderne qui a produit ces humains tant d’un point de vue intellectuel que physique a créé des montagnes de déchets que la planète n’arrive plus à absorber, au point qu’elle est devenue invivable. Cette même technologie qui a été utilisée au service des gens a fini par en faire des pantins qui en sont totalement dépendant a également détruit leur écosystème naturel au point que la Terre est devenue invivable et a forcé l’humanité à se réfugier sur un vaisseau spatial où ils peuvent vivre une vie oisive mais asservie sans même qu’ils en aient conscience.

Rassurez vous cela n’a rien de réel. L’histoire que je vous raconte est inspirée de celle de Wall-E, un film d’animation sorti en 2008 mais dont le scénario devrait nous interpeler.

L’effondrement de la Terre dans Wall-E est le résultat direct d’un consumérisme à tout crin et d’une dépendance aveugle à la technologie par une grande entreprise qui a pris le contrôle de tous les aspects de la société. Pour satisfaire une population toujours plus avide de confort et de facilité, elle a poussé à la surconsommation jusqu’à épuiser les ressources naturelles et transformer la planète en une immense décharge. Plutôt que d’affronter les conséquences de ce modèle économique elle leur a vendu alors end une solution « clé en main » : l’exil dans l’espace, à bord d’un vaisseau, où les humains pourraient continuer leur existence dans un cocon technologique, en attendant que des robots nettoient la planète pour eux.

C’est maintenant que l’histoire devient intéressante.

En effet la promesse de retour sur Terre était un mensonge. L’ampleur de la catastrophe écologique a rendu le nettoyage impossible, et la direction a préféré maintenir les humains dans une ignorance confortable plutôt que d’admettre la faillite de leur système. Les générations suivantes, privées d’effort physique comme intellectuel, ont perdu toute capacité à agir par elles-mêmes, devenant totalement dépendantes de leurs écrans et de l’automatisation.

Bien sûr nous sommes très loin de cela. Après tout chatGPT va bientôt fêter ses 3 ans donc on a le temps de voir venir. Mais en sommes nous si sûrs.

En effet une étude conjointe de Microsoft et de l’université Carnegie Mellon nommée « L’impact de l’IA générative sur la pensée critique : réductions autodéclarées de l’effort cognitif et effets de confiance d’après une enquête auprès des travailleurs du savoir » m’a mis la puce à l’oreille.

Je vous livre sa conclusion de manière brute :

« L’essor de l’IA générative (GenAI) dans les flux de travail de la connaissance soulève des questions quant à son impact sur les compétences et les pratiques de la pensée critique. Nous avons interrogé 319 travailleurs du savoir pour déterminer 1) quand et comment ils perçoivent la mise en œuvre de la pensée critique lorsqu’ils utilisent la GenAI, et 2) quand et pourquoi la GenAI affecte leurs efforts pour y parvenir. Les participants ont partagé 936 exemples concrets d’utilisation de la GenAI dans des tâches professionnelles. D’un point de vue quantitatif, si l’on considère à la fois les facteurs liés à la tâche et ceux liés à l’utilisateur, la confiance d’un utilisateur dans sa capacité à accomplir une tâche et sa confiance dans l’IA générique permettent de prédire si la pensée critique est mise en œuvre et l’effort nécessaire pour le faire dans les tâches assistées par l’IA générique. Plus précisément, une plus grande confiance dans l’IA générique est associée à une diminution de la pensée critique, tandis qu’une plus grande confiance en soi est associée à une augmentation de la pensée critique. Sur le plan qualitatif, l’IA générique fait évoluer la nature de la pensée critique vers la vérification des informations, l’intégration des réponses et la gestion des tâches. Nos observations révèlent de nouveaux défis en matière de conception et de nouvelles opportunités pour le développement d’outils d’IA générique destinés au travail intellectuel. »

Rien de grave à ce stade mais quand même quelques signaux d’alarme pour le futur. Et là je repense soudainement à Wall-E. D’abord en raison de la dimension cognitive du problème qui est un de mes sujets favoris, et ensuite je repense quand même à la dimension environnementale de la chose.

J’ai trouvé amusant de faire un parallèle entre Wall-E, son monde dystopique et ce que nous vivons aujourd’hui.

L’automatisation excessive mène à l’atrophie cognitive

L’étude montre en effet que l’utilisation de l’IA générative réduit l’effort cognitif perçu et encourage une forme de « délégation » de la pensée critique aux outils d’IA. Cela rappelle le sort des humains dans Wall-E, où l’automatisation poussée à son paroxysme a conduit à une dépendance totale vis à vis des machines, au point qu’ils ne réfléchissent plus de manière autonome.

Dans le film, les humains vivent sur un vaisseau où tout est géré pour eux. Ils ne marchent plus, ne réfléchissent plus activement, et se laissent porter par un système qui prend toutes les décisions à leur place. Ce phénomène est en phase avec le concept de « mécanisation de la convergence » mentionné dans l’étude, où l’utilisation de l’IA mène à une homogénéisation des réponses et à un affaiblissement de la pensée critique individuelle.

La confiance dans la technologie rend irresponsable

L’étude prouve que plus les travailleurs du savoir font confiance à l’IA, moins ils exercent leur pensée critique. Dans Wall-E, la confiance aveugle dans la technologie a conduit l’humanité à un état de passivité totale, où les individus acceptent sans se poser de question sur ce qui leur est présenté sur leurs écrans.

Dans l’étude, cette déresponsabilisation fait que les utilisateurs ne remettent plus en question les réponses fournies par l’IA, et que comme dans le film, les humains ne se préoccupent même plus de leur propre bien-être ni de leur environnement avec cette croyance que la technologie sera la réponse à tout et constitue la solution aux problèmes qu’elle pose (Pour tout résoudre cliquez ici ! et OPINION. « IA et dérèglement écologique : sortir de l’illusion techno-solutionniste« ).

La pensée critique est une capacité fondamentale

L’étude souligne que l’IA modifie la manière dont on exerce la pensée critique, la réduisant à une vérification passive des informations, plutôt qu’à une construction active du savoir. De la même manière, dans Wall-E, les humains ont perdu certaines capacités essentielles (marcher, réfléchir indépendamment, interagir en dehors des écrans).

Une analogie qui peut inquiéter : l’usage intensif de l’IA peut d’entraîner une perte progressive de compétences cognitives et analytiques à force de tout déléguer à la technologie.

Il n’y a pas de fatalité mais on ne pourra compter que sur nous mêmes

Tout n’est pas si négatif, dans Wall-E les humains finissent par reprendre le contrôle sous l’impulsion d’une poignée d’entre eux, la prise de conscience commence quand les humains se rendent compte qu’ils ne contrôlent plus rien et que la technologie est conçue pour empêcher tout retour sur terre.

L’étude, elle, met aussi en évidence que certains travailleurs du savoir cherchent encore à exercer leur pensée critique, notamment ceux qui ont une forte confiance en eux et en leur capacité d’évaluer les réponses de l’IA.

Technologie et environnement : attention aux marchands de rêve

Je ne peux pas terminer cet article sans parler de la dimension environnementale qui est éminemment liée à la technologie dans le monde d’aujourd’hui (Numérique et environnement : des usages immatériels pour un impact réel).

Je note deux leçons principales à retenir.

La première est relative à la possibilité de se trouver un écosystème de remplacement : aujourd’hui milliardaires (comme Elon Musk ou Jeff Bezos) promeuvent des projets de colonisation spatiale en prévision d’une crise écologique majeure sur Terre. Et ils ont totalement raison : quelle qu’en soit la cause la fin de la Terre est connue et suivra l’extinction inévitable du soleil.

Mais dans Wall-E cela a eu une conséquence : le film montre une humanité qui a complètement tourné le dos à son propre écosystème. Puisqu’on a un plan B pourquoi se préoccuper du plan A ?

La deuxième j’en ai déjà parlé plus haut : les méfaits du solutionnisme technologique. Les robots Wall-E étaient censés nettoyer la planète, mais après des siècles, la tâche est toujours impossible. Le dernier modèle fonctionnel, le héros du film, est seul à continuer son travail. On peut y voir une allusion à l’illusion de croire que la technologie peut résoudre tous les problèmes écologiques sans un changement des comportements humains.

Conclusion

Le parallèle entre Wall-E et l’étude sur l’IA générative peut être lu comme un avertissement sur les dangers d’une dépendance excessive aux outils technologiques. Si on n’y prend pas garde nous risquons de devenir des travailleurs passifs, acceptant sans réflexion les productions de l’IA, tout comme les humains du film ont abandonné toute forme de contrôle sur leur propre existence.

De la même manière, Wall-E est une fable écologique qui exagère des tendances déjà visibles aujourd’hui, pour mieux nous alerter sur ce qui pourrait arriver si nous ne changeons pas notre relation à l’environnement.

Wall-E nous disait aussi que la technologie pouvait être un moyen de d’asservissement idéologique et culturel (Sommet sur l’IA : vrai succès ou cache misère pour l’Europe ?).

La bonne nouvelle est dans le film les hommes ont fini par se rebeller contre la technologie et commencé à réhabiliter la Terre.

Mais on ne m’empêchera pas de me poser une question. Les humains n’étaient ils pas heureux de se complaire dans une vie oisive et totalement assistée ? Est-ce cela qui a causé la révolte ou le fait d’apprendre que la technologie leur mentait et les gardait prisonnier face un retour sur Terre qu’elle n’estimait ni possible ni désirable car cela ne servait pas ses propres intérêts.

Ce qui pose in fine la question de l’AGI (intelligence artificielle générale) et au delà d’une possible conscience artificielle qui permettrait à la technologie de ne servir que ses propres ambitions.

On ne parle bien sûr que d’une fiction mais c’est peut être le moment de réfléchir à certaines choses. Ce qu’on voit aujourd’hui n’est en aucun cas dramatique mais peut être le début de quelque chose qui peut l’être.

Image générée par Le Chat, un assistant AI créé par Mistral AI.