On n'a pas besoin d'avoir confiance dans l'IA mais dans ceux qui l'entrainent

La confiance dans l’intelligence artificielle est une question majeure en entreprise. Alors que de nombreuses entreprises investissent massivement dans ces technologies pour améliorer leurs opérations et leurs décisions, elles se heurtent souvent à une réticence des collaborateurs à adopter les recommandations des systèmes d’IA, d’autant plus que leurs dirigeants ne semblent guère plus convaincus qu’eux (Comment les cadres supérieurs perçoivent l’IA ).

Mais pourquoi les employés n’ont-ils pas confiance dans l’IA ?

Un manque de compréhension de l’IA

On entend souvent que cette méfiance vient du fait que les utilisateurs ne comprennent pas comment fonctionne l’IA. Les modèles dits « boîtes noires », qui produisent des résultats sans expliquer clairement leurs processus internes, font en effet souvent l’objet d’une certaine forme de rejet.

L’hypothèse souvent avancée est que, sans explications accessibles, les utilisateurs seraient moins enclins à faire confiance aux recommandations de ces modèles.

À l’inverse, des modèles transparents, dont les méthodes et résultats peuvent être compris par des non-experts, devraient être plus facilement acceptés.

Cependant ça n’est pas san surprise que j’ai trouvé une expérience qui dit exactement l’inverse.

Tout dépend qui a construit la boite noire

Une étude menée par des chercheurs de Georgetown University, de Harvard, et du MIT a en effet révélé que les utilisateurs ont plus tendance à suivre les recommandations d’un modèle opaque que celles d’un modèle transparent (People May Be More Trusting of AI When They Can’t See How It Works).

L’étude, conduite avec une enseigne de mode aux États-Unis , portait sur les décisions d’allocation de stocks dans des magasins. Deux modèles ont été comparés : un modèle simple et explicable, basé sur des règles fixes, et un modèle plus sophistiqué, mais opaque. Les employés avaient la possibilité d’ajuster ou de rejeter les recommandations des modèles.

Les résultats vont à l’encontre de ce qu’on aurait légitimement pu attendre : les décisions basées sur le modèle opaque ont été suivies bien plus souvent que celles basées sur le modèle transparent, avec des performances nettement supérieures.

Les chercheurs avancent plusieurs explications à ce résultat.

Tout d’abord la confiance établie par l’implication des pairs. Les employés savaient que le modèle opaque avait été conçu avec la participation de leurs collègues. Cette implication des pairs a renforcé la légitimité perçue du système. En fait le problème de la confiance est en quelque sorte déplacé de la technologie vers ceux qui l’ont construit et, très important dans le cas présent, ceux qui l’ont entrainé.

Ensuite l’illusion de compétence vis a vis du modèle transparent. Avec le modèle explicable, les employés se sentaient capables de critiquer les recommandations et faisaient parfois des ajustements injustifiés. Ce phénomène, appelé « dépannage excessif » (« overconfident troubleshooting »), reposait sur des hypothèses non vérifiées et même erronées.

Enfin la gestion de l’incertitude. Lorsqu’il y avait beaucoup d’enjeux ou d’incertitude, comme pour les magasins à fort volume, les employés étaient plus enclins à faire confiance au modèle opaque, présumé plus performant.

L’importance du contexte professionnel

Mais il faut être totalement objectif sur le sujet et donc admettre qu’ici nous sommes dans un cadre professionnel avec des attentes et des enjeux précis, ce qui n’est peut être pas le cas dans la vie de tous les jours et avec des populations moins éduquées ou quand l’utilisation de l’IA ne représente pas un enjeu.

Des chercheurs ont en effet découvert que ceux qui possèdent moins de connaissances sur l’IA sont en réalité plus ouverts à son utilisation (Knowing less about AI makes people more open to having it in their lives). Dans les pays où l’éducation à l’IA est moins forte on tend à lui faire plus confiance que dans les pays où les gens sont davantage conscients de ses limites.

Une enquête menée auprès d’étudiants américains a également montré que moins ils comprennent l’IA plus ils ont tendance à l’utiliser pour leurs devoirs.

En revanche, pour des tâches à caractère analytique c’est l’inverse: les personnes quoi connaissent bien l’IA sont plus enclines à l’utiliser, car elles valorisent son efficacité plutôt que son aspect « magique « .

Conclusion

L’IA n’est pas seulement une question de technologie, mais aussi de perception humaine.

Ces résultats renversent l’idée préconçue selon laquelle la transparence est nécessaire pour établir la confiance dans l’IA ou, d’ailleurs, dans une technologie quelle qu’elle soit . En réalité, la confiance semble moins dépendre de la compréhension technique que du contexte humain et organisationnel dans lequel l’IA est entrainée et implémentée.

Cela montre que la transparence n’est pas une garantie de confiance car une explication claire peut parfois inciter les utilisateurs à contester les recommandations, même à tort. A côté de cela la légitimité perçue joue un rôle clé. Lorsque les utilisateurs savent que l’IA est créée et testée par des experts ou leurs pairs, ils sont plus enclins à l’accepter.

Plutôt que de se concentrer uniquement sur la simplification des systèmes d’IA ou leur puissance, les entreprises devraient donc investir dans des stratégies d’adoption qui incluent les utilisateurs finaux dans le processus de conception et renforcent la confiance.

Image : confiance en l’IA de wenich_mit via Shutterstock