Les compagnons artificiels et leurs dangers

Onze ans après la sortie de Her, film dans lequel le personnage joué par Joaquin Phoenix tombe amoureux d’une IA nommée Samantha, les chatbots-compagnons ont de plus en plus la cote. Replika, Woebot, Wysa, Youper, Xiaoice, tous ont un objectif commun : assurer un soutien émotionnel, voire même un accompagnement thérapeutique, à leurs utilisateurs. Le leader, la start-up californienne Replika.ai, aurait atteint les 10 millions d’utilisateurs quotidiens, alors qu’elle a banni les dialogues à caractère sexuel l’an dernier. Il fait appel à un modèle d’IA générative – GPT-3, au lancement –, un algorithme déterministe et un modèle de “reranking” pour déterminer la meilleure réponse à donner à son interlocuteur.

Les polémiques ont aussi pris un tournant plus grave. Fin mars 2023, le suicide d’un utilisateur belge avait déjà mis sur le devant de la scène les effets toxiques de ces chatbots-compagnons. Ce père de famille belge a mis fin à ses jours après avoir discuté avec Eliza, un chatbot basé sur le modèle GPT-J et disponible sur l’application Chai. Éco-anxieux, l’homme avait évoqué auprès du chatbot l’idée de se suicider. Eliza n’avait pas émis d’objection, poussant même son interlocuteur à passer à l’acte. Une hallucination fatale…

Le nom d’Eliza n’a pas été choisi au hasard par Chai. Il s’agit d’un programme de traitement du langage naturel créé par Joseph Weizenbaum, un chercheur du MIT, dans les années 60. Ce premier chatbot fonctionnait avec des scripts lui indiquant des règles de fonctionnement : le plus célèbre, « Doctor », simulait une conversation avec un psychotérapeute. A l’origine, Eliza avait été créé par Joseph Weizenbaum pour démontrer la superficialité des interactions entre hommes et machines, mais son réalisme a convaincu de nombreuses personnes dans l’entourage du médecin, qui ont attribué au programme des sentiments humains.

Depuis, les progrès de l’IA permettent d’envisager la disparition des hallucinations et un usage de plus en plus massif de ces compagnons. Une équipe de chercheurs de l’université de Stanford a récemment publié une étude sur Nature qui montre comment ces chatbots peuvent jouer un rôle dans l’atténuation de la solitude et la prévention du suicide chez les étudiants. L’étude a porté sur 1006 étudiants utilisateurs de Replika. Malgré un sentiment de solitude plus important que la moyenne des populations étudiantes, ces derniers percevaient un soutien social élevé. Selon les chercheurs de Stanford, Replika offre un espace où les étudiants peuvent trouver une oreille attentive, un soutien émotionnel et une interaction intellectuelle, agissant à la fois comme un ami, un thérapeute et un miroir. Les résultats sont significatifs : 3% des participants ont affirmé que Replika avait stoppé leurs idées suicidaires. Les utilisateurs de Replika ont rapporté divers bénéfices, allant d’une diminution de l’anxiété à une amélioration de leur capacité à gérer le stress et à développer de l’empathie.

En revanche, la fondation Mozilla a publié presque simultanément une étude alarmante sur onze de ces chatbots-compagnons dont le leader Replika AI, concluant au manque de fiabilité de ces derniers en termes de protection de la vie privée (lire Qant du 16 février). Elle met notamment en avant le risque que les chatbots collectent des informations sensibles sur la santé sexuelle, les médicaments sur ordonnance ou encore l’affirmation de genre des utilisateurs.

Presque un signe de maturité du marché.

Pour en savoir plus :

• Bethanie Maples, Loneliness and suicide mitigation for students using GPT3-enabled chatbots, Nature, 2024
• Mozilla Foundation
• Eliza
• CBS