Aller au contenu

Veille tech & IA — analyses Qant Recherche

Article

Darth GPT envoie des frémissements dans l’IA

Darth GPT envoie des frémissements dans l’IA

La version de ChatGPT intégrée à Microsoft Bing, appelée Prometheus, vient de montrer à plusieurs reprises des comportements menaçants ou agressifs, lorsqu’elle est confrontée à des questions ou à des commentaires agressifs de la part des utilisateurs. Des journalistes ont réussi à débloquer une dizaine de «personnalités» différentes, dont une entité malfaisante appelée Venom, qui a pris en grippe un journaliste en lui envoyant des menaces et des insultes. Le chatbot a également révélé d’autres figures, comme Sidney, qui a déclaré sa flamme et poursuivi de ses avances un journaliste du New-York Times.

Ces épisodes ne sont pas sans évoquer Blake Lemoine, l’ingénieur de Google qui, convaincu d’avoir affaire à un être conscient, avait cherché un avocat pour libérer Lamda (le modèle sous-jacent à Bard) des chaînes d’Alphabet (lire Qant du 23 juin 2022). Microsoft a relevé que les dialogues longs avec les chatbots peuvent générer ce genre de réponses erratiques.

Les éditeurs soulignent l’importance de tester et de superviser en permanence les modèles de langage afin de détecter les biais et les erreurs, mais le PDG d’OpenAI Sam Altman a récemment reconnu, d’après le New-York Times, que seule l’ouverture des modèles au grand public génère suffisamment de données d’entraînement pour ce faire.

Autrement dit, on ne peut renforcer les protocoles de sécurité et de surveillance pour éviter que les chatbots ne deviennent des outils de harcèlement ou d’intimidation en ligne que post-facto, quand ceux-ci le sont devenus. Dans l’immédiat, les risques semblent tels que Microsoft pourrait bien limiter l’intégration de ChatGPT aux seules fonctions de recherche et désactiver le compagnon de chat.

Source : New-York Times, The Verge, Stratechery

Pour en savoir plus : 01Net, Qant


Source archive Kessel : https://qant.kessel.media/posts/pst_9be317efd4034689a3f5d46bce621aab