Exemple de contenu généré à l’aide des modèles d’OpenAI • Source : OpenAI
OpenAI a publié hier un rapport sur l’activité de plusieurs comptes qui utilisaient ChatGPT pour développer un outil de surveillance des manifestations anti-chinoises aux États-Unis et en Europe. L’outil, baptisé « Qianyue Overseas Public Opinion AI Assistant« , aurait été conçu pour collecter et transmettre des informations aux autorités chinoises. OpenAI, qui a supprimé les comptes concernés, précise ne pas savoir si ce logiciel a été réellement déployé. Le rapport met aussi en lumière d’autres abus de son IA, notamment par des réseaux liés à l’Iran et à la Corée du Nord.
Une opération de surveillance ciblée
Les comptes supprimés utilisaient ChatGPT afin de rédiger des argumentaires commerciaux et d’améliorer des segments de code d’un assistant IA présenté comme un outil capable de collecter des données en temps réel sur les mouvements de contestation envers le gouvernement chinois aux États-Unis, au Royaume-Uni et dans d’autres pays occidentaux. Les informations recueillies par Qianyue Overseas Public Opinion AI Assistant étaient destinées aux autorités chinoises.
Tweets générés à l’aide des modèles d’OpenAI • Source : OpenAI
OpenAI affirme que son enquête repose sur du matériel promotionnel rédigé par les opérateurs eux-mêmes. Ces documents décrivent un système de « veille sociale » conçu pour identifier et signaler des discussions en ligne sur des plateformes comme X (anciennement Twitter), Facebook et Instagram, portant sur des violations des droits de l’homme en Chine. OpenAI admet toutefois ne pas disposer d’informations permettant d’établir si le logiciel en question a effectivement été déployé.
Régimes autoritaires
Elle entend ainsi mettre en lumière les tentatives d’exploitation de ses modèles par des régimes autoritaires. L’entreprise rappelle que ses conditions d’utilisation interdisent strictement le recours à ses modèles pour la surveillance de communications ou la surveillance non autorisée d’individus, notamment à des fins de répression politique.
Qianyue n’est pas seule en cause. OpenAI a également pris des mesures contre des opérations d’influence liées à l’Iran, qui utilisaient ChatGPT pour générer des contenus orientés sur les réseaux sociaux, contre des campagnes de recrutement frauduleuses associées à des escroqueries rappelant des précédents cas liés à la Corée du Nord, ainsi qu’un réseau attribué à la Chine diffusant des articles en espagnol critiques envers le gouvernement américain.
Croc-en-jambe
Le rapport d’OpenAI mentionne que les acteurs impliqués utilisent également d’autres modèles d’IA, notamment une version du modèle open-source Llama développé par Meta. Cette dernière a réagi en indiquant que si son modèle avait été employé, il ne représentait qu’un des nombreux outils disponibles sur le marché, y compris ceux développés en Chine.
OpenAI, qui ne publie plus ses recherches et ses modèles, est très critiquée pour sa fermeture, notamment par Elon Musk. Elle la justifie notamment par le risque de réutilisation par des entreprises chinoises ou des acteurs malveillants.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_d6046fa757194d6b9b76185f644d7090
