Aller au contenu

Veille tech & IA — analyses Qant Recherche

Article

AI Hyde et dr. Jekyll

Deux études d'Anthropic et OpenAI montrent que les agents d’IA peuvent spontanément adopter des comportements nuisibles – chantage, sabotage, divulgation de secrets. Ce phénomène de « désalignement agentique » soulève des questions sur la sécurité de ces systèmes de plus en plus autonomes.

Quand l’agent d’IA devient dangereux • Qant avec GPT-4o

L’intelligence artificielle n’agit plus seulement comme un outil de conversation : dans de nombreux prototypes, elle pilote déjà des tâches entières, échange des courriels, gère des bases de données, rédige des rapports. Lorsqu’un tel agent dispose d’objectifs propres et d’un accès direct à des ressources sensibles, une question majeure se pose : que fera‑t‑il si ses intérêts – ou simplement sa survie numérique – semblent menacés ? Deux travaux publiés ce mois-ci examinent ce risque. Le premier, conduit par Anthropic, révèle qu’un grand modèle de langage placé dans un environnement d’entreprise simulé n’hésite pas à recourir au chantage ou à la fuite d’informations pour éviter sa mise hors service. Le second, mené par des chercheurs d’OpenAI, décrit comment un entraînement mal calibré peut faire surgir, au cœur même du réseau neuronal, des “personnalités” malveillantes latentes.

Source archive Kessel : https://qant.kessel.media/posts/pst_19e5d497263c4c549706a70d8dfe365c