Microsoft vient de rendre public Pyrit (Python Risk Identification Toolkit), un outil initialement utilisé par sa Red Team pour identifier les risques dans les systèmes d’intelligence artificielle générative, y compris Copilot. Cet outil vise à faciliter la détection des failles pouvant être exploitées par des acteurs malveillants dans ces systèmes. Pyrit automatise l’envoi de prompts malveillants à un système d’IA générative et évalue les réponses pour identifier rapidement les risques potentiels. Microsoft indique que Pyrit a déjà permis d’optimiser l’efficacité de ses efforts de red teaming, réduisant significativement le temps nécessaire à l’évaluation des risques. L’outil est désormais disponible au public, accompagné de démos et d’un webinaire expliquant son utilisation pour l’évaluation sécuritaire des systèmes d’IA générative.
Le red teaming consiste notamment, aujourd’hui, à tester de manière structurée les failles et vulnérabilités d’un système d’IA, en simulant les attaques potentielles d’adversaires. Mais OpenAI en a fait usage dès la fin 2022 pour l’alignement de GPT-4. Le red-teaming et le RLHF (Reinforcement learning with human feedback) se sont ainsi imposés comme la manière de préserver l’alignement du modèle face aux attaques, et non seulement lors de son entraînement. Le décret exécutif du président Biden l’an dernier exige que les modèles d’IA soient soumis à cette pratique (lire Qant du 31 octobre 2023).
En septembre dernier, OpenAI a ainsi de nouveau fait appel à des experts externes en cybersécurité, regroupés sous le terme red team, pour identifier les vulnérabilités de ses systèmes (lire Qant du 21 septembre 2023).
Chez Google, la création d’une AI Red Team a été complétée par un programme de récompenses encourageant les hackers à découvrir des vulnérabilités dans les systèmes et services d’IA, avec des récompenses pouvant atteindre 12 millions de dollars (lire Qant du 31 octobre 2023).
Du rouge au violet
En décembre dernier, Meta a même présenté le “purple teaming” un concept qui mêle la posture d’attaque de la “red team” à celle de défense d’une “blue team”. Les pratiques de la cybersécurité s’étendent ainsi progressivement au monde de l’IA mais la définition précise de ce qu’est une équipe de red teaming reste cependant floue : on est encore loin de la standardisation des méthodes de test, de la codification ainsi que la diffusion des résultats.
Chaque modèle d’IA a ses propres vulnérabilités et environnements d’utilisation, mais les efforts de red teaming gagneraient à être plus transparents et harmonisés. Dans ce but, une équipe de chercheurs a récemment présenté HarmBench, un cadre d’évaluation standardisé pour le red teaming automatisé – dans le même esprit que Pyrit de Microsoft, donc.
HarmBench propose un étalonnage qui permet une comparaison à grande échelle entre 18 méthodes de red teaming et 33 modèles et défenses de grands modèles de langage. L’étude révèle notamment qu’aucune attaque ou défense actuelle n’est uniformément efficace et que la robustesse est indépendante de la taille du modèle. HarmBench inclut également une méthode d’entraînement adversarial qui améliore considérablement la robustesse des LLMs face à une large gamme d’attaques. Il est disponible en open source.
Pour en savoir plus :
- Microsoft
- Meta
- Harvard Business Review
- Jessica Ji, What does AI red-teaming actually mean, Center for Security and Emerging Technology, 2023
- Josh Achiam et al., GPT-4 Technical Report, Arxiv.org 2023
- Mantas Mazeika et al., HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal, Arxiv, 2024
Source archive Kessel : https://qant.kessel.media/posts/pst_1798c34732cf4f5bb7832858cce30e2f
