Présentes dans toutes les grandes entreprises d’IA et obligatoires aux États-Unis, les red teams sont chargées de garantir l’alignement des modèles d’IA, puis de déceler les faiblesses des systèmes d’IA. Meta va plus loin et s’inspire des pratiques de la cybersécurité en y ajoutant une blue team, chargée de la défense. Le coût de créer et maintenir une IA augmentent d’autant, poussant la sécurité de l’IA à s’organiser.
Microsoft vient ainsi de rendre public Pyrit (Python Risk Identification Toolkit), un outil initialement utilisé par sa red team pour identifier les risques dans les systèmes d’intelligence artificielle générative, y compris Copilot. Et un premier benchmark général, comprenant 18 méthodes de red teaming, vient d’être publié en open source.
L’INTÉGRALITÉ DE CET ARTICLE EST DISPONIBLE EN FIN DE LETTRE
Source archive Kessel : https://qant.kessel.media/posts/pst_1798c34732cf4f5bb7832858cce30e2f
