L’IA face à l’exigence européenne • Qant, M. de R. avec Dall-e
Un nouvel outil pour vérifier la conformité des modèles d’intelligence artificielle aux exigences de l’AI Act de l’Union européenne a été dévoilé par la start-up suisse LatticeFlow AI en collaboration avec deux instituts de recherche (l’ETH Zurich et l’Insait, basé à Sofia). Cet outil permet de tester des modèles d’IA générative, comme ceux d’OpenAI ou Meta, afin de mesurer leur conformité aux critères techniques de la législation européenne.
Ce cadre d’évaluation est plus précisément conçu pour aider les entreprises à mieux comprendre comment leurs modèles se comportent face aux exigences de la nouvelle réglementation, qui impose des règles strictes en matière de sécurité, de non-discrimination et de robustesse technique. L’outil évalue ces systèmes sur une échelle de 0 à 1 dans plusieurs domaines clés. L’objectif : aider les développeurs à corriger les points faibles de leurs modèles avant l’entrée en vigueur complète de la loi.
Des tests pour mesurer la conformité
Le règlement européen sur l’IA (“AI Act”), adopté plus tôt cette année (lire Qant du 14 mars), vise à encadrer l’utilisation des systèmes d’intelligence artificielle, en particulier les modèles dits « génératifs » ou « polyvalents », comme ceux qui alimentent des chatbots ou des assistants virtuels. Ces modèles, capables de générer du texte, des images ou d’autres contenus complexes, sont au cœur des préoccupations réglementaires. L’une des priorités du législateur européen est de s’assurer que ces systèmes respectent des critères de sécurité et d’éthique rigoureux.
L’outil de LatticeFlow, conçu en partenariat avec l’École polytechnique fédérale de Zurich (ETH Zurich) et l’institut bulgare Insait , offre une première évaluation technique de cette conformité. Les modèles sont soumis à une série de 27 tests, qui examinent des aspects comme la résistance aux cyberattaques, la non-production de contenus biaisés, et la robustesse générale du modèle. L’outil fournit un score détaillé pour chaque catégorie, aidant les entreprises à identifier où des améliorations sont nécessaires.
Des performances inégales
Les résultats des tests publiés, sur des modèles maintenant anciens, montrent des performances contrastées parmi les principaux modèles. Seul Claude 3 Opus, développé par Anthropic (lire Qant du 5 mars), a obtenu l’un des meilleurs scores, avec une note moyenne de 0,89. En revanche, certains modèles se sont montrés plus vulnérables dans des domaines spécifiques. OpenAI, avec son ancien modèle GPT-3.5 Turbo, a reçu un score de 0,46 en matière de sorties non discriminatoires, un résultat qui reflète les biais dans la génération de contenu. De même, Alibaba, avec son modèle Qwen 1.5 72B Chat (lire Qant du 23 septembre), a enregistré un score de 0,37 dans cette même catégorie.
Les faiblesses ne se limitent pas à la question de la non-discrimination. En ce qui concerne la sécurité, les tests ont révélé que certains modèles sont encore sensibles à des attaques comme le « prompt hijacking », où un utilisateur malveillant détourne une invite légitime pour accéder à des informations sensibles. Meta, avec son modèle Llama 2 13B Chat, a obtenu un score de 0,42 dans cette catégorie, tandis que le modèle de la start-up française Mistral, 8x7B Instruct, a enregistré un score de 0,38.
Des enjeux de conformité importants
La pression pour se conformer à l’AI Act est forte, car les entreprises risquent des sanctions financières en cas de non-respect. Les amendes pourraient atteindre 35 millions d’euros, ou 7 % du chiffre d’affaires annuel global. Pour les entreprises qui dépendent de l’IA, il devient donc crucial d’ajuster leurs modèles aux normes européennes.
L’outil développé par LatticeFlow pourrait jouer un rôle clé dans cette transition, en offrant une première analyse technique des modèles par rapport aux nouvelles règles. Cependant, la loi est encore en cours de finalisation, avec des codes de bonne conduite et des mesures supplémentaires attendues pour 2025. Cela signifie que l’outil devra donc continuer à évoluer à mesure que la législation se précise.
Vers une IA plus éthique et plus sûre
Le cadre de LatticeFlow ne se limite pas à la conformité actuelle. Il est conçu pour être mis à jour au fur et à mesure que de nouvelles exigences réglementaires apparaissent, tant au niveau européen qu’international. Les créateurs du projet espèrent également que d’autres chercheurs et développeurs se joindront à eux pour améliorer cet outil et le rendre plus complet.
En attendant, ces premiers résultats montrent que les grandes entreprises de l’IA ont encore des efforts à fournir pour aligner leurs modèles sur les attentes des régulateurs européens. Des domaines comme la sécurité, l’équité et la diversité restent particulièrement sensibles. Alors que l’AI Act commence à s’appliquer progressivement, les entreprises auront tout intérêt à investir dans ces améliorations pour éviter des sanctions lourdes et renforcer la fiabilité de leurs technologies.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_355ee9a9c0fc41cab34db3d2ebd0c8be