Dans l’IA, par opposition aux algorithmes traditionnels, un modèle open source peut être plus dangereux qu’un modèle fermé. Il est bien plus aisé de désactiver les limites imposées à un LLM (“jailbreak”) et d’introduire de nouvelles capacités via le “fine-tuning” si on a accès à l’intégralité du modèle, poids et jeu d’entraînement compris. Alors que l’IA fait courir de nouveaux risques à l’humanité, il faut donc trouver de nouvelles manières de préserver les finalités de l’open source sans compromettre la sécurité.
L’étude « Open-Sourcing Highly Capable Foundation Models: An Evaluation of Risks, Benefits, and Alternative Methods for Pursuing Open-Source Objectives » réalisée pour le Centre for the Governance of AI d’Oxford – proche du mouvement pour l’altruisme efficace – aborde de manière approfondie les implications de l’open-sourcing dans le domaine de l’intelligence artificielle. L’open-sourcing, qui implique la mise à disposition publique des architectures et des poids des modèles d’IA, est analysé sous plusieurs angles, révélant des avantages mais aussi des risques significatifs.
L’un des risques les plus préoccupants identifiés dans l’étude est la possibilité que l’open-sourcing facilite la diffusion de capacités dangereuses. L’accès libre aux modèles d’IA avancés peut permettre à des individus ou à des groupes mal intentionnés de développer des applications nuisibles. Par exemple, des technologies conçues pour des usages bénéfiques pourraient être détournées pour créer des armes autonomes, augmentant ainsi le risque de conflits armés impliquant des IA, ou encore des agents biologiques pathogènes (lire Qant du 17 novembre). De plus, la facilité d’accès à ces modèles pourrait permettre la mise en place de systèmes de surveillance de masse sophistiqués, posant de sérieux problèmes en termes de droits de l’homme et de vie privée.
Fragiles garde-fous
Un autre aspect critique soulevé par l’étude est la désactivation potentielle des garde-fous intégrés dans les modèles d’IA. Lorsque ces modèles sont open-source, il devient possible pour des utilisateurs de les modifier pour contourner les mécanismes de sécurité et éthiques. Cela pourrait conduire à la production de contenus trompeurs, à la manipulation de l’opinion publique, ou à l’abus de ces technologies dans des contextes sensibles comme la finance ou la santé. La suppression ou la modification de ces garde-fous augmente le risque que les modèles d’IA soient utilisés de manière irresponsable, avec des conséquences potentiellement graves sur les plans social, économique et politique.
L’étude attire également l’attention sur le risque d’amplification des cyberattaques. Des modèles d’IA puissants, une fois rendus accessibles, pourraient être utilisés pour renforcer des attaques contre des infrastructures critiques, telles que les réseaux électriques, les systèmes de communication ou les bases de données gouvernementales. Ces attaques pourraient entraîner des perturbations majeures, des pertes économiques importantes et même des risques pour la sécurité nationale. La facilité d’accès à ces technologies avancées par des acteurs malveillants crée un environnement propice à des attaques informatiques de plus en plus sophistiquées, difficiles à détecter et à contrer.
Risques et bénéfices
Face à ces risques, l’étude recommande une approche mesurée et prudente de l’open-sourcing des modèles d’IA. Elle souligne la nécessité d’évaluations rigoureuses des risques avant de prendre la décision de rendre ces modèles accessibles au public. Il est crucial, d’après les chercheurs, de peser soigneusement les avantages de l’innovation ouverte contre les risques potentiels pour la sécurité et le bien-être publics.
Pour atténuer ces risques, l’étude propose des alternatives : la libération graduelle des modèles, l’accès restreint pour des usages spécifiques et la mise en place de cadres de gouvernance démocratique pour les décisions de développement en IA. Ces stratégies visent à réduire les risques tout en préservant les avantages de l’open-source. Par exemple, un accès structuré pourrait permettre aux chercheurs de bénéficier des modèles tout en limitant la possibilité d’abus par des acteurs malveillants.
L’étude recommande une collaboration étroite entre les développeurs, les organismes de normalisation et les gouvernements pour établir des normes et des politiques qui préservent les avantages de l’open-source tout en protégeant la société contre ses risques potentiels. Il est suggéré que des évaluations d’impact soient menées régulièrement pour surveiller les effets de l’open-sourcing et ajuster les politiques en conséquence.
Pour en savoir plus : Elizabeth Seger et al., Open-Sourcing Highly Capable Foundation Models, Centre for the Governance of AI, 2023
–
Source archive Kessel : https://qant.kessel.media/posts/pst_47194eb5dd254efabc10358c2840347b
