L’un des passe-temps dans la Silicon Valley, depuis la fin 2022, consiste à demander à ses interlocuteurs leur p(doom), la probabilité qu’ils attribuent à une catastrophe provoquée par l’IA susceptible de mettre en danger l’humanité entière. Elon Musk, par exemple, estime p(doom) entre 20% et 30% ; Dario Amodei, fondateur d’Anthropic, entre 10% et 25% ; le père des réseaux neuronaux, Geoff Hinton, à 10%. Plus de la moitié des 2 778 chercheurs en IA interrogés en octobre dernier par l’association AI Impacts considérait que p(doom) est supérieur à 10%.
Ce n’est pas là un simple jeu de société pour ingénieurs informatiques. De l’avis général aux États-Unis, les développements de pointe de l’IA présentent des risques croissants, qui deviendront de plus en plus difficiles à contenir pour la sécurité nationale au fur et à mesure que la technologie se répand. Il en existe une dizaine de catégories, des biais au chômage de masse, mais Gladstone se concentre sur les deux les plus graves : la perte de contrôle sur une IA générale via un échec de ses procédures d’alignement, et la transformation en arme d’un système d’IA. Dès aujourd’hui, l’IA peut orchestrer des cyberattaques et des campagnes de désinformation, ou aider des groupes terroristes à se doter d’armes nouvelles, comme des virus de synthèse (lire Qant du 11 mars).
Or, la sécurité dans les laboratoires de pointe laisse à désirer. Non seulement les mesures pour détecter et prévenir la perte de contrôle sur un modèle font défaut, mais le vol de propriété intellectuelle est courant. Pour prévenir ces risques stratégiques, Gladstone se tourne vers le pouvoir exécutif et lui propose de créer un Observatoire de l’IA (AIO) pour suivre les développements en cours, imposer un ensemble provisoire de garanties aux développeurs de systèmes d’IA avancés et de contrôler leur chaîne d’approvisionnement.
De la task force à l’agence internationale
Il propose également la mise en place d’une AI Safety Task Force, une force opérationnelle dédiée à la supervision de la mise en œuvre des mesures de sauvegarde et à l’élaboration de recommandations pour de futures régulations. Cette initiative vise à garantir une approche unifiée et efficace face aux risques potentiels, en s’appuyant sur une collaboration étroite entre les différents acteurs du secteur.
À terme, l’une des propositions les plus ambitieuses est la formalisation de mesures de sauvegarde pour un développement et une adoption responsables de l’IA, à travers l’établissement d’une agence régulatrice de l’IA. Cette agence, nommée Frontier AI Systems Administration (Faisa), aurait pour mission de superviser un régime de licences pour l’IA et de surveiller les concentrations de matériel IA et les programmes d’IA. Ce qui préfigure l’agence internationale de l’IA, réclamée en mai dernier par Sam Altman (lire Qant du 31 mai).
L’AI Act, adopté cette semaine, prévoit une agence européenne, l’AI Office. Comme la thématique continue de prendre de l’importance aux États-Unis, le sujet s’imposera sans doute de lui-même au sommet mondial sur les risques de l’IA, prévu à Paris en novembre prochain.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_a4fba8614f854a68a8cb2262c954ae3e
