OpenAI : un cas d’école sur les limites de la gouvernance face aux risques graves

Il est devenu clair jeudi 23 au matin que l’éviction de Sam Altman de ses fonctions de directeur général (CEO) d’OpenAI était due à un désaccord sur une avancée majeure dans l’intelligence artificielle (lire Qant du 23 novembre). Le projet Q* (prononcé Q-Star), mentionné dans les communications internes d’OpenAI, semble constituer une percée vers l’intelligence artificielle générale (AGI) : un modèle capable de surpasser la performance humaine dans la plupart des tâches. Et non, comme à présent, dans une seule : les échecs, le go, le calcul sur les repliements de protéines, etc.  

Q n’en est qu’à un stade préliminaire. Il résout des problèmes de mathématiques du niveau de l’école primaire. Mais le bambin suscite les plus grands espoirs parmi les chercheurs. Et des craintes tout aussi considérables. Au point que certains d’entre eux ont jugé bon, la semaine d’écrire au conseil d’administration et que le directeur scientifique a appuyé, tout d’abord, le licenciement du directeur général, coupable à ce que l’on comprend d’avoir « manqué de transparence » sur les progrès Q. 

Le conseil d’administration d’OpenAI a en effet pour principale mission statutaire de veiller à ce que les modèles développés ne posent pas de risques à l’humanité. Il administre une organisation caritative qui elle-même contrôle, via un fonds d’investissement, la holding des salariés et des investisseurs, qui détient encore la majorité de la société commerciale OpenAI, malgré les investissements massifs consentis par Microsoft (11 à 13 milliards de dollars, selon les sources). D’après le Wall Street Journal, Microsoft possède 49% de la société-fille. Les administrateurs, eux, ne peuvent détenir d’actions des sociétés commerciales sous-jacentes. 

La révocation du président du conseil Greg Brockman et du directeur général Sam Altman a été prononcée la semaine dernière par les quatre autres administrateurs (lire Qant du 22 novembre): le directeur scientifique Ilya Sutskever (l’un des pères des réseaux neuronaux avec Geoff Hinton), les entrepreneurs Tasha McCauley et Adam D’Angelo, et enfin Helen Toner, de l’université de Georgetown à Washington. Cette dernière s’étaient heurtée à Sam Altman en octobre dernier, considérant publiquement que le lancement de ChatGPT avait été prématuré.

Les craintes sur l’intelligence artificielle ont pour particularité d’être plus fortes chez les professionnels que dans le grand public. Elles ressortissent de deux grandes catégories: les boîtes noires et le « Foom ». Aucun humain n’est en mesure de retracer le fonctionnement d’un réseau neuronal, et refaire les calculs par lesquels ChatGPT répond à une question. Quand un modèle (sans doute une AGI) deviendra capable d’en entraîner d’autres, l’exponentielle de la croissance des performances verra sauter l’une de ses dernières limites : le contrôle humain. Ce « fast overflow of machinery” (Foom) a été anticipé dès 1965 par Irving John Good, l’un des collègues d’Alan Turing à Bletchley Park. 

La liste des conséquences potentiellement néfastes d’un tel phénomène n’est limitée que par l’imagination humaine. Nous venons d’y consacrer les Experts de toute la semaine, dressant l’état de l’art de la recherche scientifique en la matière (lire Qant du 17 novembre, du 20 novembre, du 21 novembre, du 22 novembre et du 23 novembre). Mais il en ressort une chose toute simple. 

En exerçant son droit à licencier Sam Altman, le conseil était convaincu d’accomplir sa mission statutaire. 

Déni de réalité

C’était sans compter sur la mobilisation du personnel autour de son directeur général. Plus de 700 des 770 salariés ont signé une pétition pour la réintégration de Sam Altman. Son départ compromettait en effet la vente en cours de leurs actions à des investisseurs institutionnels, sur la base d’une valeur d’entreprise de 86 milliards de dollars. 

Face à ce mouvement de masse, le conseil risquait de se trouver à surveiller une coquille vide. Ilya Sutskever puis Adam D’Angelo sont tous deux allés à Canossa, se rendant à la force irrésistible de celui qu’ils avaient remercié quelques jours auparavant. Quelles qu’aient pu être leurs réserves, les deux autres administratrices ne pouvaient plus que se soumettre. Ou, plus précisément, se démettre.

Dans sa future réforme de la gouvernance, le désormais tout-puissant Sam Altman pourra – ou non – montrer qu’il croit lui aussi aux risques de l’IA. Pour l’heure, le nouveau conseil intègre deux vieux routiers : Bret Taylor et Larry Summers. Bret Taylor est connu pour avoir co-créé Google Maps ; il a longtemps servi en tant que directeur de la technologie chez Facebook. Il a également été dirigeant de Salesforce. Larry Summers pour sa paart a été le secrétaire au Trésor des États-Unis sous la présidence de Bill Clinton et le président de l’université Harvard. Il a également occupé des postes de haut niveau au Fonds monétaire international et a été un conseiller économique clé pendant la présidence de Barack Obama.

On a souvent tendance, en France, à sous-estimer les risques de l’IA – c’est d’ailleurs un signe de notre retard en la matière. Mais dans un pays où l’opinion attend que l’Etat prenne le relais des manques de la gouvernance privée, il est urgent que l’on sorte du seul soutien aux entrepreneurs et que l’on se saisisse, au plus haut niveau, de la dimension politique de l’intelligence artificielle. 

Chronologie

• Vendredi 17 novembre : Sam Altman, CEO d’OpenAI, est brusquement renvoyé par le conseil d’administration, qui annonce que Mira Murati deviendra CEO par intérim.
• Samedi 18 novembre : Malgré son renvoi la veille, des investisseurs majeurs d’OpenAI, dont Microsoft, font pression sur le conseil pour réintégrer Altman. Un accord est rapporté pour son retour ainsi que celui de Greg Brockman, mais le délai de samedi soir passe sans confirmation.
• Dimanche 19 novembre : Altman est de retour dans les bureaux d’OpenAI pour négocier sa réintégration. Cependant, OpenAI annonce la nomination d’Emmett Shear en tant que nouveau PDG par intérim, laissant l’issue de la situation incertaine.
• Lundi 20 novembre : Satya Nadella, PDG de Microsoft, annonce qu’Altman et Brockman rejoindront Microsoft pour diriger une nouvelle équipe de recherche en IA. Parallèlement, des centaines d’employés d’OpenAI menacent de quitter l’entreprise suite au renvoi d’Altman.
• Mardi 21 et mercredi 22 novembre : OpenAI annonce tôt le mercredi matin le retour officiel de Sam Altman en tant que CEO, avec un nouveau conseil d’administration initial composé de Bret Taylor, Larry Summers et Adam D’Angelo.
• Jeudi 23 novembre : On apprend que peu avant le renvoi de Sam Altman, des chercheurs d’OpenAI ont envoyé une lettre au conseil d’administration, l’avertissant d’une découverte majeure présentant un risque pour l’humanité, que Sam Altman aurait caché au conseil.

Une première version de cet article est parue aujourd’hui dans la newsletter Antidox/ESL&Network.