Le fondateur et CEO d’OpenAI, Sam Altman, vient de publier un article où il analyse les enjeux de l’intelligence artificielle générale (AGI), que les progrès de l’IA générative rendent chaque jour plus procche. Il appelle à lancer “une conversation mondiale sur trois questions clés : comment gouverner ces systèmes, comment distribuer équitablement les bénéfices qu’ils génèrent et comment partager équitablement l’accès”. Les institutions internationales seront en effet appelées à prendre des décisions complexes pour lesquelles elles n’ont, aujourd’hui, ni les capacités ni l’expérience nécessaires.
Pour y contribuer, OpenAI prévoit de laisser chacun débrider les produits qu’elle mettra sur le marché, dont les paramètres par défaut seront “probablement assez limités”. Pour éviter que la diversité ne produise des dérapages, OpenAI développera de nouvelles techniques d’alignement au fur et à mesure que ses modèles deviendront plus puissants, en utilisant l’IA pour surveiller l’IA : évaluer les résultats, surveiller des systèmes complexes, générer de meilleures techniques d’alignement…“La première AGI ne sera qu’un point sur le continuum de l’intelligence. (…) Il est probable que les progrès se poursuivront à partir de là, et que le taux de progression que nous avons observé au cours de la dernière décennie pourra être maintenu pendant une longue période. Si cela est vrai, le monde pourrait devenir extrêmement différent de ce qu’il est aujourd’hui, et les risques pourraient être extraordinaires. Une AGI superintelligente mal alignée pourrait causer de graves dommages, tout comme un régime autocratique ayant acquis une avance décisive sur la superintelligence” met en garde Sam Altman. Il mise sur la création de modèlesd’IA de plus en plus alignés et orientables, tout en laissant aux utilisateurs une grande marge de manœuvre pour leur utilisation.
Source : OpenAI
Source archive Kessel : https://qant.kessel.media/posts/pst_4f0e62d8731244daaa7c92ec157a1dc1
