OpenAI et les sept nains

**Le succès de GPT-4 et ses très médiatiques rivaux ne doit pas occulter la floraison de modèles et d’agents génératifs qui bouillonne depuis quelques semaines. **

Riche actualité ce vendredi. Elon Musk commence à préciser le projet qui l’a conduit à lancer une nouvelle start-up dans l’intelligence artificielle, X.AI (lire Qant du 17 avril). Son modèle emprunte son nom au réseau social de Donald Trump ; il s’appellera Truth AI. Si les informations du Financial Times se confirme, il devrait recruter une partie des équipes de la britannique DeepMind, que Google avait racheté en 2014 et qu’elle fusionne aujourd’hui avec ses propres équipes, Google Brain. Demis Hassabis, cofondateur de Deepmind, prend la tête de la nouvelle entité.

Ces grandes manœuvres portent sur des mégamodèles, destinés à faire concurrence à GPT-4. Un exercice dispendieux : Anthropic, par exemple, prévoit d’investir un milliard de dollars pour créer son prochain modèle, provisoirement baptisé “Claude Next”. C’est sur ces modèles multimodaux, de plus de 500 milliards de paramètres, que se concentrent l’argent des investisseurs et, sans doute bientôt, l’attention, des régulateurs.

Effet Streisand

Or, ils ne représentent que la pointe émergée de l’iceberg. Une multitude de petits modèles a fait son apparition, qui s’étage de 3 milliards de paramètres (le plus petit des Stable LM) à 65 milliards (Llama de Meta). Ces modèles n’ont plus besoin d’être opérés dans le cloud : chacun peut les télécharger et les loger dans son ordinateur et son téléphone. Le dernier obstacle à leur généralisation a été levé par Databricks : le créateur de Dolly a mis à contribution ses 5 000 salariés pour constituer, en moins de deux mois, un dataset d’entraînement qui en permet une utilisation commerciale.

La possibilité d’interdire ces modèles, comme a voulu le faire le très populiste régulateur italien, s’éloigne donc à grands pas. Mais il reste à prouver que des petits modèles avec des fonds documentaires très spécifiques peuvent faire aussi bien que GPT-4. Cela semble être le pari de Meta, qui s’est brûlé les doigts avec un “grand” modèle, Galactica, et dont le petit Llama semble avoir beaucoup de succès.

Les agents génératifs vont encore plus loin. Hyperwrite par exemple vient de présenter un agent qui contrôle votre navigateur pour vous commander la pizza de votre choix. Son assistant permet de donner des instructions à Chrome via une simple extension. AgentGPT permet d’assembler et d’éditer des agents sans quitter son navigateurs. Et ce là que deux exemples parmi d’autres. Small is beautiful.