Les Transformers et les start-up

Attention Is All You Need: De l’attention, c’est tout ce qu’il vous faut. C’est sous ce titre, pied de nez aux Beatles, que le 12 juin 2017 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uzkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser et Illia Polosukhin ont changé l’histoire de l’intelligence artificielle, et même sans doute l’Histoire. L’architecture qu’ils proposaient a donné naissance aux Generative Pre-trained Transformers (GPT) et généralisé l’usage de l’IA générative. Voici leurs parcours.

Ashish Vaswani, Niki Parmar

Adept devient une licorne après le départ ses fondateurs

Fondée par Ashish Vaswani et Niki Parmar, Adept est une entreprise basée à San Francisco qui a levé 415 millions de dollars, avec notamment une levée de fond de 350 millions de dollars en mars dernier. Son objectif annoncé est la création ‘d’assistants digitaux”, un modèle IA capable de transformer une simple commande en langage naturel en action concrète d’un ordinateur. A noter qu’Ashish Vaswani et Niki Parmar ont quitté Adept en novembre 2022 pour lancer une nouvelle start-up, Essential AI, également spécialisée dans les modèles de langage, et qui a déjà levé 8 millions de dollars. A l’heure actuelle, Adept est quand à elle évaluée à 1 milliard de dollars.

Noam Shazeer

Character.AI crée une app pour dialoguer avec Einstein

Character.AI, fondée par Noam Shazeer en novembre 2021 à Menlo Park, a quant à elle levé 150 millions de dollars en mars dernier. Elle a été évaluée à 1 milliard de dollars. Ses chatbots mènent des conversations ouvertes pour des applications allant du divertissement à l’éducation. La start-up a notamment fait parler d’elle en proposant de dialoguer avec Elon Musk, Cristiano Ronaldo ou encore Albert Einstein. En mai 2023, son application mobile a été téléchargée 1,7 million de fois en une semaine (lire Qant du 12 juin). A l’heure actuelle, Noam Shazeer est toujours à la tête de Character.AI.

Jakob Uzkoreit

Inceptive marie biotech et IA

Fondée par Jakob Uzkoreit à Palo Alto en juillet 2021, Inceptive a levé 20 millions de dollars jusqu’à maintenant. Spécialisée dans la conception de molécules ARN grâce au deep learning, elle est toujours dirigée par Jakob Uzkoreit.

Llion Jones

Sakana part à la pêche à l’IA collective

Llion Jones n’a de son côté imité ses collègues que très récemment. En août dernier, il a en effet quitté Google pour fonder à Tokyo Sakana AI, en compagnie de David Ha, auparavant chercheur chez Google Brain. Sakana réalise également des modèles d’intelligence artificielle, expliquant s’inspirer de l’intelligence collective observable dans la nature, à la manière des bancs de poisson. A l’heure actuelle, les investisseurs de Sakana et les montants investis ne sont pas connus.

Aidan Gomez

Cohere, le modèle qui parle à l’oreille de Spotify

Fondée à Toronto en septembre 2019 par Aidan Gomez qui la dirige toujours, Cohere développe de grands modèles de langage à destination des entreprises. Elle compte notamment parmi ses clients le service de streaming musical Spotify. La startup a levé en juin dernier pour 270 millions de dollars auprès d’investisseurs comme Nvidia ou Salesforce (lire Qant du 5 mai). Selon les informations de Bloomberg, sa valorisation actuelle serait estimée à 2,2 milliards de dollars.

llia Polosuskhin

Une Pagoda pour le Web3

Parmi tous ces pionniers de l’IA, le premier a avoir créé une entreprise l’a fait … dans le Web3. llia Polosuskhin a en effet lancé Pagoda dès 2017. Depuis, cette dernière, qui réalise des produits et services basés sur la blockchain, a levé plus d’un demi-milliard de dollars.

Parmi tous les auteurs de “Attention Is All You Need”, le seul à n’avoir levé fondé aucune startup est donc Lukasz Kaiser. Mais il en a tout de même rejoint une. Il travaille chez OpenAI, qu’il a rejoint en juin 2021.

Pour en savoir plus :

• Ashish Vaswani et al., Attention Is All You Need, Arxiv.org, Juin 2017