Un OpenAI à la française. Sans que personne n’ose formuler l’image vendredi, alors que l’original s’apprêtait à faire hara-kiri devant le monde entier, le projet d’un laboratoire de recherche en open science, à but non lucratif, entièrement dédié aux modèles “fondationnels” évoque clairement la création, en 2015, d’OpenAI comme un centre de recherche indépendant de Google, partageant à tous ses résultats, sans but commercial.
En septembre, le groupe Iliad de Xavier Niel avait lancé l’initiative, la dotant de 100 millions d’euros (lire Qant du 27 septembre). Vendredi, Rodolphe Saadé, PDG du géant du transport maritime CMA-CGM, est venu doubler la mise. Eric Schmidt, ancien PDG de Google, apporte une somme non précisée qui place la somme totale au-dessus de 250 millions d’euros – au point qu’on l’arrondit, parfois, à 300 millions d’euros. “Nous sommes ouverts à davantage d’investisseurs. Ils sont les bienvenus, car les montants investis pour développer des solutions en IA doivent être importants pour que les résultats viennent” conclut Rodolphe Saadé.
Les fondations des modèles de fondation
L’équipe de Kyutai sera dirigée par Patrick Perez, un ancien de Microsoft Research. Le rejoignent dans la sphère des anciens de Deepmind et Meta : Édouard Grave, Hervé Jégou, Laurent Mazaré et Neil Zeghidour. Le conseil scientifique comprend le prix Turing Yann Le Cun, qui dirige les laboratoires de Meta.
Les résultats de la recherche seront accessibles librement, comme ceux d’OpenAI avant son changement de stratégie en 2019. L’idée est donc non seulement de partager gratuitement les modèles qui seront créés par les équipes de Kyutai, mais aussi les étapes qui ont mené à ces modèles. “L’un de nos premiers buts sera de créer un LLM “from scratch”, de manière à pouvoir faire de la recherche fondamentale à n’importe quel niveau du développement du modèle, du pre-training au fast tuning” explique Patrick Perez.
“Nous allons nous concentrer sur des modèles fondamentaux. Viser d’abord des avancées fondamentales en IA sur l’entraînement de modèles notamment multimodaux, d’améliorer leur perception et leur intelligence, pour ensuite appliquer nos recherches à des tâches plus précises”, complète Neil Zeghidour.
Pour en savoir plus :
- Scaleway n’Ampere pas une… : Ampere Computing et Scaleway ont annoncé à Pulse un partenariat pour proposer des serveurs d’architecture ARM pour les services IA, en particulier l’inférence. Les instances ARM de Scaleway utilisent des serveurs alimentés par la famille de processeurs Altra d’Ampere, promettant de répondre aux besoins des applications IA à une fraction du coût des autres solutions, bien que les prix n’aient pas encore été rendus publics.Pour en savoir plus: The Register
- **…Et se lance dans le quantique as a service avec Scaleway **: A l’occasion de la conférence AI Pulse, Scaleway a annoncé s’associer à Quandela pour lancer un service de Quantum as a Service (QaaS). Cette initiative comprend notamment l’offre par Scaleway d’un service QaaS alimenté par un simulateur de circuits exclusif de Quandela, accéléré par les GPU Nvidia H100 Tensor Core.Pour en savoir plus: Le Monde Informatique
- **Le deuxième Albert de LightOn pulse sans hallucinations: ** Représentée à AI Pulse par son CTO Iacopo Poli, qui s’est exprimé sur le rôle du Reinforcement Learning dans les grands modèles de langage, la start-up française LightOn a dévoilé Albert-40B-1023, deuxième version de son modèle open source. Cette nouvelle mouture est selon l’entreprise moins sujette aux hallucinations, et propose également une fonction « Chat with Docs » pour interagir avec des documents.Pour en savoir plus: Le Monde Informatique
Source archive Kessel : https://qant.kessel.media/posts/pst_47194eb5dd254efabc10358c2840347b
