Malgré les efforts de Washington, la Chine avance

On avait laissé Nvidia au CES 2024 de Las Vegas, durant lequel l’entreprise de Jensen Huang avait présenté une nouvelle série de cartes graphiques RTX 40 Super, destinées à accélérer la génération de vidéo et d’images par IA (lire Qant du 12 janvier). En ce début de semaine, le géant mondial des processeurs IA s’est de nouveau retrouvé au centre de l’actualité, mais pour une raison radicalement différente. 

Reuters a en effet relevé que des appels d’offres pour des puces Nvidia étaient couronnés de succès en Chine, malgré l’interdiction imposée par les États-Unis (lire Qant du 26 octobre 2023). Des entités militaires et gouvernementales chinoises, ainsi que des instituts de recherche en intelligence artificielle et des universités, ont ainsi acquis des puces Nvidia H100, les plus puissantes du marché hormis les Grace Hopper, en production depuis mai dernier. Le nom des fournisseurs reste inconnu, mais il est clair d’après l’agence canadienne que les restrictions des États-Unis visant à limiter l’accès de la Chine aux puces avancées sont largement contournées. 

Chat dual

Une deuxième actualité pourrait venir confirmer les craintes de Washington selon lesquelles les développements de Pékin en termes d’IA pourraient être une menace future. Baidu, dont le moteur de recherche est le premier site de Chine et le chatbot d’IA Ernie Bot compte plus de 100 millions d’utilisateurs, aurait en effet développé pour ce dernier des liens très serrés avec un laboratoire de l’armée chinoise, qui semble l’utiliser. Baidu a eu beau nier, le cours de ses actions a chuté de 12% en Bourse hier lundi. Ernie Bot a été approuvé par les régulateurs chinois à la rentrée (lire Qant du 5 septembre 2023). 

Les liens des grandes entreprises chinoises avec l’Armée populaire de libération n’ont rien de très nouveau (ni de spécifique à la Chine). Mais la nouvelle la plus inquiétante pour Washington vient d’une start-up. 

Deepseek meilleur que Llama 2

DeepSeek AI vient de présenter une série de grands modèles de langage (LLM) qui peut rivaliser avec les performances de ChatGPT 3.5 et dépassent, pour l’un d’entre eux, Llama 2 de Meta. Ces modèles ont été entraînés sur un ensemble de données de 2000 milliards de tokens, majoritairement en chinois et en anglais. Pour affiner les performances, environ 1,5 million de conversations d’instructions ont été collectées, couvrant un large éventail de sujets, avec une attention particulière à l’alignement des modèles sur les préférences du Parti communiste chinois. Les chercheurs ont également utilisé un algorithme d’Optimisation de Préférence Directe (DPO) pour renforcer les compétences de génération ouverte des modèles.

DeepSeek AI a lancé deux variantes de ces modèles, l’une avec 7 milliards de paramètres et l’autre avec 67 milliards. Ce dernier surpasse Llama 2 dans la majorité des tests en anglais et dans tous les tests en chinois, tout en se classant derrière GPT4 dans certains tests internationaux. 

Il faudra sans doute plus que des interdictions d’exportations pour freiner la furia chinoise. 

• Xiao Bi et al., DeepSeek LLM: Scaling Open-Source Language Models with Longtermism, Arxiv, 2024
• Reuters
• Bloomberg
• Forbes
• MarkTechPost