Le lancement en grande pompe de Gemini par Google (lire Qant du 7 décembre) a quelque peu éclipsé l’autre annonce de l’entreprise de Sundar Pichai, à savoir la sortie de son accélérateur d’IA le plus puissant à ce jour, le TPU v5p et d’un “hypercalculateur”, une nouvelle architecture de calcul à haute performance basé sur ces puces.
Cette mise à jour du TPU v5e, lancé au mois d’août, promet des performances encore supérieures. Google affirme que le TPU v5p peut entraîner jusqu’à 2,8 fois plus rapidement que le TPU v4 un modèle de langage de la taille de GPT-3 (175 milliards de paramètres). Mais ces performances ont un coût : chaque accélérateur TPU v5p coûte 4,20 $ de l’heure contre 1,20 $ de l’heure pour le TPU v5e. Plus lent, ce dernier reste pourtant marginalement moins cher.
Techniquement, jusqu’à 8 960 accélérateurs v5p peuvent être couplés dans un seul module, avec une interconnexion de 600 Go/s. Chacun d’entre eux offre 459 téraflops de performances bfloat16 (ou 918 téraops Int8, si l’on renonce à la virgule flottante), avec 95 gigaoctets de mémoire et une bande passante de 2,76 To/s. Mais c’est le marketing qui compte.
Un rival pour Nvidia
Alors que les GPU (Graphic Processing Units) de Nvidia sont nées pour les jeux vidéo, les TPU (Tensor Processing Units) de Google sont des circuits intégrés spécialement conçus pour accélérer les calculs liés à l’apprentissage automatique et précisément le calcul tensoriel. Google les a longtemps réservés à son usage interne et ne les commercialise, directement ou via ses services cloud, que depuis 2018. C’est sur ces TPU que Google a entraîné sa suite de modèles Gemini, dont le plus puissant atteint le niveau de GPT-4.
OpenAI, fragilisée par ses problèmes de gouvernance, a donc enfin un rival sérieux. Mais c’est aussi le cas de Nvidia, jusqu’à présent en situation de quasi-monopole pour l’entraînement des modèles, justifiant des résultats financiers stellaires (lire Qant du 7 septembre,du 14 novembre et du 23 novembre).
Devenu le premier électronicien du monde, Nvidia pâtit doublement des sanctions américaines contre l’exportation de ses puces les plus avancées en Chine. Tout d’abord, Washington s’attaque à une activité qui correspond à 20 % de son chiffre d’affaires. En outre, la Chine se mobilise pour faire de Huawei un concurrent du même niveau, avec quelques premiers succès (lire Qant du 8 novembre)
Les mensonges de Gemini Cricket
OpenAI et Nvidia peuvent compter, toutefois, sur la maladresse de Google en communication. Le lancement de Bard avait été gâché par des erreurs commises par le chatbot pendant sa présentation à la presse (lire Qant du 14 février). Pour éviter un sort semblable à Gemini, Google a choisi de présenter le nouveau modèle par une série d’entretiens et une vidéo hyperbolique. Le modèle semble y entretenir une conversation naturelle avec un être humain, avec des performances multimodales proches de l’intelligence artificielle générale.
Il n’aura pas fallu vingt-quatre heures pour qu’il émerge que la vidéo était truquée et que Gemini est très loin des performances qu’on voulait lui prêter. OpenAI a construit son succès sur une certaine réserve, en déployant ses modèles très progressivement et en communiquant sur les risques que les progrès en IA pouvaient poser. Microsoft lui a emboîté le pas avec des versions bridées, “corporate”, des mêmes modèles.
Présenter calmement un modèle du niveau de GPT-4 aurait largement suffi à vendre du temps de calcul dans le cloud, au moment où toutes les organisations, et même les forces armées, doivent se réinventer (lire Expert ci-dessous). Certaines habitudes sont difficiles à perdre. Mais tant qu’il restera dans la hype de la Silicon Valley, Google accumulera les faux pas.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_fb095120742f44588764d94eae865aef
