Fondateur des start-up Comma.ai et Tiny Corp, George Hotz est surtout connu pour avoir été le premier à “jailbreaker” l’iPhone et la PlayStation et pour avoir été appelé au secours par Elon Musk pour rétablir le code de Twitter, défaillant après le départ forcé de la majorité des développeurs. Dans une interview au podcast Latent Space, il déclare connaître l’architecture de GPT-4. Reprises de plus en plus largement, ses affirmations n’ont pas été commentées par OpenAI.
Selon George Hotz, GPT-4 résulte de la collaboration de huit modèles identiques de 220 milliards de paramètres chacun (contre 175 milliards pour GPT-3), avec un modèle de “Mélange d’Experts” (MOE pour Mixture of Experts) pour coordonner les résultats. La capacité de GPT-4 à produire des images aussi bien que du texte, sa “multimodalité”, proviendrait de la jonction de deux modèles distincts dans le même “espace de tokens”.
La technique du MOE a été décrite dès les années 90 et adaptée aux réseaux neuronaux d’apprentissage profond entre 2013 et 2017. George Hotz sous-entend que si OpenAI a refusé de décrire GPT-4, quittant ainsi la communauté open source, c’est pour laisser penser à un modèle unique de plus de 1 000 milliards de paramètres. Ces “téramodèles” représentent une sorte de Graal, promis notamment par les puces Grace Hopper de Nvidia.
La communauté open source , dont George Hotz est l’une des grandes figures, s’oriente cependant vers des modèles plus réduits, ne nécessitant pas de grands data centers pour leurs calcul. Nvidia elle-même a récemment fait l’acquisition d’une start-up pour réduire la taille des modèles (lire ci-dessous).
Si George Hotz a raison, l’avance d’OpenAI sur ses concurrents, comme Anthropic et Inflection AI (voir Qant du 10 mars et du 30 juin) est bien moindre que ce que l’on estimait jusqu’à présent et des modèles aussi performants que GPT-4 pourront voir le jour rapidement. De fait, la bataille semble s’être portée, ces dernières semaines, plutôt du côté des mécanismes d’inférence et des jeux de données (voir, par exemple, Qant du 23 mai).
*Pour en savoir plus : *
Source archive Kessel : https://qant.kessel.media/posts/pst_13ba7cb28e7c4720b5bd5bf9ff8c65a4