Cet été, le microcosme de l’IA s’est unanimement moqué d’OpenAI, car le modèle Strawberry (“fraise”), rebaptisé depuis o1, s’obstinait à ne compter que deux lettres R dans son propre nom, au lieu de trois. À la racine du mal, la tokenisation : le fait que les modèles d’IA traitent, non des octets, mais des jetons (“tokens”) correspondant, grosso modo, à un mot de quatre lettres.
Non sans ironie, des chercheurs du laboratoire Fair de Meta et de diverses universités viennent de publier une architecture alternative. Leur Byte Latent Transformer traite directement des octets, et donc des lettres, plutôt que des jetons. Ce faisant, ils vont beaucoup plus loin que la simple amélioration de la granularité des informations traitées. En analysant l’entropie de chaque mot, ils permettent de concentrer les ressources de calcul là où l’information est la plus complexe.
Création de tokens (1ère ligne) et de patches pour les BLT • Source : Artidoro Pagnoni et al.
A l’échelle, ils atteignent des résultats comparables à Llama3, tout en étant bien moins gourmands en données d’entraînement. Ils pourraient atténuer donc la pénurie de données d’entraînement auxquels sont confrontés les grands LLM, leur ouvrant de nouvelles perspectives de développement.
Source archive Kessel : https://qant.kessel.media/posts/pst_bf1ce1bffe764431919465c63ef3fd2a
