AI21 Labs vient de présenter Jamba, sans doute le modèle d’IA le plus innovant depuis GPT-4. Relativement petit – 52 milliards de paramètres – il est construit sur un mélange d’experts qui mêle l’architecture des Transformers, qui règne en maître dans les modèles de fondation, avec un SSM (Space State Model), Mamba.
Or, depuis sa parution peu avant Noël, Mamba fascine le monde de la recherche. De la finance à l’entomologie, de la vision à la génération de vidéos, une vingtaine d’articles de recherche sont parus en trois mois. Et pour cause : si vraiment les LLM ont atteint un plateau, comme le retard de GPT-5 pourrait l’indiquer, les SSM pourraient prendre la relève.
Jamba montre la voie.
L’INTÉGRALITÉ DE CET ARTICLE EST DISPONIBLE EN FIN DE LETTRE
Source archive Kessel : https://qant.kessel.media/posts/pst_d4903dad77a746a4854db078b048b18a