Lord of the Ring Attention

De GPT-4 Turbo à Llama 2, via Palm 2, tous les grands modèles de langage sont des “transformers”. C’est cette architecture qui a permis l’engouement pour l’IA générative et qui relègue les réseaux de neurones récurrents ou convolutifs loin de l’attention générale, si on ose dire. C’est en effet Attention is all you need, l’article de recherche désormais illustre de neuf chercheurs de Google qui a lancé les transformers en 2017 (tous les chercheurs ont ensuite créé leur entreprise, sauf un : lire Qant du 7 septembre). L’article proposait de relier l’encodeur et le décodeur exclusivement avec des mécanismes d’attention, en se passant entièrement de la récurrence ou des convolutions. Les résultats sont sous les yeux de chacun, mais cela génère toutefois une contrainte forte : très gourmands en mémoire, les modèles ne peuvent pas traiter de longues séquences d’entrée.

Cette “fenêtre d’attention” ou de contexte est allée en grandissant. GPT 3.5 Turbo acceptait des prompts d’un maximum de 4 096 jetons (4k tokens) ; la fenêtre de contexte de GPT-4 Turbo atteint les 128k avec un prompt maximum de 25 000 mots environ. Mais la mémoire nécessaire pour ces calculs grandit avec le carré de la longueur de la séquence d’entrée. Traiter un million de tokens par exemple demanderait des centaines de gigaoctets de mémoire, bien au-delà des capacités d’une GPU.

Ring Attention is all you need (ou presque)

Un doctorant de l’université de Californie à Berkeley, avec un professeur et le CTO de Databricks, vient de présenter une méthode nommée « Ring Attention » pour réduire ces besoins en mémoire. Dans cette approche, les séquences sont divisées en blocs et distribuées sur plusieurs appareils, formant un « anneau » conceptuel où chaque appareil gère un bloc d’entrée spécifique. En superposant les processus de calcul et de transfert de blocs, Ring Attention réduit considérablement les contraintes.

La mémoire nécessaire au calcul croît en fonction linéaire du nombre de blocs, et non en fonction quadratique de la longueur de la séquence d’entrée. Cela a permis aux chercheurs d’utiliser des séquences plus de 500 fois plus longues qu’avec les modèles précédents, sans approximations.

Cette innovation ouvre la voie à des modèles traitant des contextes quasi infinis et à de nouvelles applications telles que l’entraînement de modèles sur de grands ensembles de données multimédias ou scientifiques. Cette avancée répond à une multitude de défis dans l’IA, allant du traitement de textes longs, comme des livres, à l’analyse de vidéos complexes et de bases de code étendues. Elle permet une capture plus efficace d’informations à partir de contenus interconnectés, essentielle pour traiter des données expérimentales scientifiques complexes​​.

Encore un peu, et l’IA deviendra intelligente.

Pour en savoir plus :

• Hao Liu et al., Ring Attention with Blockwise Transformers for Near-Infinite Context, Arxiv.org, Oct. 2023
• Ashish Vaswani, Attention Is All You Need, Arxiv.org, Jun. 2017
• Mark Tech Post