Article
Lord of the Ring Attention
En segmentant en blocs la séquence d’entrée dans un LLM (prompt+contexte), Ring Attention promet une fenêtre d’attention quasi infinie. Cela pourrait représenter une étape significative dans l'évolution des transformers, en offrant une architecture plus efficace dans la gestion de la mémoire.
