Un document interne de Google récemment divulgué par la newsletter SemiAnalysis explique que l’essor des “petits” LLM open source pourrait menacer la position dominante de Google et OpenAI, les “fossés” qu’elles ont construit autour de leurs châteaux dans le domaine des grands modèles de langage naturel (LLM). Après la publication du modèle Llama, la communauté open source abandonnée par OpenAI s’est en effet lancée dans l’amélioration de ce “petit” modèle, de 7 à 65 milliards de paramètres.
Les LLM open source ont réalisé des avancées majeures, notamment en matière d’adaptabilité pour fonctionner sur des systèmes moins puissants tels que les ordinateurs portables ou les smartphones (lire par exemple Qant Expert du 7 au 13 mai). L’une des clés de cette montée en puissance réside dans l’adaptation de rang faible (LoRa), qui permet de réduire drastiquement les ressources nécessaires à la formation d’un modèle. Meta profite de cette situation en intégrant les améliorations apportées par la communauté à son propre LLM. L’auteur de la note est convaincu que si cette tendance se confirme, les grands LLM propriétaires développés par Google, OpenAI et d’autres pourraient devenir obsolètes.
Le document a été partagé anonymement sur un serveur Discord mais SemiAnalysis déclare avoir vérifié qu’il provient d’un chercheur de Google. Il représente bien sûr que l’opinion d’un employé et aucunement la stratégie de l’entreprise. Mais il est significatif des craintes qui commencent à y régner.
Source : SemiAnalysis
Pour en savoir plus : Tech Talks
Source archive Kessel : https://qant.kessel.media/posts/pst_e7f08cdb503c47b98615757cfe41e7b5
