Gemini au microscope

La semaine dernière, Google Deepmind a présenté à la presse américaine Gemini Pro, le modèle intermédiaire de la série, qui comprend également deux modèles de 1,8 milliard et 3,25 milliards de paramètres (Nano-1 et Nano-2, respectivement), pensés pour pouvoir fonctionner sans connexion, ainsi qu’un modèle Ultra. Celui-ci est présenté comme dépassant GPT-4. Bien qu’un porte-parole ait reconnu que la vidéo censée le montrer était largement truquée, le papier de recherche montre tout de même des résultats significatifs (lire Qant du 7 décembre et du 8 décembre).

Gemini Ultra a montré des performances avancées plus avancées que GPT-4 dans 30 des 32 tests d’étalonnage auxquels il a été soumis et notamment tous les modèles comportant des images, des sons ou des vidéos.

Dans certains domaines, il atteint des niveaux comparables à ceux d’experts humains. C’est principalement dans le texte que GPT-4 continue de marquer des points (lire Qant du 7 décembre).

Ces évaluations traitent de questions telles que l’utilité (suivi des instructions et créativité), la sécurité et la véracité. Par exemple, pour évaluer la créativité, les modèles peuvent être testés sur leur capacité à générer des écrits originaux ou à suivre des instructions complexes dans des scénarios variés.

Les évaluations de sécurité, quant à elles, sont effectuées à la fin des étapes clés du développement par une équipe externe à celle du développement des modèles. Ces évaluations standardisées par modalité utilisent des ensembles de données strictement exclusifs et se concentrent sur des domaines tels que les bio-risques potentiels, la persuasion et la cybersécurité.

Une partie cruciale implique donc des évaluations où les réponses des modèles Gemini sont jugées par des évaluateurs humains dans des comparaisons à l’aveugle. Par exemple, dans des tests de préférence humaine, les modèles de Gemini Pro ont montré une amélioration significative par rapport au modèle précédent, Palm 2, dans des capacités telles que l’écriture créative, le suivi des instructions et la sécurité. Dans des scénarios d’écriture créative, le modèle Gemini Pro a été préféré au modèle Palm 2 dans 65,0 % des cas, et pour le suivi des instructions, le taux de préférence était de 59,2 %.

Des évaluations sont également menées par des partenaires externes pour identifier les points aveugles des modèles. Ces évaluations comprennent des tests structurés et des exercices de red teaming moins structurés, où des attaques adverses sophistiquées sont utilisées pour découvrir de nouvelles vulnérabilités. Ces découvertes sont ensuite utilisées pour atténuer les risques et améliorer les approches d’évaluation internes.

Des Gémeaux responsables

Des mesures d’atténuation ont ainsi été développées. Par exemple, environ 20 types de texte nuisible ont été identifiés, et un ensemble de données de requêtes potentiellement dangereuses a été généré. Ces requêtes ont été utilisées pour sonder les modèles et analyser leurs réponses. Un effort particulier a été consacré à s’assurer de l’attribution correcte et de la génération de réponses basées sur des faits sans source donnée.

Des évaluations d’impact ont identifié, évalué et documenté les bénéfices et les risques sociétaux associés au développement des modèles. Les domaines étudiés comprennent la véracité, la sécurité des enfants, le contenu nuisible, la cybersécurité, les risques biologiques, les discours de haine, le harcèlement, l’exactitude factuelle, l’équité et l’inclusion. Ces évaluations, qui s’appuient sur des recherches antérieures sur les risques des modèles de langage, sont mises à jour en parallèle avec le développement des modèles.

L’accent mis sur la sécurité et le développement responsable contraste avec l’ambiance “accélérationniste” qui règne dans la Silicon Valley, après le retour de Sam Altman aux commandes d’OpenAI, sans que le principal intéressé ne se soit exprimé publiquement en la matière. En revanche, en matière de course à la taille, Google ne donne pas de demi-mesure.

Ultra-Gargantua

Les modèles Gemini sont basés sans surprise sur une architecture Transformer. L’entraînement a impliqué l’utilisation d’accélérateurs TPUv5e et TPUv4. Une infrastructure étendue s’est révélée nécessaire pour Gemini Ultra, dont l’entraînement gigantesque a mobilisé simultanément plusieurs datacenters, posant des problèmes sans précédent pour détecter et compenser la moindre faille matérielle. 

Le jeune Gargantua a utilisé, pour s’entraîner, un jeu de données à la fois multimodal et multilingue, intégrant des données de documents Web, de livres, de code, ainsi que des images, de l’audio et de la vidéo. Il peut ainsi accepter des documents hétérogènes dans sa fenêtre d’attention, traitant simultanément du texte et des vidéos par exemple (les vidéos étant traitées image par image). Le contexte cependant est limité à 32 768 tokens, même dans la version Ultra. Loin de la fenêtre d’attention de 128000 tokens de GPT-4 Turbo (lire Qant du 7 novembre). 

Le tokenizer choisi, SentencePiece, a amélioré la qualité du vocabulaire inféré et donc la performance des modèles. Cette approche a également permis une tokenisation efficace des scripts non latins, bénéficiant à la qualité du modèle ainsi qu’à la vitesse d’entraînement et d’inférence.

Bonjour, Monsieur l’agent

La série Gemini a été conçue pour être combinée avec d’autres technologies de Google, notamment la recherche sur Internet. Un premier agent intelligent a été présenté en ce sens: AlphaCode 2, qui utilise une version surentraînée (fine-tuned) de Gemini Pro. Le modèle explore l’espace des programmes possibles, puis il les filtre, les regroupe et les réordonne. Il génère ainsi des solutions potentielles, mais peut aussi apprendre par renforcement à reconnaître et extraire les candidats les plus prometteurs.

Google Deepmind tient ainsi sa promesse de combiner avec des LLM les technologies d’apprentissage par renforcement qui ont fait le succès de ses modèles spécialisés, comme AlphaGo, AlphaFold ou récemment Gnome (lire Qant du 1er décembre). 

AlphaCode 2 constitue ainsi, de l’aveu même de ses créateurs, un premier pas vers des agents généraux dotés de mécanismes de raisonnement complexe, d’une compréhension multimodale profonde, de modèles pré-entraînés puissants et des capacités de recherche de Google.

Et là, ce n’est pas du chiqué.

Pour en savoir plus :

• Gemini Team, Gemini: A Family of Highly Capable Multimodal Models, Google DeepMind, 2023