Que fait ChatGPT et comment ça marche ?

**Le créateur de Mathematica Stephen Wolfram vient de publier un article détaillé sur le fonctionnement interne de ChatGPT. Nous vous en proposons un résumé en français, destiné aux utilisateurs qui veulent comprendre, plutôt qu’aux techniciens de l’IA. **

ChatGPT est capable de générer automatiquement du texte qui ressemble à s’y méprendre à un texte écrit par un humain. Mais comment y parvient-il, et pourquoi cela fonctionne-t-il?

ChatGPT essaie de produire une « continuation raisonnable » de tout texte qu’il possède, où « raisonnable » signifie « ce à quoi on peut s’attendre de la part de quelqu’un qui a vu ce que les gens ont écrit sur des milliards de pages web. » Il utilise pour cela un grand modèle de langage naturel (LLM) et il évalue les probabilités des mots qui pourraient suivre une phrase donnée. Cependant, pour éviter de produire un texte trop plat et sans intérêt, il ajoute une dose de hasard dans le choix des mots à utiliser. Cela signifie que si l’on utilise plusieurs fois la même question, on obtiendra très probablement des réponses différentes à chaque fois. Le texte produit est donc le résultat d’un mélange de probabilité et d’aléatoire, sans réelle théorie sous-jacente, mais basé sur l’expérience de ce qui fonctionne en pratique.

Incorporations ChatGPT est une version du réseau GPT-3, un réseau de neurones géant de 175 milliards de paramètres, particulièrement conçu pour le traitement du langage avec une architecture appelée « transformer ». Les transformateurs introduisent la notion d’attention pour se concentrer sur certaines parties de la séquence plutôt que sur d’autres. Le réseau fonctionne en trois étapes de base : une séquence de jetons qui correspond au texte présenté est transformée en un premier « embedding » (incorporation), puis une série de blocs d’attention est appliquée pour produire un nouvel embedding. Enfin, une liste de 50 000 valeurs est générée, qui se transforment en probabilités pour différents jetons possibles.Les réseaux de neurones sont fondamentalement basés sur des nombres, mais pour travailler sur du texte, il faut une manière de représenter le texte par des nombres. Les embeddings représentent l’essence d’un mot en utilisant une série de nombres. Ils permettent de représenter les mots dans un «espace de signification», où les mots «proches» en signification apparaissent près les uns des autres dans l’embedding. Pour créer un embedding, on peut utiliser de grandes quantités de texte et voir «à quel point» les «environnements» dans lesquels différents mots apparaissent sont similaires. Les embeddings d’image fonctionnent de manière similaire, en caractérisant les images par des listes de nombres pour déterminer leur «similarité».En outre, ChatGPT doit créer un texte « raisonnable » en fonction de ce qu’il a appris de son entraînement en regardant des milliards de pages de texte du Web. La formation se fait par apprentissage supervisé, ce qui implique la présentation d’un lot d’exemples, suivie d’un ajustement des poids dans le réseau de neurones pour minimiser l’erreur (« perte »). Pour apprendre le langage humain, ChatGPT a été entraîné sur plusieurs centaines de milliards de mots de texte. Après cela, il est prêt à générer son propre texte, mais il a tendance à s’écarter des modèles humains, en particulier pour les textes longs.

SimplicitéLes résultats suggèrent qu’un modèle de langage basé sur un réseau de neurones peut être relativement efficace. ChatGPT peut générer un texte semblable à celui de l’homme avec seulement quelques centaines de milliards de poids de réseau de neurones. Les humains peuvent aider ChatGPT en lui donnant des retours sur la qualité de ses réponses, qui sont ensuite utilisés pour améliorer la performance du système. Pour produire du langage avec une signification, il est nécessaire de créer une grammaire sémantique en plus d’une grammaire syntaxique. Les textes produits par ChatGPT sont des trajectoires dans l’espace de traits linguistiques et leur mouvement suit les règles sémantiques de l’espace. En général, plus un système est capable de faire des calculs sophistiqués, moins il sera facilement entraînable. Le fait qu’un réseau neuronal puisse écrire un article est dû au fait que cette tâche est en réalité plus facile à calculer que ce que nous pensions auparavant. La réussite de ChatGPT implique l’existence d’une structure dans le langage humain dont les règles pourraient donc être relativement simples.