GPT-4 en filigrane

Premières fuites sur GPT-4 Mercredi soir dernier, Open AI a annoncé un nouvel entraînement de son modèle, désormais baptisé « GPT 3.5 Turbo ». Une « optimisation générale » lui permet de diviser ses coûts par dix. Intégrer ChatGPT à son application via l’API d’OpenAI ne coûte plus que 0,002 $ par 1 000 jetons (environ 750 mots de texte non structuré). Et l’éditeur de multiplier les exemples des utilisateurs du service : Snap, Shopify, Instacart… sans préciser cependant si ces clients font appel au modèle général ou s’ils ont entraîné le leur propre. La différence est de taille. Chaque modèle, en effet, doit être entièrement chargé en mémoire pour fonctionner. S’il s’agit d’un modèle sur mesure, entraîné avec le fonds documentaire du client, ce coût n’est plus mutualisé.

Les coûts d’utilisation d’un ChatGPT sur mesure (en fait, Da Vinci 3) sont plus de cinquante fois plus élevés. Et ils pourraient encore augmenter. Travis Fischer, un ingénieur d’OpenAI, a fait fuiter les tarifs et quelques détails sur le projet Foundry, qui comprend quelques indications sur ce que sera le prochain modèle, GPT-4. A l’en croire, Foundry allouera à chaque client une capacité de calcul déterminée (vraisemblablement sur Microsoft Azure) et lui ouvrira les outils et les tableaux de bord qu’OpenAI utilise pour construire et optimiser ses modèles. Les clients pourront également décider s’ils veulent ou non passer aux versions les plus récentes des modèles (ce qui impose des coûts de ré-entraînement du modèle).

Les prix qu’il partage sont cohérents avec un glissement du modèle vers les grandes entreprises. Ils s’étagent de 22 000 dollars à 468 000 dollars par mois, selon que le client choisisse GPT 3.5 Turbo ou… DV, un acronyme qui indique vraisemblablement Da Vinci sur GPT-4. Le passage de 4 000 à 32 000 jetons pour la dimension de la fenêtre de contexte (la quantité d’informations que le modèle considère avant de générer du texte) indique en effet un saut qualitatif dans le mécanisme d’attention (et les coûts de calcul). « GPT4 n’est pas un modèle unique, mais une classe de modèles, définis par l’échelle de la pré-formation et le nombre de paramètres », en déduisent Erik Torenberg et Nathan Labenz de The Cognitive Revolution: « Prometheus de Microsoft est le premier modèle de classe GPT4 à être rendu public ». Pour justifier un tel niveau de prix, le « fine-tuning » du nouvel algorithme devra aussi permettre de surmonter les hallucinations qu’ont présenté ChatGPT et Bing.

JR

Pour en savoir plus : The Cognitive Revolution, Travis Fischer