BloombergGPT, à l’épreuve de l’information financière

L’agence Bloomberg a investi plusieurs millions de dollars dans un grand modèle de langage naturel consacré à l’analyse financière, BloombergGPT. Aucune interface, chat ou API, n’a été ouverte au public. Néanmoins, l’article de recherche permet d’ouvrir le capot sur les principaux choix technologiques et les utilisations potentielles de l’outil. Et d’éclairer en ombres chinoises la stratégie d’OpenAI et Microsoft.En quarante ans, avoir un terminal Bloomberg sur son bureau est devenu, dans le monde de la finance de marché, un status symbol incontournable (bien mieux qu’une Rolex à cinquante ans). Il a délogé Reuters par la qualité de son service client, mais aussi de l’information présentée, dont dépendent les choix des traders. Cette culture pèse sur BloombergGPT, le grand modèle de langage naturel (LLM) que des chercheurs de Bloomberg ont présenté la semaine dernière. Pas question que l’on y retrouve les billevesées que l’on voit ChatGPT ou BingChat peuvent générer. Comme le modèle n’est pas ouvert au public, il n’a pas été donné à des journalistes facétieux de le prendre en défaut. Mais cette logique a clairement pesé sur les choix technologiques de l’équipe.

BloombergGPT veut avant tout permettre d’interroger les bases de données de l’agence en langage naturel. Le modèle permet donc de générer des requêtes en Bloomberg Query Language (BQL). Mais son entraînement dépasse de loin les bases de Bloomberg, ce qui lui permet de répondre à des questions financières plus générales. Cinq utilisations principales se dessinent ainsi, principalement destinées à la recherche financière. BloombergGPT pourrait par exemple à terme automatiser partiellement la production de rapports et de résumés pour les clients, tels les morning briefings des brokers. Il peut aussi aider à récupérer rapidement des éléments spécifiques dans des états financiers, sur une période donnée : l’évolution des fondamentaux d’une entreprise, par exemple, ou l’analyse des réseaux de dirigeants et d’administrateurs. En outre, tout comme ChatGPT a été utilisé pour préparer des dépôts de brevet, BloombergGPT pourrait aussi être utilisé pour établir la première mouture des déclarations aux autorités de marché. Et enfin – au grand émerveillement des journalistes de Qant – il semble capable de résumer un texte par un titre informatif « à la Bloomberg » : Pour cela, l’agence a choisi de créer un “petit” LLM. BloombergGPT ne compte que 50 milliards de paramètres, contre plus de 175 milliards pour GPT-3 et Bloom sur HuggingFace, 540 milliards pour Palm et, selon la rumeur, 1 000 milliards GPT-4. «Nous avons entrepris de construire un modèle qui donne les meilleurs résultats de sa catégorie sur les benchmarks financiers, tout en restant compétitif face aux LLM à usage général» expliquent les chercheurs : «Nous avons atteint cet objectif en construisant le plus grand dataset spécifique à la finance jamais créé, [grâce aux ressources] existantes chez Bloomberg. (…) Nous avons ajouté ces données à des ensembles de données publiques afin de créer un vaste corpus de formation comprenant plus de 700 milliards de tokens. En utilisant une partie de ce corpus d’entraînement, nous avons entraîné un modèle de style BLOOM, avec 50 milliards de paramètres (…) Nos résultats démontrent que notre approche d’apprentissage mixte conduit à un modèle qui surpasse largement les modèles existants sur les tâches financières du domaine tout en étant au même niveau ou meilleur sur les benchmarks NLP généraux. »

Cette approche par petits modèles a été adoptée notamment par Meta. Llama, son nouvel LLM, ne compte que 65 milliards de paramètres. Le précédent, Galactica, en comptait 120 milliards. Bien qu’il n’ait été ouvert qu’au monde de la recherche, ses “comportements déviants” ont contraint Meta de le fermer après quelques jours (cf. Qant du 21 novembre 2022). Pour Bloomberg, le pari semble être qu’un plus petit nombre de paramètres bride la fantaisie du modèle, alors que la qualité du fonds d’entraînement préserve sa pertinence.

BloombergGPT a ainsi été entraîné sur plus de 700 milliards de jetons (environ 525 milliards de mots). La moitié provient de bases de contenu publiques, comme Wikipedia, et la moitié d’une “FinPile” comprenant les bases de Bloomberg, mais aussi des sites Web, des publications financières, des articles de presse… Un choix coûteux : « L’entraînement du modèle BloombergGPT a nécessité environ 53 jours de calculs exécutés sur 64 serveurs, chacun contenant 8 GPU NVIDIA 40GB A100 » calcule Jamiel Sheikh sur Forbes : « Étant donné que chaque GPU coûte des dizaines de milliers de dollars, s’il est acheté neuf, et qu’il n’est utilisé que pendant une courte durée relative pour la génération du modèle, l’équipe de BloombergGPT a choisi d’utiliser les services cloud d’AWS pour exécuter les calculs. Sachant que le coût par instance de serveur est de 33 dollars par heure (selon les annonces publiques actuelles), nous pouvons estimer à plus de 2,7 millions de dollars le coût de la seule production du modèle. »

Or, la part des données propriétaires à Bloomberg est mineure. Dans l’ensemble du dataset, il ne s’agit que de 0,7% :

Il aurait sans doute été moins dispendieux au total pour Bloomberg de faire le même choix de Morgan Stanley, qui a choisi de s’appuyer sur GPT-4 pour son modèle de recherche financière. Quoiqu’aucun retour d’expérience n’ait encore filtré, il est probable que les comportements déviants puissent être réduits dans un contexte “non adversarial”.

L’approche de Bloomberg lui offre l’avantage de disposer de son propre modèle – et tous les inconvénients. Ses chercheurs ont beau se réjouir des bonnes performances de BloombergGPT par rapport aux autres “petits” LLM, ils s’adressent à un public qui a pris l’habitude de converser avec GPT-4, qui les éclipse sans difficulté. Bloomberg devra continuer à investir massivement pour que son modèle ne semble pas vite dépassé.

La stratégie d’OpenAI devient ainsi claire. Elle propose à ses clients d’utiliser GPT-4 sur Microsoft Azure avec la possibilité d’entraîner un modèle ad hoc. Ce faisant, elle leur économise une partie notable des coûts d’entraînement et elle les garantit du risque d’obsolescence. Il lui faut toutefois encore répondre de l’intégrité des données.

J.R.

Pour en savoir plus :

• Bloomberg
• Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann, BloombergGPT: A Large Language Model for Finance, arxiv.com
• Jamiel Sheikh, The ChatGPT Of Finance Is Here, Forbes.com