Mettre les modèles à l’épreuve

Le 17 février prochain, le Qant CES Report sera envoyé en exclusivité aux abonnés de Qant Expert – même votre newsletter, à son humble niveau, créera ainsi un palier premium.

L’équipe de Qant s’est rendue au CES, qui s’est déroulé du 5 au 8 janvier dernier à Las Vegas, en partenariat avec Mission CES et grâce au soutien d’Axicom. Au sixième mois de publication quotidienne d’une lettre écrite et illustrée avec l’IA générative (principalement GPT-3, Stable Diffusion et Midjourney, mais aussi des start-up moins connues, comme WriteSonic ou Rephrase.ai…), nous nous sommes donné un double objectif.

Robojournal, Roborapport

Il était temps de sortir les robots du desk et tenter d’écrire avec eux une newsletter sur le terrain, puis un rapport de tendances complet (sinon exhaustif, ce qui serait impossible même pour un robot). Le projet de Qant, c’est en effet de mettre, progressivement, au point les techniques par lesquelles les journalistes pourront se faciliter l’écriture. Après les brèves, les actus et le desk, nous tenterons de faire reculer les limites des robots pour écrire des interviews, des reportages, des analyses…  voire des rapports entiers, demain peut-être des livres. 

Le verdict est mitigé. D’avoir lu tout Wikipedia et tout Internet Archive ne donne pas à GPT-3 une capacité de synthèse et de contextualisation suffisante pour analyser des tendances technologiques. Nous nous sommes principalement appuyés, avec bonheur, sur les experts de Mission CES et de Niji.

En revanche, ChatGPT et son rival ChatSonic se sont révélés assez efficaces pour les actus sur le terrain et poDe plus, ur les fiches qui décrivent les innovations que nous avons choisies dans chaque parcours du rapport. Chatsonic est connecté à Internet ; il peut donc plus efficacement contextualiser une actualité recueillie sur le terrain. Toutefois, son entraînement est de bien moindre qualité et ses réponses s’en ressentent. Il nous est arrivé de le surprendre la main dans le pot de confiture, copiant sa réponse dans Wikipedia.

C’est aux humains de trouver l’actualité, la vérifier, puis hiérarchiser l’information. A condition de disposer de sources écrites, les robots la résument et la traduisent ensuite presque aussi bien, et beaucoup plus vite, que nous ne saurions le faire.

Ce qui ne nous empêche pas de relire et vérifier et réécrire encore, car tout le monde peut se tromper.

Surtout une IA. 

Jean Rognetta (jean@qant.tech) et Maurice de Rambuteau (maurice@qant.tech)

(Sans l’aide d’un LLM)