“Désolé, je ne peux pas accéder directement aux liens ou lire les fichiers PDF depuis une URL. Cependant, si vous pouvez extraire le contenu principal du document et me le fournir ici, je serai heureux de vous aider à le résumer.” Voilà ce que répond ChatGPT lorsqu’on lui demande de résumer un PDF ou d’en extraire une information. Le chatbot d’OpenAI ne sait en effet lire que les textes bruts. D’autres chatbots, moins connus, existent, qui permettent d’analyser des fichiers PDF. Comme la Coupe du monde de rugby se déroule en ce moment en France, demandons-leur d’analyser un rapport de 56 pages sur l’édition 2019 de la Coupe du monde, produit par World Rugby, l’organisme international qui gère le rugby à 15 et à 7.
ChatPDF : lire dans un PDF comme dans un livre ouvert
Premier outil analysé : ChatPDF. Créé par une start-up allemande, il permet d’analyser gratuitement des PDF jusqu’à 120 pages, puis propose un plan à 5 dollars par mois pour les documents plus longs. ChatPDF peut permettre deux choses : résumer le document, et répondre à des questions en allant chercher des informations dans le document.
À peine le PDF téléchargé, l’outil propose trois questions sur le document. Ces dernières, tout comme le rapport de World Rugby, sont rédigées en anglais. ChatPDF est cependant capable de lire un document et de discuter en français. Posons par exemple en français l’une des trois questions que ChatPDF nous a proposées, à savoir : “Comment la stratégie de l’Afrique du Sud a-t-elle été différente des autres équipes du tournoi?” La réponse est immédiate :
L’approche stratégique de l’Afrique du Sud était basée sur le territoire, des coups de pied arrêtés puissants, une défense agressive et un formidable banc de remplaçants. La possession du ballon n’était pas une priorité pour eux, et leur objectif principal était de produire une pression continue. Cette approche était différente de celle de nombreuses autres équipes du tournoi, qui se concentraient davantage sur la possession du ballon et sur un style de jeu différent.
Les informations rapportées sont exactes. L’outil indique également à quel endroit du PDF il est allé les trouver. L’utilisateur peut aussi poser ses propres questions. Ainsi, si on demande à ChatPDF quelle équipe a atteint les quarts de finale pour la première fois de son histoire en 2019, la réponse est trouvée en page 3 du document : le Japon.
Dernière étape de notre test de ChatPDF : l’outil est-il capable de lire les tableaux ou graphiques présents dans un document. Nous repérons ce tableau, qui reprend la part de joueurs de chaque pays étant nés dans le pays qu’ils représentent :
Si on demande à ChatPDF quelle équipe présente le plus faible score, l’outil répond : les Tonga, avec 42%. Coup dans l’eau, donc. On demande alors au chatbot s’il ne s’agirait pas plutôt des Samoa : “ Je suis désolé, vous avez raison. L’équipe dont le pourcentage de joueurs jouant pour le pays où ils sont nés est le plus faible est Samoa, avec seulement 39% de ses joueurs nés dans le pays qu’ils représentent.”.
Il est également possible de résumer le document. Le résumé fourni par ChatPDF est factuel. Il décrit les différents thèmes abordés par le rapport. Sur demande, on peut obtenir un résumé de plusieurs paragraphes sur ce ton : “En plus de l’analyse des matchs, le rapport comprend une gamme de mesures de performance, telles que la possession, le territoire et la discipline, qui fournissent des informations sur la performance globale de chaque équipe. Il comprend également des records et des jalons atteints au cours de la compétition, tels que le plus grand nombre d’essais marqués, le plus grand nombre de points marqués et le plus grand nombre de coups de pied réussis.”
PDF.ai : lire le texte … et les images
Le deuxième outil, PDF.ai, existe également comme une extension sur Chrome et fait appel aux modèles d’OpenAI. Il se montre aussi satisfaisant que son prédécesseur sur l’extraction d’information écrite. Il fournit une réponse quasiment identique à celle de ChatPDF à la question “ Quelle équipe a atteint les quarts de finale pour la première fois de son histoire en 2019”. PDF.ai se montre par contre plus intéressant en ce qui concerne la fonction résumé. Celui qu’il propose est complet et il cite certains faits et chiffres clés, le rendant plus intéressant qu’une simple liste des thèmes abordés. On voit que PDF.ai a la capacité de sélectionner les informations les plus importantes dans un PDF :
La Coupe du Monde de Rugby 2019 a été marquée par plusieurs faits intéressants. L’Afrique du Sud a remporté le tournoi, devenant ainsi la seule équipe de l’histoire de la Coupe du Monde à perdre un match en route vers le titre. Leur approche stratégique axée sur le territoire, les mêlées puissantes, la défense agressive et un banc de remplaçants redoutable a été déterminante pour leur succès.
*L’Afrique du Sud a utilisé une tactique de pression constante, obtenant moins de possession que 18 autres équipes lors de la phase de poules et moins que leurs adversaires en demi-finale et en finale. Leur taux de réussite en touche était de 99%, avec seulement une touche volée, et ils ont remporté 10 ballons volés en touche. Ils ont également remporté le plus de pénalités sur leurs propres mêlées et ont réussi le plus de turnovers et de pénalités sur les mêlées adverses. *
*L’analyse des matchs a également révélé que l’équipe qui marquait le plus d’essais remportait 79% des matchs. Cependant, il y a eu des exceptions, avec quatre matchs de la phase de poules et un match des phases éliminatoires où l’équipe gagnante a marqué moins d’essais que son adversaire. *
En résumé, la Coupe du Monde de Rugby 2019 a été marquée par la victoire de l’Afrique du Sud grâce à une approche stratégique basée sur la pression constante, des mêlées solides et une défense agressive. L’importance des essais dans la victoire d’un match a été confirmée, bien que des exceptions aient été observées.
Enfin, on demande à PDF.ai, comme à ChatPDF, d’extraire une information disponible uniquement dans un tableau du rapport: le pourcentage de joueurs de chaque pays étant nés dans le pays en question. Cette fois-ci, le chatbot trouve de lui-même la bonne réponse: les Samoa.
AskYourPDF, muet face au tableau
AskYourPDF est plus entreprenant que les deux autres outils testés. Son site est déjà partiellement en français, une API et un plugin pour ChatGPT sont disponibles.
Une fois le rapport de World Rugby téléchargé, un résumé (en anglais) de quelques phrases est automatiquement rédigé, de même que trois questions potentielles à poser à propos du rapport, comme ChatPDF. À noter que les trois questions posées par les deux outils sont très similaires, avec notamment une question sur les caractéristiques de la victoire de l’Afrique du Sud. Pour cette dernière, la réponse d’AskYourPDF est longue et complète :
*Les facteurs clés qui ont contribué au succès de l’Afrique du Sud dans le tournoi sont les suivants : *
*1 Approche stratégique : L’Afrique du Sud a maintenu une approche stratégique tout au long du tournoi, axée sur le territoire, les phases de jeu puissantes, la défense agressive et un banc de remplaçants redoutable. La possession n’était pas une priorité, l’objectif principal étant de produire une pression continue. *
*2 Pression territoriale : L’Afrique du Sud a maintenu une pression territoriale constante en tapant seulement une pénalité tout au long du tournoi. Ils ont marqué près de la moitié de leurs essais depuis la ligne des 22 mètres de leurs adversaires. *
*3 Performance en mêlée : L’Afrique du Sud a remporté le plus grand nombre de pénalités sur leurs propres mêlées et a également remporté le plus grand nombre de turnovers et de pénalités sur les mêlées de leurs adversaires. Le taux de réussite de leurs touches était de 99%, avec seulement une touche volée. *
*4 Jeu en touche : Près de 50% des essais marqués lors du tournoi provenaient de possessions en touche. *
*5 Buts de pénalité : L’Afrique du Sud a réussi à marquer le plus grand nombre de buts de pénalité. *
*6 Solide défense : L’Afrique du Sud n’a concédé qu’un seul essai lors des phases éliminatoires du tournoi. *
*7 Expérience en tant que vainqueur précédent : L’Afrique du Sud a remporté la Coupe du Monde de Rugby en 1995 et 2007, ce qui leur a donné une expérience précieuse et une mentalité gagnante. *
*SOURCES: *
*Page 2: RWC Statistical Report 2019 *
Page 4: RWC Statistical Report 2019
Principal manquement d’AskYourPDF : la lecture de tableaux. En effet, si ChatPDF avait donné une réponse erronée à la question portant sur les joueurs nés dans le pays qu’ils représentent, il était tout de même parvenu à extraire des informations du tableau portant sur le sujet. Ce n’est pas le cas d’AskYourPDF, qui est par exemple incapable de dire quelle équipe obtient le plus faible pourcentage en la matière entre les Samoa et les Tonga.
Claude plonge dans la mêlée
Depuis le lancement de Claude 2 par Anthropic (voir Qant du 13 juillet), il est possible de téléverser des PDF jusqu’à 10 mégaoctets. Pour notre banc d’essai, on obtient le résumé que voici :
*Voici un résumé en français des points clés du rapport statistique de la Coupe du Monde de Rugby 2019 : • L’Afrique du Sud a remporté la Coupe du Monde pour la 3ème fois (1995, 2007, 2019), en suivant sa stratégie habituelle basée sur le territoire, les mêlées puissantes, la défense agressive et un banc de remplaçants solide. *
*• Le Japon, pays hôte, a produit un rugby enthousiasmant et a battu deux équipes du top niveau mondial lors de la phase de poules, une première pour une équipe de second niveau. *
*• 79% des matches ont été remportés par l’équipe qui a marqué le plus d’essais. En moyenne, il y a eu 6,3 essais par match. *
*• Les mêlées ont pris environ 80 secondes en moyenne. Près de 20% du temps de jeu a été consacré aux mêlées lors des phases finales. *
*• Près de la moitié des essais proviennent des touches (49%). Les équipes récupèrent un ballon adverse en moyenne une fois toutes les 4,5 touches contestées. *
*• 97% des remplaçants ont été utilisés. Le pilier droit a été remplacé à 100%, le pilier gauche et le demi de mêlée à 91%. *
*• Il y a eu en moyenne 17 pénalités/coups francs par match. 72% ont sanctionné l’équipe en défense, surtout en mêlée (81%). *
*• 29 cartons jaunes et 8 cartons rouges ont été distribués, surtout pour plaquage dangereux. *
• Le TMO a été sollicité 101 fois en moyenne, principalement pour valider les essais (62 fois). En résumé, les mêlées et les touches ont été déterminantes. L’Afrique du Sud a su tirer parti de ces éléments forts de son jeu pour remporter le titre.
Tout comme ChatPDF, Claude trouve la bonne réponse à la question “Quelle équipe a atteint les quarts de finale pour la première fois de son histoire en 2019 ?” mais le modèle se trompe sur “Quelle est l’équipe avec la plus faible part de joueurs nés dans le pays?”: il donne la même réponse, le Japon. Quant à la stratégie de l’Afrique du Sud, le modèle est très satisfaisant:
D’après le rapport statistique, la stratégie de jeu de l’Afrique du Sud était très différente des autres équipes lors de la Coupe du Monde de Rugby 2019 :
• L’Afrique du Sud a basé son jeu sur le territoire, les mêlées puissantes, la défense agressive et un banc de remplaçants solide.
• Sa priorité n’était pas la possession du ballon. Elle a eu moins de possession que 18 autres équipes lors de la phase de poules.
• Elle a obtenu le meilleur taux de réussite en touche (99%) et a récupéré 10 ballons adverses sur touche.
• Elle a marqué près de la moitié de ses essais à moins de 22 mètres de l’en-but adverse.
• Elle a botté le plus de pénalités.
• Elle n’a concédé qu’un seul essai lors des phases finales.
Cette approche, axée sur la pression constante, le combat et la discipline, tranchait avec le jeu rapide et offensif de nombreuses autres équipes comme le Japon ou l’Écosse. L’Afrique du Sud a su s’appuyer sur ses points forts traditionnels pour remporter la compétition, démontrant l’efficacité de sa stratégie singulière basée sur la domination physique.
PDF.ai marque l’essai
A l’heure du bilan, les outils testés semblent constituer des modèles fiables pour l’extraction d’information et le résumé de PDF. Tous sont capables d’extraire des informations d’un PDF long. Ils fonctionnent en français, et peuvent se montrer utiles pour extraire des informations d’un rapport de recherche ou encore d’un rapport financier.
PDF.ai marque donc l’essai par sa capacité à produire des résumés complets, mais aussi à extraire des informations correctes tirés de textes comme de tableaux. Les millions qu’Anthropic vient de lever permettront en revanche plus facilement à Claude de transformer l’essai.
A moins qu’OpenAI ne décide d’ouvrir un peu plus ses modèles.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_3aee75c824f04f5c9b317e1758fb35bc
