En fin de semaine dernière, Google a permis aux éditeurs de sites web de refuser que leurs données soient utilisées pour entraîner les modèles d’intelligence artificielle de Google tout en restant accessibles via Google Search. Cet outil, nommé « Google-Extended », est accessible via le fichier Robots.txt et permet aux sites d’être indexés par les robots de Google sans que leurs données ne soient utilisées pour le développement de l’IA.
Certains grands sites, comme le New York Times, avaient déjà bloqué d’autres robots, notamment ceux d’OpenAI, pour éviter d’être utilisés comme données d’entraînement. Mais refuser les crawlers de Google, c’était courir le risque de devenir invisible dans les recherches. Google déclare avoir changé la donne au nom de la transparence, pour donner aux éditeurs plus de contrôle sur leurs données, tout en les conjurant de ne pas utiliser le nouvel outil et promettant bientôt de nouvelles options.
Vingt-six des 100 premiers sites américains et 242 des mille premiers ont déjà bloqué le chatbot d’OpenAI, depuis son lancement le 7 août, d’après la plate-forme Originality.ai, qui édite par ailleurs un outil pour détecter si un contenu a été créé par un humain ou produit par une IA.
Les premiers à bloquer GPTBot d’OpenAI avaient été, en août, Amazon et le New York Times. CNN, Shutterstock et Quora leur avaient rapidement emboîté le pas et leur exemple a porté. La plupart des médias américains refusent désormais d’entraîner OpenAI: Bloomberg, Business Insider, CBS, CNBC, ESPN, NBC, NPR, The Guardian, Reuters, USA Today, The Washington Post… La plateforme de publication en ligne Medium a indiqué la semaine dernière qu’elle était en discussion avec plusieurs grandes organisations pour former une coalition pour l’utilisation équitable des contenus.
Dans l’Hexagone, Radio France, TF1 et Publihebdos avaient bloqué GPTBot dès cet été. Le Groupement des éditeurs de services et de contenus en ligne (Geste) s’est exprimé en faveur d’un blocage préventif en attendant la négociation de licences (lire Qant du 18 septembre), mais via des métatags plutôt que le fichier Robots.txt.
Face à ce phénomène naissant, Google a donc jugé bon de lâcher du lest. Le géant mise peut-être sur l’inégale adoption des mesures de blocage : un site sur 4 bloque OpenAI mais deux seulement, Reuters et Il Corriere della Sera, refusent le scrapping d’Anthropic. La raison tient vraisemblablement au déficit de notoriété de Claude, comparé à ChatGPT, ou peut-être à la taille des fichiers Robots.txt des sites les plus importants.
Les géants et les autres
Google se déclare prêt à “collaborer avec les communautés du web et de l’intelligence artificielle afin d’explorer de nouvelles approches en matière de choix et de contrôle pour les éditeurs de sites web”. La consultation a été lancée début juillet. Bingbot se trouvera sans doute bientôt contraint de suivre l’exemple de Googlebot. Mais le phénomène ne sera pas universel. Pour d’autres géants, les données servant à entraîner les modèles d’IA sont disponibles “à domicile”. C’est par exemple le cas de Meta, qui utilise pour entraîner ses modèles les publications de ses 3 milliards d’utilisateurs.
D’autres, plus petits, peuvent aisément faire fi du Robots Exclusion Protocol et des fichiers Robots.txt, pour récupérer les données des sites et les revendre. C’est une accusation lancée récemment contre Brave par le consultant britannique Pierre Far, mais à laquelle bien des “petits” modèles, open source ou non, pourraient prêter le flanc.
*Pour en savoir plus : *
Source archive Kessel : https://qant.kessel.media/posts/pst_3412bbc2d62d4a3e808eaf4fe856687e
