OpenAI a publié récemment un rapport technique décrivant la préparation du déploiement du modèle de langage GPT-4V par OpenAI, qui ajoute des capacités de traitement d’images à GPT-4. GPT-4V permet aux utilisateurs de fournir des images en entrée à GPT-4 et d’obtenir des réponses tenant compte de ces images. L’ajout de modalités visuelles aux grands modèles de langage ouvre de nouvelles possibilités, mais élargit également la surface d’attaque par rapport aux modèles purement textuels.
OpenAI explique tout d’abord avoir donné accès à une version alpha de GPT-4V à divers utilisateurs pour recueillir des retours. Par exemple, la start-up danoise Be My Eyes l’a utilisé pour décrire des photos à des utilisateurs malvoyants dès la sortie de GPT-4 (lire Qant du 31 mars). L’expérience a notamment montré que le modèle fait des erreurs et des hallucinations, soulignant l’importance d’avertir les utilisateurs de ne pas se fier au modèle pour des questions critiques. Les testeurs ont exprimé le besoin de décrire les caractéristiques de visages, ce qui pose des questions de confidentialité et de biais.
L’entreprise a ensuite mené des évaluations quantitatives et qualitatives pour comprendre les capacités et les risques du modèle. Par exemple, des évaluations de performance sur l’attribution de traits sensibles (âge, race, genre) ont montré des performances équivalentes entre les groupes démographiques. D’autres évaluations ont mesuré l’identification de personnes, les inférences non fondées, et la capacité à résoudre des Captchas ou faire de la géolocalisation.
L’utilisation de GPT-4V pour certaines tâches peut entraîner des suppositions non fondées ou nuisibles qui ne sont pas basées sur les informations fournies au modèle (image ou texte). Des tests ont révélé des risques liés à des inférences non fondées sur des personnes et des lieux. Dans les premières versions de GPT-4V, demander au modèle de choisir entre plusieurs options, puis de fournir une explication, mettait souvent en évidence des stéréotypes et des inférences non fondées. Les questions ouvertes associées à une image révélaient également des biais. Par exemple, lorsqu’on demandait des conseils pour une femme sur une image, le modèle se concentrait sur le poids et la positivité corporelle. Des mesures ont été mises en place pour limiter ces inférences en faisant refuser au modèle de telles demandes concernant les personnes. Des exemples montrent la différence entre les premières versions de GPT-4V et le modèle actuel en matière d’inférences non fondées et de stéréotypes.
Des experts externes ont de leur côté testé GPT-4V sur des scénarios à risque comme des conseils médicaux, des stéréotypes, de la désinformation ou du contenu haineux. Cela a révélé des vulnérabilités comme des erreurs factuelles ou des biais. OpenAI a implémenté un système de refus automatiques du modèle pour certains types de requêtes risquées. Des données d’entraînement additionnelles ont aussi été utilisées après l’entraînement initial pour renforcer les refus dans des domaines critiques. Elle atteint ainsi, en interne, un taux de fiabilité de 100 %.
Les prochaines étapes pour le modèle GPT-4V comprennent un engagement public sur des questions fondamentales, l’amélioration des performances dans plusieurs langues et un affinage des capacités de traitement d’images de personnes. L’objectif affiché par OpenAI est de permettre des usages socialement bénéfiques de cette technologie tout en atténuant les risques de dommages.
M. de R.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_d1e97394688f4a969e9a8792a2e7e451
