L’institut HAI (Human-centered Artificial Intelligence) de l’université de Stanford vient d’évaluer la conformité des fournisseurs de modèles de fondation, tels qu’OpenAI et Google, avec le projet de règlement de l’Union européenne sur l’intelligence artificielle, l’AI Act (lire Qant du 15 juin). Les résultats sont édifiants : les principaux modèles, notamment GPT-4 et Palm 2, ne sont généralement pas en conformité avec les exigences du projet de loi, avec pour certains des carences très importantes.
Transparence et droit d’auteur
Les chercheurs ont identifié quatre domaines clés : la divulgation des données protégées par le droit d’auteur, le rapport sur la consommation d’énergie, l’atténuation des risques et l’évaluation et les essais. Pour juger de leur conformité, les chercheurs ont sélectionné les dix principaux modèles et il les ont passés au crible de douze critères, comme la gouvernance des données, la consommation d’énergie, l’évaluation des risques, etc. Une note de 1 à 4 pour chaque critère donne un maximum de 48. Les disparités de résultats sont fortes, allant d’une note de 5 pour Luminous, développé par l’allemand Aleph Alpha, jusqu’à 36 sur 48 pour Bloom d’HuggingFace.
Le respect du droit d’auteur sur les données apparaît comme un point particulièrement douloureux mais, de manière générale, les zones d’ombres et les manquements sont légion. L’étude de Stanford souligne l’urgence d’une réglementation plus efficace pour responsabiliser les fournisseurs de modèles de fondation. En particulier, les créateurs d’IA divulguent rarement suffisamment d’informations concernant les données, les calculs et le déploiement de leurs modèles, ainsi que les principales caractéristiques des modèles eux-mêmes. Les modèles ouverts, tels que GPT-NeoX d’EleutherAI, ont tendance à être plus transparents concernant les ressources utilisées, mais le contrôle de leur déploiement s’avère difficile.
De plus, les modèles ne respectent généralement pas les exigences de l’AI Act sur l’utilisation de données d’entraînement protégées par des droits d’auteur, le matériel utilisé et les émissions produites lors de l’entraînement, ainsi que la manière dont leurs créateurs évaluent et testent les modèles. Cela conduit les chercheurs à recommander aux décideurs politiques de donner priorité à la transparence, en s’appuyant sur les exigences de l’AI Act. Ils estiment qu’il est possible pour les fournisseurs de modèles de base de se conformer au règlement et que la divulgation d’informations sur le développement, l’utilisation et les performances des modèles de fondation améliorerait tout l’écosystème de l’IA.
Le modèle HuggingFace
La tendance à l’opacité est de plus en plus marquée. Certains fournisseurs, comme OpenAI avec GPT-4, refusent de partager des informations sur l’architecture de leurs modèles ou sur les ressources utilisées pour leur développement. Les chercheurs estiment que la transparence nécessaire pour répondre aux exigences légales serait commercialement viable si les fournisseurs de modèles collaboraient avec toutes les parties prenantes pour établir des normes sectorielles.
Les fournisseurs de modèles de fondation sont exhortés à améliorer leur conformité en prenant exemple sur les meilleures pratiques du secteur (et donc HuggingFace/Big Science). Les responsables politiques européens sont invités à éclaircir l’AI Act, notamment sur le rapport entre le droit d’auteur et les données d’entraînement des modèles. Et à s’assurer que les agences d’application de la loi disposeronnt des ressources nécessaires pour contrôler une industrie mondiale.
Source:
Source archive Kessel : https://qant.kessel.media/posts/pst_888706a1169649009767d2076eefe821
