GPT-4 a été présenté, il y a deux semaines, comme le premier modèle multimodal ouvert au public (à condition qu’il montre patte blanche: cf. Qant du 15 mars). Maintenant que le bruit retombe un peu, Salesforce fait remarquer que son modèle Blip-2, disponible en open source depuis le 30 janvier, possède les mêmes capacités de lecture d’images et des performances bien meilleures. Le temps d’inférence d’une image sur une GPU est presque 40 fois supérieur sur Blip-2 que sur GPT-4, par exemple.
A proprement parler, Blip-2 n’est pas un modèle mais une méthode d’entraînement. D’après Salesforce, elle applicable à n’importe quel grand modèle de langage naturel (LLM) et ne mobilise que 2% de ses paramètres. Une nouvelle stratégie de pré-entraînement en deux étapes utilise un transformateur de requêtes baptisé Q-Former pour combler l’écart entre les deux modalités du langage et de la vision. Le réentraînement des LLM du marché pourrait faciliter, d’après les chercheurs de Salesforce, l’émergence d’un véritable chatbot multimodal, ce qui n’est pas encore le cas de ChatGPT Plus.
Sources : Salesforce et Salesforce Research
Blip 2 sur Hugging Face
Pour en savoir plus : MarkTechPost
Source archive Kessel : https://qant.kessel.media/posts/pst_d846aaa9ab554ba4a3fac7ae41570219
