Las capacités multimodales de GPT-4, qui est un modèle visuel aussi bien que de traitement du langage naturel (voir Qant Expert du 17 mars), n’ont guère été testées jusqu’à présent que par Be My Eyes, une application aidant les personnes malvoyantes. Le service reste en version bêta, réservée à un petit groupe d’utilisateurs de Be My Eye. Mais son déploiement progressif est prévu dans les semaines à venir et les fonctionnalités sont désormais claires.
Lancée en 2015, l’app mobile gratuite Be My Eyes permet aux aveugles et aux malvoyants de demander à des personnes voyantes de décrire à distance ce que voit leur téléphone. Grâce à GPT-4, l’application s’enrichit d’un « bénévole virtuel » qui offre la même assistance. Un bénévole réel reste en réserve pour rattraper les erreurs de l’IA mais cette assistance visuelle instantanée de premier niveau se révèle efficace pour de nombreuses tâches. Dans une vidéo de Be My Eyes, l’IA décrit une robe à une malvoyante, elle identifie une plante, lit une carte, traduit du chinois une étiquette sur une bouteille, oriente la jeune femme vers un tapis roulant libre dans une salle de sport et lui indique quels boutons appuyer à un distributeur automatique.
D’après la start-up d’origine danoise, qui propose aux entreprises des solutions professionnelles pour aider les malvoyants en leur sein, si un utilisateur envoie une photo de l’intérieur de son réfrigérateur, le « bénévole virtuel » pourra non seulement identifier correctement ce qu’il contient, mais aussi déduire et analyser ce qui peut être préparé avec ces ingrédients, proposer des recettes et envoyer un guide étape par étape pour les réaliser. Voire commander les ingrédients manquants.
Source : BeMyEyes
Pour en savoir plus : Tech Crunch
Source archive Kessel : https://qant.kessel.media/posts/pst_3401d49fe2284aa3ba45bdd30ba64ed5
