Les chercheurs de Microsoft ont développé une version modifiée du casque de réalité augmentée HoloLens afin d’aider les personnes malvoyantes à appréhender leur environnement. Ce prototype utilise des indices sonores subtils pour détecter et identifier les personnes qui se trouvent dans une pièce.
Dans le cadre du Project Tokyo
On estime aujourd’hui à 285 millions, le nombre de personnes à travers le monde qui souffrent de déficiences visuelles, dont 39 millions d’aveugles. Pour faciliter le quotidien de ces personnes, Microsoft a développé un appareil basé sur le casque de réalité augmentée HoloLens. Cette initiative s’inscrit dans le cadre Project Tokyo, lancé en 2016. Un partenariat entre des chercheurs aux États-Unis, au Royaume-Uni, en Chine, au Japon et en Inde pour explorer des technologies qui pourraient aider les personnes handicapées à interagir avec le monde qui les entoure.
Selon un article du blog de Microsoft, le groupe de chercheurs a commencé par suivre des athlètes et des spectateurs avec différents niveaux de vision lors des Jeux paralympiques de 2016 à Rio de Janeiro, au Brésil. Ils ont observé comment ces sportifs interagissaient avec d’autres personnes ou se déplaçaient dans les aéroports. Puis ont assisté à des ateliers avec des personnes aveugles et malvoyantes. L’objectif des chercheurs était d’identifier les principales difficultés que le handicap visuel pouvait présenter dans des contextes sociaux.
L’intelligence artificielle traduit les informations sous forme sonore
Quatre ans plus tard, l’équipe de Project Tokyo a développé une version modifiée du casque de réalité augmentée HoloLens de Microsoft (la lentille a été retirée). Cet appareil fonctionne comme un bandeau sur les yeux. Il est en mesure de détecter les personnes qui se trouvent dans une pièce. Et surtout de les identifier si elles ont préalablement été renseignées dans l’algorithme. Ou encore de dire à quelle distance elles se trouvent de l’utilisateur, leur position, etc.
L’intelligence artificielle traduit ensuite ces informations et les envoie sous forme sonore aux utilisateurs du casque. Une simple présence d’une personne est signalée par un clic et une identification formelle accompagnée du nom de l’individu. A noter, plus la personne est proche, plus le son est aigu. Aussi, si le visage ne peut pas être filmé correctement par la caméra de l’HoloLens, l’appareil invite l’utilisateur à se repositionner face à son interlocuteur. Une fois que l’utilisateur se place correctement, un autre clic conclut l’action.
La batterie dure environ deux à trois heures avec une pleine utilisation
Microsoft utilise une version réduite de la technologie pour aider les enfants aveugles et malvoyants à développer des compétences d’interaction sociale. Ses chercheurs ont pu constater que les enfants malvoyants pouvaient présenter des comportements antisociaux. Une mauvaise vue diminuant les interactions sociales.
Le casque de Microsoft pèse 0,5 kg et se compose de 64 Go de mémoire Flash et 2 Go de RAM. La batterie dure environ deux à trois heures, avec jusqu’à deux semaines en veille, explique le géant de la tech.
Cet appareil fait suite à Seeing AI de Microsoft, une application mobile conçue pour aider les utilisateurs malvoyants à naviguer dans le monde qui les entoure.
