CNRS La lettre innovation

Partenariats, création d'entreprises, brevets, licences, événement... Retrouvez tous les mois les dernières actualités de la valorisation et de l'innovation au CNRS.

Stratégie

Un serveur gestuel pour favoriser l'autonomie et l'inclusion des sourds

L'objectif du projet Serveur gestuel (SG), lauréat de l'appel à projets structurants pour la compétitivité1 de Bpifrance, est de mettre à disposition des sourds pratiquant la langue des signes l'équivalent d'un serveur vocal pour les entendants. Il s'appuie sur les recherches menées dans les laboratoires Gipsa-lab2 et Limsi3, en partenariat avec les entreprises IVèS et 4DViews.

illustration

Les langues des signes, qui reposent sur les mouvements des mains, des bras, du buste, du visage et des yeux, permettent à des locuteurs sourds de communiquer. Mais les systèmes de communication automatisés, tels les serveurs vocaux, ne savent pas encore traiter ce type de langue. C'est précisément avec l'ambition de créer, à destination des sourds, l'équivalent d'un serveur vocal, qu'est né le projet Serveur gestuel (SG).

Coordonné et porté par la société IVèS, fournisseur de technologies dans le domaine des services et relais de traduction entre langue des signes française4 (ou LSF) et langue française, en collaboration avec 4DViews, spécialiste de la capture de mouvements 3D, le projet SG s'appuie sur les recherches menées au Gipsa-lab et au Limsi. Il bénéficie pour quatre ans d'un financement attribué dans le cadre de l'action Projets Structurants pour la Compétitivité (PSPC).

Grâce au serveur gestuel, un « signeur » sourd pourra poser sa question en utilisant la LSF, qui sera interprétée automatiquement sous forme de texte de la langue française. En retour, la réponse à sa question sera exprimée en LSF, par l'animation d'un avatar numérique visible sur son écran.

Pour interpréter automatiquement la LSF en français écrit, l'équipe du Gipsa-Lab apporte son expertise en reconnaissance des gestes manuels et de mouvements des lèvres, basée sur des techniques d'apprentissage profond (deep learning), et développée initialement pour la reconnaissance automatique de la Langue française parlée complétée5. De son côté, le Limsi, qui mène depuis des années des recherches sur la modélisation de la langue des signes, travaillera sur l'animation de l'avatar numérique et collaborera avec le Gipsa-lab sur la reconnaissance de la langue des signes. 4DViews est chargée de la captation 3D des gestes et les travaux menés dans le cadre du projet lui permettront aussi d'améliorer la qualité d'image de ses captations 3D. La société IVèS, qui maîtrise les techniques de télécommunications, réalisera l'intégration du système. À terme, IVèS prévoit de commercialiser le serveur gestuel au sein de sa plateforme de communication (parole, texte et vidéo), dans le but d'automatiser le service proposé aux personnes sourdes.

 

1 L’action « Projets structurants pour la Compétitivité » (PSPC) du Programme d’investissements d’avenir (PIA) est ouverte aux entreprises de toutes tailles et de tous secteurs économiques, ainsi qu’aux établissements de recherche. Les projets de recherche et développement structurants pour la compétitivité (PSPC) doivent conduire à une mise sur le marché, visent des retombées économiques et technologiques directes sous forme de nouveaux produits, services et technologies, et des retombées indirectes en termes de structuration durable de filières.

2 Laboratoire Grenoble images parole signal automatique (Gipsa-lab - CNRS/Université Grenoble Alpes)

3 Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Limsi – CNRS)

4 La langue des signes française (ou LSF) est une langue à part entière qui diffère du français oral. Elle possède son propre système linguistique (grammaire, lexique).

5 La Langue parlée complétée est une méthode de communication destinée aux malentendants basée sur un jeu de clés manuelles présentées près du visage pour compléter la lecture labiale.

Contacts :

Denis Beautemps / Chargé de recherche hors classe CNRS au Gipsa-lab / denis.beautemps@gipsa-lab.grenoble-inp.fr

Annelies Braffort / Directrice de recherche CNRS au Limsi / annelies.braffort@limsi.fr

Nicolas Maurey / Responsable du développement chez IVèS / nicolas.maurey@ives.fr

Richard Broadbridge / Président de 4DViews / richard.broadbridge@4dviews.com