Accueil du site > Vie de la recherche > Actualités scientifiques




Recherchez sur ce site


Un robot humanoïde doté de capacités accrues à communiquer

Le robot Nina fait partie de la gamme de robots ICub, produits et conçus par l’Institut italien de technologie (IIT) de Gênes (ils ont construit une trentaine de ces robots). Un modèle ICub 2.0, possédant une peau sensitive, a été acquis en 2013 par le laboratoire GIPSA-lab dans le cadre du programme d’investissement d’avenir (Equipex Robotex). En collaboration avec l’IIT, les chercheurs ont doté leur modèle d’une tête anthropomorphique spécifique, avec des yeux et des paupières mobiles mais aussi avec une mâchoire et des lèvres articulées [1]. Ce robot humanoïde singulier, que les chercheurs ont baptisé Nina, a ainsi été doté de capacités de communication inédites pour lui permettre d’interagir le plus naturellement possible avec les humains.

Nina a permis aux chercheurs de proposer une nouvelle manière d’apprendre les comportements sociaux aux robots : l’apprentissage par téléopération immersive. Ce dispositif permet à un pilote humain de montrer au robot comment se comporter de manière socialement acceptable dans des situations où il interagit avec des humains par la parole, le regard ou des gestes de pointage. Pour mettre en place ce système, Nina a été couplé à un dispositif de réalité virtuelle permettant au pilote de « s’incarner » dans le robot à distance. Le pilote peut ainsi voir et entendre ce que voit et entend le robot pendant que ce dernier reproduit en temps réel les mouvements de la tête, des yeux et du visage de son mentor humain. Il s’agit ici pour le pilote d’une expérience « hors-corps », dans la mesure où le robot devient une extension de son propre corps et pour le robot d’un « apprentissage par démonstration cognitive », dans la mesure où le robot prête son corps à une cognition humaine qui lui montre « de l’intérieur » comment se comporter. Les chercheurs ont également doté Nina d’une mémoire comportementale qui lui permet d’accumuler les flux sensoriels et moteurs vécus passivement sous la conduite du pilote humain, de les analyser avec des techniques d’apprentissage automatique, pour lui permettre d’acquérir, in fine, des modèles de comportements autonomes.

Trois grandes étapes ont permis aux chercheurs de mettre au point ce nouveau système :

  1. Morphologie des yeux : ils ont montré que les robots humanoïdes devaient reproduire la morphologie spécifique de l’œil humain [2], c’est-à-dire une surface égale entre le blanc de l’œil et l’iris coloré et une synergie entre élévation des yeux et des paupières, pour que l’interaction entre l’humain et le robot se fasse le plus naturellement possible.
  2. Téléopération immersive du regard du robot : la plateforme de pilotage intègre un casque de réalité virtuelle équipé d’un système de suivi du regard binoculaire. Un système de contrôle de la direction du regard de Nina par le regard du pilote – appelé SGCS (stereo gaze-contingent steering) - a été récemment développé [3]. Ce système, unique au monde, permet un contrôle indépendant des mouvements de la tête et des yeux.
  3. Apprentissage de modèles de comportements interactifs : les chercheurs ont montré qu’il était possible d’apprendre des modèles de comportements interactifs à Nina, c’est-à-dire de lui apprendre des actions conjointes avec plusieurs agents humains engagés dans une même tâche [4].

Le robot Nina est ainsi dédié au développement d’expérimentations innovantes pour permettre des interactions naturelles entre Hommes et robots. Le but : permettre un usage plus généralisé des robots humanoïdes, avec différents publics. Les applications : robotique de téléprésence, apprentissage de comportements socio-communicatifs pour la conduite d’interviews et d’animation de jeux interactifs.

Extrait du dossier de presse Visite du Laboratoire Grenoble images parole signal automatique (GIPSA-lab)

Voir aussi :


[1] Parmiggiani, Alberto, Elisei, Frédéric, Maggiali, Marco, Randazzo, Marco, Bailly, Gérard, and Metta, Giorgio, “Design and validation of a talking face for the iCub,” International Journal of Humanoid Robotics, vol. 12, no. 3, p. 20 pages, 2015.

[2] F. Foerster, G. Bailly, and F. Elisei, “Impact of iris size and eyelids coupling on the estimation of the gaze direction of a robotic talking head by human viewers,” in Humanoids, Seoul, Korea, 2015

[3] Cambuzat, Rémi, Elisei, Frédéric, Bailly, Gérard, Simonin Olivier, and Spalanzani, Anne, “Immersive teleoperation of the gaze of social robots. Assessing gaze-contingent control of vergence yaw and pitch of robotic eyes”, submitted to Human-Robot Interaction (HRI 2018).

[4] Nguyen, Duc-Canh, Bailly, Gérard, and Elisei, Frédéric, “Learning off-line vs. on-line models of interactive multimodal behaviors with Recurrent Neural Networks,” Pattern Recognition Letters (PRL), pp. 29–36, 2017 et A. Mihoub, G. Bailly, C. Wolf, and F. Elisei, “Graphical models for social behavior modeling in face-to face interaction,” Pattern Recognition Letters, vol. 74, pp. 82–89, 2016.