Exemple d'annotation d'une vidéo

Comment comprendre une personne ne parlant pas, ou très peu?
Une personne incapable de montrer les signes habituels de dialogue avec autrui?
Comment savoir si, pour communiquer avec elle, il vaut mieux lui dire quelques mots, lui faire des signes de la tête, des gestes des mains ou un mime avec le corps tout entier?
Peu de chercheurs travaillant dans le domaine de l’informatique se sont penchés sur l’autisme, cette pathologie qui emprisonne certaines personnes dans une vie mentale, toute intérieure, au point de les couper, parfois, de la réalité extérieure.
Jean-Claude Martin, maître de conférence à l’IUT de Montreuil (Université Paris 8) et chercheur au Limsi (LPR-CNRS 32-51) à Orsay, a décidé d’aider à l’analyse de la communication avec les enfants autistes.

"Notre projet appartient au groupe AMI (Architecture et Modèle pour l’Interaction) monté au laboratoire, explique le chercheur. Nous annotons des vidéos d’enfants autistes, lesquelles ont été réalisées lors de séances avec une orthophoniste qui collabore au projet ".
Expressions du visage, gestes, mouvements de tête, regards, posture, rapprochement avec la praticienne ou émission de paroles et de sons, tout est méticuleusement répertorié manuellement à l’aide d’un outil informatique adapté. Mais surtout, l’équipe du Limsi a développé un logiciel de calcul afin d’établir des statistiques sur ces différents gestes, paroles, etc. "Afin par exemple d’identifier lesquels favorisent une meilleure communication avec l’enfant, c’est-à-dire lorsqu’il réagit, voire lorsqu’il imite ce qu’il a perçu", explique Ouriel Grynszpan, en thèse au Limsi et travaillant sur le projet.

Les orthophonistes visualisaient déjà leur séances filmées en vidéo, prenant des notes manuscrite, de-ci de-là, de ces gestes et postures, afin d’améliorer la communication avec leur patient.
"Nous leur proposons un outil permettant une analyse plus systématique, c’est une façon d’informatiser l’annotation", précise Jean-Claude Martin.

"D’ailleurs, les premiers résultats montrent que notre méthode et ses statistiques informatisées sont susceptibles de les aider à déceler les nuances du comportement imperceptibles par simple observation des vidéos". Un des problèmes reste cependant le temps que prend l’annotation de ce type de film.

Le projet vient de démarrer. Pour l’instant, il s’agit seulement d’évaluer la méthode. Et ensuite?

"Cela pourrait par exemple aider le travail de développeur de logiciels éducatifs spécialement destinés aux enfants autistes", imagine Jean-Claude Martin. Tout simplement en analysant, toujours à partir de vidéos, leurs réactions face à des prototypes. Sinon, comment savoir si telle façon de disposer les icônes, tel choix de formes géométriques à cliquer, tel signal sonore, etc. est efficace face à l’enfant autiste? Ou au contraire le bloque?

" Cette analyse de l’interaction entre l’homme et la machine est tout à fait dans les cordes de notre projet. D’ailleurs, c’est une discipline qui devient de plus en plus importante en psychologie, en ethnologie, et autres domaines des sciences humaines, notamment au sein de projets européens ", conclut le chercheur.