L'apprentissage de la langue des signes à l'ère de l'IA générative et des avatars en 3D

Face aux obstacles croissants d'accessibilité rencontrés par les personnes sourdes, les chercheurs se tournent vers les nouvelles technologies pour faciliter l'apprentissage de la langue des signes. Dans le domaine numérique, les efforts se concentrent actuellement sur le développement d'intelligences artificielles (IA) capables de traduire automatiquement entre la langue vocale écrite ou parlée et la langue des signes, en utilisant des avatars signant en 3D.

Les applications envisagées incluent la traduction automatique pour produire du contenu en langue des signes à partir de textes (SMS, contenu web...) ou de discours, le sous-titrage de vidéos en langue des signes, ainsi que la création d'applications pédagogiques et de livres vidéo destinés aux enfants sourds. L'objectif principal de ces avancées est de faciliter la communication des personnes sourdes et leur accès à l'information, favorisant ainsi leur inclusion dans la société.

Défis spécifiques des langues des signes

Les langues des signes sont des langues complètes, essentielles à l'identité et à la culture des personnes sourdes. Chaque communauté de personnes sourdes a sa propre langue des signes, avec ses variantes nationales, régionales et culturelles. En France, par exemple, la langue des signes française (LSF) est pratiquée par les personnes sourdes. Cependant, les ressources telles que les dictionnaires et les données numériques annotées sont souvent limitées pour ces langues.

Les bases de données existantes pour les langues des signes se composent principalement de vidéos, parfois accompagnées de traductions en langue écrite. La diversité et la complexité des langues des signes posent des défis linguistiques et technologiques importants pour le développement d'outils numériques adaptés.

Caractéristiques linguistiques particulières

Les langues des signes se caractérisent par des grammaires distinctes qui diffèrent des langues vocales ou écrites. Utilisant des modalités visuelles et gestuelles, elles impliquent la synchronisation des mouvements et des configurations des mains, ainsi que des expressions faciales et des mouvements du corps.

L'organisation spatiale et iconique est également importante, chaque signe étant positionné dans l'espace pour référencer les entités du discours. Ces caractéristiques iconiques et spatiales nécessitent des mécanismes grammaticaux complexes pour la synthèse des mouvements dans les avatars signant.

Création d'avatars signant animés

Les avatars signant en 3D offrent une solution numérique pour la production de langue des signes, permettant l'édition et la manipulation des animations. Pour créer ces avatars, les mouvements d'une personne sourde sont enregistrés à l'aide de techniques de capture de mouvement, puis adaptés à un modèle de personnage 3D.

La traduction automatique entre la langue vocale et la langue des signes peut être réalisée à l'aide d'algorithmes d'IA générative. Ces algorithmes apprennent à partir de vastes bases de données pour identifier les caractéristiques linguistiques et cinématiques, permettant ainsi la production d'animations de langue des signes.

Utilisation potentielle pour l'inclusion des personnes sourdes

Bien que les performances de ces systèmes puissent encore être améliorées, ils offrent déjà un moyen efficace d'augmenter les ressources disponibles pour les personnes sourdes. À court terme, ces outils pourraient être intégrés dans des applications pédagogiques pour faciliter l'apprentissage coordonné des langues vocale et des signes.

En conclusion, les progrès dans le domaine de l'IA générative ouvrent de nouvelles perspectives pour l'accessibilité et l'inclusion des personnes sourdes, offrant des outils numériques innovants pour l'apprentissage et la communication en langue des signes.

‍

SOURCE : https://theconversation.com/apprendre-la-langue-des-signes-grace-a-lia-generative-et-aux-avatars-en-3d-225229?utm_medium=email&utm_campaign=La%20lettre%20de%20The%20Conversation%20France%20du%2021%20mars%202024%20-%202915229601&utm_content=La%20lettre%20de%20The%20Conversation%20France%20du%2021%20mars%202024%20-%202915229601+CID_8897cc31a05b41fbc32d9f87f842a6e3&utm_source=campaign_monitor_fr&utm_term=Apprendre%20la%20langue%20des%20signes%20grce%20%20lIA%20gnrative%20et%20aux%20avatars%20en%203D