Reconnaissance Automatique des Langues des Signes : Une Approche Hybridée CNN-LSTM Basée sur Mediapipe
Sign languages play a crucial role in the communication of deaf communities, but they are often marginalized, limiting access to essential services such as healthcare and education. This study proposes an automatic sign language recognition system based on a hybrid CNN-LSTM architecture, using Mediapipe for gesture keypoint extraction. Developed with Python, TensorFlow and Streamlit, the system provides real-time gesture translation. The results show an average accuracy of 92\%, with very good performance for distinct gestures such as `Hello'' and Thank you''. However, some confusions remain for visually similar gestures, such as Call'' and `Yes''. This work opens up interesting perspectives for applications in various fields such as healthcare, education and public services.
Code (0)
등록된 구현이 없습니다.
Tasks
Sign Language RecognitionSimilar Papers 제목 키워드 기반
Supporting Sign Languages Exploratory Linguistics with an Automatization of the Annotation Process (Vers un traitement automatique en soutien d'une linguistique exploratoire des Langues des Signes) [in French]
Une approche hybride pour la construction de lexiques bilingues d'expressions multi-mots \`a partir de corpus parall\`eles (A hybrid approach to build bilingual lexicons of multiword expressions from parallel corpora)
Les expressions multi-mots jouent un r{\^o}le important dans diff{\'e}rentes applications du Traitement Automatique de la Langue telles que la traduction automatique et la recherche d{'}information interlingue. Cet artic…
Stratégies d’adaptation pour la reconnaissance d’entités médicales en français (Adaptation strategies for biomedical named entity recognition in French)
Dans un contexte où peu de corpus annotés pour l’extraction d’entités médicales sont disponibles, nous étudions dans cet article une approche hybride combinant utilisation de connaissances spécialisées et adaptation de m…
named-entity-recognitionNamed Entity RecognitionNamed Entity Recognition (NER)Reconnaissance automatique de la parole : g\'en\'eration des prononciations non natives pour l'enrichissement du lexique (In this study we propose a method for lexicon adaptation in order to improve the automatic speech recognition (ASR) of non-native speakers)
Dans cet article nous proposons une m{\'e}thode d{'}adaptation du lexique, destin{\'e}e {\`a} am{\'e}liorer les syst{\`e}mes de la reconnaissance automatique de la parole (SRAP) des locuteurs non natifs. En effet, la rec…
Automatic Speech RecognitionAutomatic Speech Recognition (ASR)speech-recognitionSpeech RecognitionDescription de la juxtaposition en Langue des Signes Fran\ccaise \`a partir d'une grammaire r\'ecursive (The present communication tackles formal grammar developpement of French Sign Language (LSF))
La pr{\'e}sente communication s{'}inscrit dans le cadre du d{\'e}veloppement d{'}une grammaire formelle pour la langue des signes fran{\c{c}}aise (LSF). G{\'e}n{\'e}rer automatiquement des {\'e}nonc{\'e}s en LSF implique…