Reconnaissance de la langue des signes algérienne basée sur le deep learning et MediaPipe

Abstract

Dans ce mémoire, nous avons conçu deux systèmes basés sur l'intelligence artificielle pour identifier la langue des signes statique et dynamique algérienne. Nous avons d'abord conçu un système d'intelligence artificielle pour traiter et reconnaître les signes statiques tels que les "lettres arabes" après avoir entraîné le réseau neuronal profond de type CNN (réseaux neuronaux convolutifs) avec une base de données de54 049 images et après avoir introduit une nouvelle image contenant un signe, le système le reconnaît, et la précision de la reconnaissance atteint environ 98%. Dans la deuxième partie de notre projet, nous avons mis en œuvre un système intelligent qui reconnaît les signes dynamiques de base de données contient 2040 vidéos. Après avoir divisé la vidéo en images et appliqué l'outil MEDIAPIPE, qui détermine l'emplacement du visage, les coordonnées des articulations de la main, et la pose holistique, nous nous contentons d'un nombre spécifique fixe d'images de la même vidéo comme première partie et nous passons ces caractéristiques extraites à plusieurs exemples du même signe et nous les introduisons dans le réseau neuronal du type LSTMs (réseaux neuronaux récurrents) et ResNet (réseaux résiduels), qui ont été formés en utilisant l'algorithme de rétropropagation. Après un nombre suffisant d'époques d'entraînement, nous avons obtenu des résultats satisfaisants dans la reconnaissance de différents types de signes dynamiques.