Detección automática de señas dactilológicas por aprendizaje profundo

Autores/as

  • Ramón Daniel Cota Aguiar

Palabras clave:

Alfabeto Dactilológico, Detección en Tiempo Real, Lenguaje de Señas, Neuronal Convolucional

Resumen

El Alfabeto Dactilológico (AD) del Lenguaje de Señas
Mexicano (LSM) cuenta con 27 configuraciones de la mano
que corresponden a las letras del abecedario español. Las
vocales son configuraciones estáticas, por lo que es posible
clasificar imágenes que contengan las señas o
configuraciones de las vocales del AD. Hoy en día, existen
proyectos cuyo fin es la traducción en tiempo real del
lenguaje de señas que utilizan Redes Neuronales
Convolucionales (RNC), la cual es una red artificial que ha
demostrado un alto desempeño para tareas de clasificación.
Sin embargo, dicho desempeño se puede ver afectado por
factores externos de iluminación o artefactos. Por ello, en
este trabajo se utilizaron dos conjuntos de imágenes de las
vocales: color RGB y binarias. Se implementaron dos
modelos de RNC cuya arquitectura consistió en dos capas
convolucionales y dos capas de submuestreo por agrupación
máxima. Mediante la validación cruzada obteniendo
exactitud, precisión y sensibilidad, dentro de un rango de
89% a 99%. El desempeño en tiempo real, bajo condiciones
de luz directa, mostró valores de sensibilidad promedio de
53% y 61% para el modelo a color RGB y Binaria,
respectivamente. Mientras que en condiciones de luz
indirecta se obtuvo una sensibilidad promedio de 63% para
el modelo a color RGB. Se considera que el enfoque
propuesto puede ser utilizado en aplicaciones de control por
señas de mano en domótica y robótica.

Publicado

2021-05-13

Número

Sección

Conference on Computer Science and Computer Engineering