Según el Instituto Nacional de Estadística (INE), en su última ‘Encuesta de discapacidad, autonomía personal y situaciones de dependencia’, en España hay 1.230.000 personas con una discapacidad auditiva de distinto tipo y grado. Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), Ester Martínez, doctora en Informática e investigadora de la Universidad de Alicante, junto a Francisco Morillas, estudiante de doctorado, han desarrollado la herramienta Sign4all, con el objetivo de ofrecer asistencia a las personas sordas cuando no puedan ir acompañados de un intérprete. En esta entrevista de la sección ‘¿Se puede…?’ nos cuentan cómo surgió la iniciativa para hacer este desarrollo y cómo funciona.

Fundación MTP.- Contadnos un poco más sobre vosotros, quiénes sois y a qué os dedicáis en el día a día de vuestro trabajo.

Ester Martínez (E.M.).- Soy profesora e investigadora de la Universidad de Alicante, así como subdirectora del Instituto Universitario de Investigación en Informática de la misma universidad. Mi día a día consiste en investigar en el campo de la robótica asistencial orientada a promover la autonomía e independencia de las personas, garantizando su seguridad y dignidad; en formar a las nuevas generaciones, transmitiéndoles mis conocimientos y avances en materia de investigación; y en gestionar un instituto de investigación en ingeniería informática, promocionando la investigación que se realiza en la Universidad de Alicante en el ámbito de la ingeniería en informática y facilitando las sinergias con las empresas de la provincia.

Francisco Morillas (F.M.).- Soy estudiante de doctorado en la Universidad de Alicante. Precisamente este sistema, Sign4all, es la base de mi tesis doctoral. En mi día a día me dedico a investigar en el campo del aprendizaje automático en general y me centro en la mejora de Sign4all a nivel particular.

¿Cómo surge la posibilidad de trabajar juntos en la creación de Sign4all?

E.M.- Empezamos a trabajar juntos cuando Francisco tenía que realizar su Trabajo de Fin de Grado (TFG); al proponerle la temática de este proyecto, consideró que era interesante y motivadora, por lo que la eligió.

Fundación MTP.- ¿Qué os lleva a querer desarrollar una aplicación que ayude a reducir la barrera comunicativa entre personas sordas y oyentes?

E.M. y F. M.- El origen de esta aplicación está en un proyecto anterior, denominado PHAROS, un robot asistente para la promoción del envejecimiento activo y su evaluación. Durante el diseño de su interfaz para la interacción con los usuarios y usuarias, se consideraron distintas discapacidades y deficiencias. En este contexto, se observó que la discapacidad auditiva no suele tenerse en cuenta y que era necesario incluir un mecanismo de comunicación para que este colectivo pudiera recibir la misma asistencia. Entonces se vio que este mecanismo de comunicación estaba ausente en todas las interacciones sociales en las que no interviene un intérprete, por lo que decidimos extender el proyecto, no centrándolo únicamente en la robótica asistencial, sino en la reducción de la barrera comunicativa entre personas sordas y oyentes.

Fundación MTP.- Sabemos que, por el momento, Sign4all es capaz de reconocer e interpretar en tiempo real el alfabeto de la lengua de signos, ¿cuál es el siguiente paso?

E.M. y F. M.- En efecto, actualmente es capaz de reconocer e interpretar la parte relativa al alfabeto dactilológico. Como paso posterior, estamos trabajando en un nuevo vocabulario centrado en actividades cotidianas. Dentro de este contexto, nos hemos enfocado en el ámbito relativo a la cocina como son diferentes alimentos y utensilios.

Fundación MTP.- ¿Os planteáis extenderla a otras lenguas de signos utilizadas en España, como la catalana, vasca, gallega, etc. o incluso a otros idiomas?

E.M. y F. M.- La idea es tener una aplicación funcional en Lengua de Signos Española y, posteriormente, extenderla a otras lenguas de signos, para lo que necesitamos una gran cantidad de datos para poder reconocer con precisión los distintos signos y, desafortunadamente, no existen datos públicamente disponibles de las lenguas de signos utilizadas en España y en otros países, por lo que es necesario generarlos. Así que, de momento, solamente estamos considerando la Lengua de Signos Española.

Fundación MTP.- A partir del nacimiento de Sign4all, ¿surge algún tipo de colaboración con otras instituciones para seguir ampliando y perfeccionando el trabajo de esta herramienta?

E.M. y F. M.- Hemos entablado una colaboración con el grupo GRILES de la Universidad de Vigo, dirigido por Inmaculada Báez y Ana María Fernández. Ellas dirigen diversos proyectos centrados en el estudio de las variaciones lingüísticas que sufre la Lengua de Signos Española en las diferentes regiones de España. Gracias a ello están generando uno de los mayores corpus de España, el cual nos ayudará a aumentar los datos que necesitamos.

Reducir la brecha de comunicación

Fundación MTP.- ¿Qué se siente al ver que detrás de tanto esfuerzo, hay muchas personas que verán mejorada su calidad de vida gracias a vuestro trabajo?

E.M. y F. M.- Resulta verdaderamente satisfactorio ver que estamos generando algo que puede ayudar a una parte de la población, por desgracia, minorizada, y sobre la que existe una barrera comunicativa de la cual muchas personas oyentes no llegamos a percatarnos.

Fundación MTP.- ¿Creéis que es necesaria más investigación que permita seguir desarrollando herramientas, que faciliten la inserción social de colectivos en riesgo de exclusión?

E.M. y F. M.- Evidentemente, es primordial que se desarrollen herramientas y tecnologías que faciliten la inserción social de colectivos en riesgo de exclusión. Por desgracia, las ayudas y subvenciones a este tipo de investigaciones están bastante limitadas, lo que dificulta, en gran medida, el desarrollo de las mismas.

Fundación MTP.- ¿Qué le diríais a los organismos que, tal y como hacemos nosotros desde la Fundación MTP, trabajan con el objetivo de ayudar a reducir las barreras que sufren determinados colectivos de nuestra sociedad?

E.M. y F. M.- En primer lugar, nos gustaría agradeceros la labor que realizáis, pues dais visibilidad a proyectos como el nuestro y facilitáis el uso de las tecnologías desarrolladas en este campo. Asimismo, podéis ayudar a establecer relaciones entre los que desarrollamos las tecnologías y las personas que van a utilizarlas, lo que mejora considerablemente el producto final.