El sistema funciona como un intérprete bidireccional que transforma los gestos en palabras y viceversa
Un grupo de alumnas de Ingeniería de Telecomunicación han ideado una aplicación que convierte cualquier dispositivo móvil en un intérprete en ambos sentidos al transformar los gestos en mensajes de voz y viceversa, y se llama HearMySign.
Este sistema se basa en el procesado de imagen y está diseñado para Android.
Las cinco estudiantes han desarrollado este sistema dentro de una asignatura en la que los alumnos, tutorizados por profesores de diferentes áreas, desarrollan ideas de ingeniería reales.
Actualmente existen muy pocas apps en lengua de signos española -cada país tiene la suya- y las disponibles traducen los gestos a textos en castellano o viceversa, pero solo cubren un sentido de la comunicación.
El vocabulario de HearMySign está, por ahora, restingido al ámbito sanitario por motivos de tiempo, pero no descartan seguir trabajando en esta en el para ampliarlo.
La aplicación funciona de una manera aparentemente sencilla: Procesa a través de la cámara a la persona que habla en lenguaje de signos, y convierte esta información en audio. Posteriormente la otra persona puede hablar al móvil y la aplicación se encargará de «signar» ese audio para que lo comprenda el otro interlocut@r.
Esta idea ya ha sido premiada con el reconocimiento a la Innovación Social en la fase local del concurso HackForGood de Telefónica.