This semester in my data visualization course at Tecnológico de Costa Rica, I developed with Engineer Josue Porras a project to analyze the database of the LESCO sign language translator. This translator, generated by our university’s IncluTEC program, has an avatar that automatically translates text from Spanish into LESCO. For this purpose, it has a database of signs that are used to move the avatar.
Este semestre en mi curso de visualización de datos en el Tecnológico de Costa Rica, desarrollé junto con el Ingeniero Josue Porras un proyecto para analizar la base de datos del traductor de señas del la lengua LESCO. Este traductor, desarrollado por el programa IncluTEC de nuestra universidad, tiene un avatar que traduce en forma automática texto del español al LESCO. Para este fin cuenta con una base de datos de señas que se usan para mover el avatar.
Each sign in the database has positions defined by its: 1. orientation (forearm rotation, wrist extension, and posture) 2. location (literal sign, height, contact with the body) and 3. shape (position, separation, and the connection between fingers)
All these features are modular and can be combined to form new signs. For this reason, some location characteristics are shared in several signs and other orientation characteristics with some others. Besides, it should be noted that signs sometimes use both arms and sometimes only one. In total there are more than 3500 signs in the database.
The project aimed to examine the database and to be able to say how similar some signs are to each other, or which modules of the database are shared by different signs. This is useful to be able to reuse the modules and thus generate new signs or modify existing ones using the same existing components.
For this, it was decided to visualize the signs in a three-dimensional space using the orientation, the location and the form as the x,y,z coordinates of each sign in that space. A metric was defined to compare each sign with a «neutral» position and thus calculate the distance or magnitude at the three coordinates.
The conclusions are exciting, for example, in the image below it is clearly seen how a majority of signs share a similar depth, being placed on a horizontal top plane containing shape and orientation variables. This means that most signs have a standard height, near the height of the interpreter’s face.
Cada seña en la base de datos tiene posiciones definidas por su 1. orientación (rotación de antebrazo, extensión y postura de la muñeca) 2. locación (literalidad de la seña, altura, contacto con el cuerpo) y 3. forma (posición, separación y contacto entre dedos)
Todas estas características son modulares se pueden combinar para formar nuevas señas. Por esta razón unas características de locación se comparten en varias señas y otras características de orientación con algunas otras. Además, se debe tomar en cuenta que las señas a veces usan los dos brazos y a veces solo uno. En total se tienen más de 3500 señas en la base de datos.
El objetivo del proyecto era examinar la base de datos y poder decir que tan parecidas son unas señas de otras, o lo que es lo mismo qué módulos, de la base de datos son compartidos por diferentes señas. Esto es útil para poder reutilizar los módulos y así generar nuevas señas o modificar las actuales usando los mismos componentes ya existentes.
Para esto se decidió visualizar las señas en un espacio tridimensional usando la orientación, la locación y la forma como las coordenadas x,y,z de cada seña en ese espacio. Se definió una métrica para comparar cada seña con una postura “neutral” y de este modo calcular la distancia o magnitud en las tres coordenadas.
Las conclusiones son muy interesantes, por ejemplo, en la imagen abajo se ve claramente como una mayoría de señas comparten una profundidad similar, colocándose en un plano superior horizontal que contiene variables forma y orientación. Esto significa que la mayoría de las señas tienen una altura común cuando se hacen que es cerca de la altura del rostro del interprete.
Another interesting conclusion is the formation of vertical columns, as shown in figure 2. This means that the position of the fingers in these signs are the same, so the x and y coordinates are the same, but the sign is made at different heights such as the height of the forehead, chest or torso. This conclusion is especially useful for the working group as it helps to see the possibility of reusing material in the automatic translator.
As you can see, the visualization served to get a better idea of the relationship between the signs of this language and its phonological ties, as seen in the following video.
Otra conclusión interesante es la formación de columnas verticales, como se ve en la figura 2. Esto significa que la posición de los dedos de las manos en las señas de la columna son la misma, por eso tanto la coordenada x, como la y, son iguales; pero la seña se hace a distintas alturas como a la altura de la frente, el pecho o el torso. Esta conclusión es especialmente últimamente para el grupo de trabajo pues ayuda a ver la posibilidad de reutilizar material en el traductor automático.
Como se ve, la visualización sirvió para tener una mejor idea de la relación entre las señas de este lenguaje y su relación fonológica, como se ve en el siguiente video.