Portada autor: Gregorio Plaza.
CC: By – SA
AUTOR
Gregorio Plaza
DESCRIPCIÓN
El contexto de uso de la aplicación «Tu aula virtual de idiomas» de realidad virtual mixta consiste en combinar un mundo virtual con el mundo real (físico) a tiempo real creando un entorno virtual en los que interactúan tanto objetos y/o personas reales como virtuales. La aplicación es del tipo educativa y accesible y cuya finalidad se basa en el aprendizaje de idiomas en el que un usuario va a poder interactuar en un centro con otros usuarios, asistir a clases donde podrá visualizar a un profesor real y hablar con él o leer libros en una biblioteca.
El comentario que puede ayudar a explicar la propuesta educativa es que mucha gente no le gusta a hablar en otros idiomas en un entorno no virtual debido a que no posee suficiente confianza en un idioma que no sea el nativo. Esta escuela de realidad virtual mixta permite conseguir una plataforma ideal para mejorar la confianza en el aprendizaje de idiomas de forma divertida y sencilla. Además y debido a la tecnología utilizada con seguimiento ocular mediante un casco de visualización FOVE (http://www.getfove.com/) es ideal para personas que sufren discapacidades físicas y que no pueden utilizar el ratón o el teclado como interfaz de entrada.
REFERENTES
“Tu aula virtual de idiomas” está basado en los distintos casos analizados de la PEC1 y PEC2 de la asignatura Realidad Virtual y concretamente el de “VirtualRET” (Aplicación realidad virtual para el tratamiento de fobias. http://www.virtualret.com/), donde el usuario es un agente protagonista activo de la experiencia y el punto de vista es en primera persona para tratar problemas de ansiedad más frecuentes a través de un casco de visualización donde decidirá con qué objetos desea relacionarse y la manera que los utilizará.
Respecto a la PEC2 se han realizado mejoras en la interfaz física reemplazando unas lentillas de visualización por el casco de visualización FOVE (http://www.getfove.com/) mucho menos intrusivo para el usuario. También se ha reemplazado el lenguaje de modelado de realidad virtual (VRML) por Unity (https://es.wikipedia.org/wiki/Unity_(software)) debido a que los entornos actuales se están desarrollando en esta plataforma de desarrollo debido en gran parte por su facilidad de uso y por las posibilidades de acceso para desarrollar aplicaciones de mundos interactivos.
RESULTADO FINAL
El resultado final es una aplicación con un entorno virtual formado principalmente por dos salas (biblioteca y aulas con profesores reales) y el sujeto virtual será un punto de vista en primera persona. Respecto a la interfaz lógica estará formada por un círculo que se mostrará en dos estados un rojo apagado y otro intenso cuando enfoquemos una zona determinada para controlar cualquier acción en el mundo virtual como por ejemplo seleccionar a un sujeto virtual o real para poder hablar.
La aplicación es explorativa en cuanto a su relación con el movimiento en el entorno y manipulativa ya que puede mover, rotar y escalar los objetos, pero esto no modifica el entorno virtual en esencia.
Tecnologías utilizadas
La tecnología gráfica está claramente definida por tarjetas aceleradoras 3D y 2D. Pero para tener una experiencia más satisfactoria y disfrutar del máximo rendimiento de la aplicación será necesario el uso de tarjetas con altas prestaciones y de última generación como la Asus GeForce GTX Titan X 12GB (https://www.asus.com/Graphics-Cards/GTXTITANX12GD5/).
El posicionamiento espacial es de especial importancia para que el usuario pueda interactuar en un entorno virtual de forma correcta. En “Tu aula virtual de idiomas” se utilizarán sensores de orientación y de posición situados en un casco de visualización FOVE (http://www.getfove.com/) de forma que el usuario podrá explorar el entorno virtual con sólo girar la cabeza.
El sistema de visualización estará formado por un casco de visualización FOVE que además de registrar los movimientos de nuestra cabeza, el sistema será capaz de realizar un seguimiento de nuestros ojos, y poder realizar cualquier interacción en el entorno virtual como seleccionar un objeto o sujeto mediante el estado de enfoque.
La aplicación tiene un sistema de audio generado espacializado formado por unos auriculares con micrófono incorporado en el casco FOVE (http://www.getfove.com/) para poder hablar con otros usuarios. Este tipo de audio tiene en cuenta la posición del sujeto virtual dentro del entorno y el sistema genera sonidos de forma que el usuario percibe la dirección, intensidad y tiempo en que se generó ese sonido desde la fuente sonora virtual en relación al sujeto virtual.
“Tu aula virtual de idiomas” estará realizada principalmente por distintas funciones avanzadas:
– Función eye-tracking mediante casco de visualización FOVE (http://www.getfove.com/) para poder controlar cualquier acción en el mundo virtual con el movimiento de los ojos.
– Plataforma de software basada en UNITY
– Librería de escenarios virtuales.
– Librería de objetos virtuales.
– Transcripción del texto hablado en inglés.
– Hablar con otros sujetos virtuales y sujetos reales (profesor).
Bucle principal de la aplicación:
– La aplicación deberá leer datos de entrada del estado del sujeto virtual para poder entablar una conversación en inglés con otro sujeto virtual o profesor real y transcribir la conversación.
– La aplicación deberá leer también datos de entrada al seleccionar el sujeto virtual diferentes objetos.
– Si un sujeto virtual está hablando con otros sujetos virtuales o reales o decide salir de una conversación cambiará su estado.
– Si un objeto es seleccionado la aplicación deberá ejecutar una acción (leer libro, abrir puerta o sentarse)