Los controladores para realidad mixta son dispositivos que permiten captar información y, a menudo, también proporcionan estímulos. Su objetivo es posibilitar la interacción entre el humano y el entorno virtual. Podemos encontrar genéricos, no vinculados a ninguna plataforma o entorno concreto, y otros que han sido diseñados específicamente para trabajar con dispositivos muy concretos, normalmente con un determinado HMD (head-mounted display).
En el mundo físico interaccionamos con los objetos con nuestras manos y nuestro cuerpo. Dado que muchos entornos virtuales intentan replicar condiciones físicas, los controladores básicamente intentan transmitir los movimientos del cuerpo al sistema, y en muchos casos también emitir estímulos directamente sobre la piel, o también sonidos, para reforzar otros sentidos.
Manus VR [1] y Glove One [2] son dos ejemplos de controladores genéricos de realidad mixta para captar y estimular las manos. Físicamente, están diseñados en forma de guante y están equipados con IMU para parametrizar el movimiento de las manos y con motores vibradores para estimular la piel y proporcionar retorno cuando «tocamos» objetos virtuales. Si son usados de forma combinada con un HMD, entonces se integran a su propio sistema de posicionamiento.
Avatar VR [3], PrioVR [4] o Teslasuit [5] son ejemplos de dispositivos que intentan parametrizar los movimientos del cuerpo, no solo de las manos. Avatar VR consiste en unos guantes equipados con una IMU y, a la vez, conectados a dispositivos emplazados en los brazos y el tronco que proporcionan información al sistema sobre el movimiento, el posicionamiento, el giro y la orientación de nuestro cuerpo. PrioVR se presenta como un conjunto formado por dos controladores convencionales de empuñadura para accionar con las manos, equipados con botones, conectados a múltiples dispositivos interconectados equipados con IMU emplazadas en los brazos, el tronco y también en las piernas, que proporcionan información al sistema sobre el movimiento, el posicionamiento, el giro y la orientación del cuerpo y de las cuatro extremidades. Teslasuit consiste en un vestido equipado con sensores y actuadores que permite no solo captar los movimientos del cuerpo, sino también estimularlo mediante vibradores y artefactos basados en el efecto Peltier que permiten calentar o enfriar la piel.
Otros dispositivos parten de enfoques muy diversos. Por ejemplo, Rotor VR [6] es un sillón motorizado que, usado junto con un HMD, permite girar el punto de vista 360° de forma segura y consistente, o bien avanzar por el entorno virtual mediante sus pedales físicos. Virtux Omni [7] es una plataforma deslizante diseñada para ser usada con un HMD y con un calzado especial con el objetivo de proporcionar la experiencia de andar físicamente por un entorno virtual. ARAIG (as real as it gets) [8] no es un controlador, sino un exoesqueleto equipado con vibradores, fuentes de sonido y electroestimulación muscular orientado a experimentar juegos en primera persona.
Algunos HMD, como Oculus Rift, HTC Vive, PlayStation VR o Samsung Gear VR, entre otros, han ido desarrollando sus propios controladores, que se presentan como dispositivos para sostener con cada mano, provistos de botones, palancas de control o pads para ejercer algún tipo de interacción con el entorno virtual, habitualmente equipados con algunos sensores internos o directamente con una IMU para captar el movimiento, el giro y la aceleración de las manos, e integrados en los sistemas de seguimiento propios de cada plataforma. Otros, como Razer HDK, se basan en el estándar OSVR [9], destinado a un uso multiplataforma. Y también los hay que, como Nolo [10], tienen un planteamiento universal y pueden funcionar con diferentes tipos de visualizador para teléfono móvil.
Los propios HMD actúan como controladores, por cuanto que suelen ir equipados con sensores para captar la orientación de la cabeza o hacer seguimiento de la mirada y, así, poder reubicar el punto de vista dentro del entorno virtual. Podemos encontrar diferentes sistemas para hacer seguimiento del desplazamiento y la orientación en el espacio de los controladores:
OptiTrack [11], Vicon [12] y PhaseSpace [13] utilizan sistemas ópticos basados en cámaras y marcas. Los objetos a seguir, típicamente cuerpos humanos o cualquier objeto físico, están equipados con marcas visuales. Cada marco que llega a la cámara es examinado y se comparan las posiciones sucesivas de las marcas para determinar la posición y la orientación de los objetos.
Oculus Constellation [14]: es una variante evolucionada de los sistemas de seguimiento basados en marcas y cámara. El HMD y los controladores están equipados con múltiples LED de infrarrojos que brillan con unas frecuencias preestablecidas y diferenciadas. Al usar infrarrojos, resultan invisibles para el ojo humano. Sus emisiones son captadas por cámaras situadas en el entorno físico. La frecuencia con la que brilla cada LED lo identifica, y en función de su posición respecto al resto de LED, el sistema determina la posición y la orientación del HMD y de los controladores en el espacio.
Vive Tracking [15]: este sistema se basa en unos emisores llamados Lightbox que se disponen físicamente en el entorno y que emiten flashes de luz infrarroja justo antes de barrer el entorno con láser. El HMD y los controladores están equipados con múltiples sensores para captar estas emisiones. La frecuencia constante de los flashes de infrarrojo permiten a los receptores valorar, en función de cuánto tarda el láser en llegar y qué sensores lo detectan, su posición y orientación en el espacio.
Nolo VR: es un sistema de seguimiento basado en láser y ultrasonidos, pero aporta como novedad que está planteado para poderse adaptar a varios HMD equipados con móvil Android.
Xsens [16]: los vestidos de Xsens usados para animar esqueletos de cuerpos virtuales (rigging) se basan en un conjunto de IMU dispuestas sobre el cuerpo que proporcionan información sobre los giros, la orientación y la traslación en el espacio. Este sistema no requiere dispositivos de emisión o de captación ubicados en el entorno físico.
También existen sistemas de visión específicos para realidad mixta. Por ejemplo, la cámara Stereolabs ZED [17], que proporciona visión estereoscópica, determina la profundidad de la escena, permite elaborar un modelo 3D y conocer la posición y la orientación sin necesidad de utilizar una IMU. Puede ser usada en realidad virtual para moverse libremente en interiores o exteriores y detectar obstáculos sin usar sistemas de seguimiento, y también puede emplearse en realidad aumentada, utilizando la imagen procedente de la cámara, ya que trabaja con luz visible, para ver el entorno físico con profundidad e incorporar los objetos virtuales de forma consistente. Este dispositivo forma parte de todo un conjunto de sensores destinados a obtener información del entorno físico de modo más genérico o especializado. En la actualidad, existen varios sistemas basados en tecnologías diferentes, especialmente infrarrojos, que proporcionan imágenes de profundidad de la escena. También los hay especializados en gestualidad o en reconocimiento facial, por ejemplo [18].
Deja una respuesta