Autor: Javier Alonso Gómez
Descripción
Para la realización de estos experimentos es muy importante el correcto entrenamiento por parte de los técnicos que los vayan a realizar. Ya que aunque estos son científicos especialistas en sus áreas no siempre tienen el conocimiento específico sobre el experimento en cuestión que deben realiza. De ahí la importancia del entrenamiento previo para evitar, en la medida de lo posible, los errores que puedan surgir durante el mismo y asegurar la calidad de los resultados obtenidos.
Además de un correcto entrenamiento y debido a la gran carga cognitiva que sufren en un entorno en microgravedad, ya sea en una cápsula u otros entornos en caída libre es muy importante la simulación de todos los procesos que se vayan a realizar durante el experimento. También es importante la posibilidad de tener un entorno de realidad mixta que le asista durante la realizacioón del experimento, de ahí la doble finalidad de este entorno de realidad mixta que debería servir tanto para la simulación de experimentos en caída libre, mediante la simulación de herramientas y procesos, así como de asistente durante la realización de los mismos.
Ya que este tipo de experimentos se realizan en cabinas similares de las cabinas de flujo laminar denominadas MSG (Microgravity Science Glovebox) nos permiten tener un espacio donde vamos a poder controlar la posición de todos los elementos, así como el mapeo de estos y sus movimientos dentro del entorno.
La realización de estos experimentos se va a desarrollar dentro de un sistema de realidad mixta manipulativo por lo que es importante disponer de un espacio controlado mediante sensores, donde se pueda experimentar aprovechando las ventajas de la realidad mixta en casa paso. Esto permite a los usuarios disponer de un asistente en cada paso del experimento, identificando los objetos necesarios en cada uno de ellos y avisando de los posibles problemas y malos hábitos. También permite el entrenamiento en la realización de estos experimento mediante el uso de la realidad mixta pudiendo simular contenedores (matraces, pipetas con diferentes materiales, ya sean líquidos o sólidos, siempre en entornos de seguridad.
Algunas de las tecnologías usadas son:
- Sensor Kinnect 2: Usamos los sensores de luz estructurada de las Kinect 2 para mapear y detectar los objetos que están presentes dentro del área de experimentación en la cabina de flujo laminar.
- Hololens: El objeto principal de este sistema es l a interacción a través de su HMD para ofrecer asistencia al usuario. También nos permite añadir una capa de interacción basada en gestos, comandos de voz, así como controlando los objetos que se encuentran dentro del campo de visión del dispositivo.
- LeapMotion: Usamos dos sensores leap motion para detectar las manos del usuario, así como para definir las interactuaciones de este con los objetos. La razón de los dos sensores es simple. El ángulo de visión es de 120º en vertical con un máximo de 60cm a cada lado del eje del dispositivo. Con el objetivo de evitar las zonas muertas que se producen en los límites del espacio de medición (por debajo de los 30ª) y para mejorar la calidad de medición. También el uso de dos dispositivos nos permite su integración en cabinas de flujo laminar más anchas.
Referentes
Para realizar esta práctica se ha partido de un caso de uso analizado en la PEC1 relativo al uso de la realidad virtual en el entrenamiento espacial.
La NASA lleva desde 1991 experimentando con la realidad virtual para la integración de esta dentro de sus esquemas de entrenamiento para astronautas. Después de pasar por varios sistemas que van, desde el visor Datavisor de N-Visión, pasando por desarrollos internos, hasta el uso de modelos actuales como HTC Vive y Hololens para este tipo de actividades (http://www.popsci.com/nasa-video-shows-hololens-being-used-on-space-station). Y actualmente debido a los recientes avances en tecnologías de VR está empezando a experimentar con la realidad mixta como una manera de enriquecer estos entrenamientos.
Dentro de este contexto se analizó en la PEC1 y después de visualizar las pruebas que se están haciendo en este sentido en la NASA se procedió a desarrollar el concepto de un prototipo que ayudase en las tareas de experimentación. Obviamente para esto primero se realizó un análisis del estado del arte para buscar posibles pruebas de concepto actuales que validasen la viabilidad de la propuesta. Ejemplo de esto son los casos de uso con HTC Vive y Manus VR (https://www.youtube.com/watch?v=fSrD5SWOfk8), O la plataforma de integración para las actividades extra-vehiculares o EVA con el simulador kinestésico KAMFR (Kinesthesis Appplication of Mechanical Force Reflection, https://www.youtube.com/watch?v=LHbhVJ_nP68).
Una vez analizadas estas pruebas de concepto se ideó un sistema que facilitaría la realización de los experimentos científicos, mediante un sistema de realidad aumentada para asistencia y simulación de los procesos. Este sistema serviría para su entrenamiento ya sea en condiciones de caída libre o en la tierra, siendo además aplicable en cualquier entorno de laboratorio.
Mejoras
- Alternativas a LeapMotion, Guantes VR: El uso de leapmotion puede plantear problemas debido a los problemas de oclusión producidos por objetos e incluso por la superposición de las manos. Una alternativa al uso de los sensores LeapMotion, aunque más cara, sería el uso de guantes de realidad virtual tipo ManusVR o los producidos por la empresa Española Neurodigital Technologies denominados Gloveone/Avatar VR. Estos guantes nos permitirían añadir más precisión en el análisis de la posición de las manos y de los objetos. También nos evitaría los problemas producidos por las lecturas erróneas, la interferencia con otras fuentes de luz y los errores de oclusión producidos por objetos u otras partes del cuerpo que se interponen entre el sensor y la mano. Además estos guantes nos permitirían añadir una interfaz háptica limitada para poder percibir texturas, el peso de los objetos, etc… .Recordemos que TODOS los elementos que entran dentro de la cabina de flujo laminar han de estar desinfectados para evitar problemas de contaminación cruzada dentro de la cabina de flujo laminar. Este era uno de los argumentos a favor del uso de los sensores Leapmotion, sin embargo el uso de estos guantes no plantea problemas, ya que su reducido tamaño permite su uso con guantes de nitrilo. Además, en el caso de los AvatarVR, su tejido es lavable y antibacteriano lo que amplia los márgenes de seguridad para la prevención de problemas de contaminación. Si acaso su único inconveniente podría ser su alto precio. respecto a las versiones más básicas. Aún así opciones más básicas como el Gloveone (también de Neurodigital Technologies) o el Manus·VR serían también viables.
Resultado final
El resultado final de esta práctica se puede ver en el siguiente prototipo en Vimeo
https://vimeo.com/197331557
El bucle principal de la aplicación, definido como un diagrama de estados, sería el siguiente:
Música:
- Positive, Akashic Records (Creative Commons)
Fotos:
- Para uso no comercial según la guía de uso de medios de la NASA (https://www.nasa.gov/multimedia/guidelines/index.html )
- 3D Object recognition and tracking with Kinnect, John Zubizarreta
- Las fotos de los dispositivos están extraídas de las páginas oficiales correspondientes de cada uno.
- Cabina de flujo laminar imagen: Michigan State University, Department of Pharmacology & Toxicology B407 – Station #1, EACI Laminar Flow Hood