Título: Dispositivo Realidad Mixta para Arquitectura y Diseño de interiores
Autor: Jorge Juan Ocaña Tallón
Descripción
Proceso de trabajo
Con este proyecto quería continuar adentrando en el sistema que había diseñado para la asignatura de Medios interactivos. En esta asignatura, había imaginado un prototipo de RV muy futurista pero que pecaba de tener un rango de aplicaciones demasiado amplio, además de, evidentemente, llevar una tecnología imposible de implementar actualmente, pero que me dejó con ganas de seguir ahondando en su aplicación final. Puede visualizar el documento con el consiguiente diseño presentado desde este enlace.
Elementos y tecnologías usadas
El sistema de realidad virtual mixta que he diseñado permite al usuario interactuar con su entorno virtual pudiendo dibujar, medir, enumerar, colorear, dar textura, recortar, crear diferentes formas, etc. de dos maneras bien diferenciadas: una sobre el entorno puramente virtual y la otra sobre elementos virtualizados. Los elementos virtualizados son objetos físicos que el usuario ha seleccionado mediante las herramientas correspondientes, que pasan a formar parte del entorno virtual para poder interactuar con ellos de una manera mas sencilla y cómoda.
El sistema consta de un casco HMD que cuenta con un cristal transparente donde podremos ver elementos virtuales, objetos físicos virtualizados y objetos físicos. En este casco se encuentra la unidad de procesamiento gráfica y computacional y las diferentes memorias sólidas encargadas de almacenar los datos de trabajo. Este casco cuenta con sensores como acelerómetros, giroscopios, de profundidad, infrarrojos que son los encargados de situar al usuario en el entorno virtual, responder a los movimientos que este haga y controlar los movimientos que se realicen con las extremidades superiores.
Para las manos, el sistema dispone de dos gadgets diferentes que serán los encargados de la interacción con el entorno virtual. El gadget de la mano izquierda se corresponde con una plataforma cuadrada en la que el sistema proyectará el menú secundario de la aplicación. El gadget de la mano derecha tiene diferentes versiones: una es similar a una pequeña pistola, que funciona mediante la acción de un gatillo; y la otra versión es similar a un rotulador, que se activa apretando con el dedo índice sobre un pequeño pulsador.
Conceptos clave utilizados
Entorno virtual
El entorno físico y el entorno virtual están superpuestos e incluso pueden estar mimetizados. El usuario puede interaccionar sobre los elementos físicos o sobre el espacio vacío del que se dispone. La simulación en este punto se podría decir que es una combinación de interacción contributiva o manipulativa, dependiendo de si se está interactuando con elementos únicamente virtuales o físico/virtuales (mixtos).
Subjetividad virtual
El sujeto virtual puede interaccionar con los elementos virtuales, dándole forma o cambiando su posición, pero el estado de este es no-solido. El sujeto virtual en este diseño está formado por un icono que varía en función de la herramienta que el usuario tenga activa y que se mueve en consonancia con las manos del usuario y los sensores que porta en ellas.
Interfaz lógica y física
La interfaz lógica la compone un icono que tiene correspondencia con la posición de los sensores y la herramienta que se tenga activa y una serie de menús que flotan en el espacio abstracto y que el usuario puede mostrar u ocultar siempre que quiera. La interfaz física está compuesta por el casco HMD y los gadgets que el usuario tiene en las manos.
Mapeo
El mapeado no se representa de manera metafórica como podría ser un cursor-ratón. Tampoco existe un feedback que el usuario puede recibir esde el entorno virtual mediante los gadgets que tiene en las manos, estos no se rigen bajo las leyes del entorno virtual.
Comportamientos
Todo el desarrollo de la aplicación tiene un comportamiento pasivo y el comportamiento de los elementos es estático.
Referentes
El diseño final de la app tiene influencias directas de tres diseños:
- El ARS (Augmented Reality Sandbox) se trata de un arenero en el que poder recrear en tiempo real modelos topográficos. El usuario interactúa sobre la arena, modificando el terreno con sus propias manos u otras herramientas, creando distintos volúmenes.
- El segundo diseño se compone del software Tilt Brush y el sistema HTC Vive. Tilt brush es una interfaz lógica (software), que permite al usuario dibujar en 3D dentro de todo el entorno virtual mientras que el sistema de HTC Vive nos introduce en él.
- Por último, el tercer diseño, es un simulador háptico de sutura. El simulador incorpora modelado en tiempo real de piel deformable, tejidos y sutura y la grabación en tiempo real del estado de la actividad mediante un modelos de estado finitos.
Resultado final
Dentro del sistema existen tres funciones básicas dentro de la aplicación: una es la virtualización de elementos físicos, otra es la interacción directa y exclusiva dentro del entorno virtual y la última es la interacción sobre elementos virtualizados.
Con estas tres opciones, lo que se pretende es dotar a diseñadores de interior, arquitectos o constructores, de las herramientas necesarias para desempeñar su trabajo en tiempo real sobre el terreno de una manera fácil e intuitiva. Nos permitiría modificar el color de prácticamente cualquier parte de nuestra vivienda, cambiar elementos que haya en esta o añadir nuevos gráficos al entorno virtual dibujados con nuestras propias manos.
Por último, el sistema también permite ser usado como aplicación meramente gráfica con la que elaborar obras de arte en 3D, que posteriormente puedan ser exploradas por otros usuarios, ya que permite combinar elementos físicos y virtuales en el mismo diseño.
Se puede ver un ejemplo de como virtualizar y modificar un elemento en el siguiente vídeo.