Título: MIXED MEMORIES
Autor: Marc Segura Molina.
Autor de la Práctica:
Marc Segura Molina
Descripción:
El proyecto a desarrollar se basa en tecnologías de realidad virtual aplicadas a un proyecto de realidad mixta el cual permitirá a los usuarios visualizar y manipular sus recuerdos proyectados en tiempo real sobre un espacio físico. Estas manipulaciones se realizarán sobre una interfaz desarrollada a partir de una combinación de los diseños de realidad virtual de la PEC 1 y un guión propuesto en la PEC 2.
La aplicación final se encomienda la difícil tarea de emocionar al usuario a partir de visualizar recuerdos grabados en un espacio tridimensional y proyectados en un espacio físico en tiempo real con el que el usuario podrá adaptar diferentes comportamientos de interacción basados en sus propias decisiones:
– Explorativa: Si el usuario decide reproducir un recuerdo y limitarse a su visualización a modo de walk-through (o fly-through), donde podrá seleccionar qué recuerdo quiere ver y cómo y cuándo lo quiere ver. En este modo, el usuario se limitará a modificar la orientación y posición del punto de vista virtual, es decir, el sujeto virtual, sin alterar ninguna parte del recuerdo en sí ni su entorno.
– Manipulativa: Dónde el usuario podrá realizar transformaciones geométricas sobre los recuerdos, reconfigurando el entorno pero sin modificar el entorno virtual.
– Contributiva: El usuario podrá realizar cambios sobre las propiedades de los recuerdos, el estado funcional y el entorno virtual; de manera que las reglas iniciales establecidas y las propiedades de los recuerdos podrán ser modificadas por la acción del usuario, presentando diferentes cualidades a las establecidas inicialmente.
Intencionalidad, guión y motivaciones de la aplicación:
Mixed Memories es una aplicación que permite a los usuarios grabar, reproducir, manipular y modificar grabaciones espaciales tridimensionales. Su objetivo principal está basado en registrar personas, objetos y espacios que tienen un significado importante emocionalmente hablando por el usuario. Sin embargo, las técnicas empleadas permiten otros usos de carácter más general y, por tanto, la combinación de los elementos propuestos para esta aplicación presenta cierta versatilidad de uso.
El proyecto está desarrollado como aplicación de realidad mixta en la que las grabaciones se proyectarán sobre un espacio físico real para aumentar las sensaciones que pueden provocar en el usuario. Una premisa que puede servir como base conceptual sería la siguiente: Imaginemos que un usuario ha registrado a un familiar querido en algún momento del pasado. Este familiar, por las leyes que rige la vida, ha muerto y el usuario quiere recordar con la mayor exactitud posible algún/os buen/os momento/s vividos con esa persona.
Sus opciones pasan por visualizar fotografías, de donde en los análisis de la doctora Shaw -en la que se inspira en parte este proyecto- extraemos que generaremos unos recuerdos en los que habrá una parte real pero también mucha inventada por nuestra propia mente. Además, la visualización se basará en poder visualizar al familiar en un plano bidimensional en unas dimensiones habitualmente pequeñas. Si pensamos en el vídeo tradicional, el resultado podrá ser algo más satisfactorio y nos ayudará a recordar con más precisión a nuestro familiar en algún momento concreto. Sin embargo, seguimos encontrándonos con un muro bidimensional que nos separa de este familiar y percibimos el vídeo como un acto con cierta lejanía y distancia. Por ese motivo, Mixed Memories quiere ir un paso más allá y pretende proporcionar una experiencia emocional inmersiva ya que la grabación de los vídeos se realizará en un espacio tridimensional en el que el usuario se podrá sentir muy cercano a los recuerdos que visualice; de modo que aquella barrera física, antes comentada, queda bastante desmenuzada.
Pero la aplicación no sólo quiere llegar a este punto. También presenta una solución, a modo de contraposición experimental, en la que, a partir de recuerdos grabados, el usuario podrá modificarlos aplicando colores, transformaciones geométricas, cambios visuales, entre otros. Este apartado se presenta con dos objetivos conceptuales a remarcar: la posibilidad de competir contra nuestra mente a la hora de manipular nuestros recuerdos y la mejora (o empeoramiento, el usuario decide) de algunos recuerdos. Pero, sobre todo, de lo que se trata es de la experimentación con las diferentes funciones e interacciones de la aplicación.
Uno de los factores que he tenido en cuenta para el desarrollo del proyecto es el hecho de que muchos científicos afirman que la realidad virtual va más allá que ninguna otra tecnologia similar a la hora de «engañar» a nuestra mente y, mientras en otras plataformas como el cine nuestra actividad neuronal es baja, ya que en casi todo momento la mente es consciente de que estamos viendo una película, las tecnologías relacionadas con realidad virtual -especialmente los kits actuales con casco de realidad virtual- provocan una actividad neuronal de aproximadamente el 43% en las personas. Por lo tanto, es un factor muy importante para esta aplicación ya que, en especial, trata de trabajar con la mente y los recuerdos de manera profunda.
Hardware:
· Ordenador (Todos los diseños de la PEC 1 emplean un ordenador)
· Kinect v1 (AquaTop Display; HT Wiimote -versión alternativa del head tracking-; skeletal tracking; finger tracking; hand tracking-)
· Kit de realidad virtual con casco de realidad virtual (Loop; Dreams of Dalí)
· Webcam (a falta de un casco de RV, servirá de apoyo para el prototipo y para realizar una versión alternativa factible para usuarios que no dispongan del casco)
· Mouse (Loop -en la máquina de correr; permite transmitir el movimiento-)
· Teclado (útil para el desarrollo de las primeras fases del prototipo)
Software:
Para el desarrollo del proyecto he estudiado varias opciones: Unity, WebGL, Unreal Engine, Kinect SDK … Finalmente, he decidido emplear Processing ya que es el software recomendado en esta asignatura, está fuertemente orientado a proyectos open source, dispone de librerías interesantes para este proyecto como, por ejemplo, SimpleOpenNI, y lo he utilizado anteriormente con hardware como kinect para realizar algunos proyectos. Por tanto, esta experiencia previa y el conocimiento de la plataforma han servido para desarrollar satisfactoriamente el prototipo. Sin embargo, también han surgido retos y dificultades que, con mucha perseverancia, finalmente se han ido superando.
Funcionalidad, interfaz y posibilidades de interacción
La funcionalidad de la aplicación final deberá permitir la traslación del sujeto virtual por el espacio tridimensional integrado con el entorno real. También deberá permitir mover los elementos virtuales así como aplicar algunas transformaciones geométricas como las traslaciones en los diferentes ejes espaciales, rotaciones … Además, el usuario deberá poder modificar los elementos virtuales de manera que pueda modificar las reglas iniciales establecidas en los recuerdos y el entorno virtual.
La interfaz empleará diferentes técnicas según el valor de la máquina de estados (menú principal, galería de recuerdos, grabador de recuerdos o reproductor de recuerdos). Así, en el menú principal la interacción se basará en una reproducción virtual de la interfaz en la que está basada AquaTop Display. Esta interfaz utiliza el agua como barrera de visualización de Kinect y, cuando los dedos de los usuarios sobrepasan la superficie, kinect los detecta y activa sus posibles interacciones con la aplicación. La adaptación al prototipo simula esta superficie de manera virtual en tiempo real a partir de un umbral visual y de interacción aplicado a Kinect, el cual sólo detectará los dedos del usuario si sobrepasa este umbral (ver vídeo del proyecto para más detalles). Esta interfaz nos permitirá seleccionar las diferentes opciones del menú a partir de las acciones realizadas con los dedos del usuario. Para la versión alternativa (sin usar un casco de realidad virtual) la interfaz se basa en la detección de manos (hand tracking) en detrimento de la detección de dedos (finger tracking).
Otra opción de interacción orientada a las transformaciones geométricas será el uso del head tracking para poder visualizar desde diferentes ángulos el recuerdo seleccionado. Este es complementará con la técnica del skeletal tracking vía Kinect para detectar las manos del usuario que servirán para aplicar transformaciones a los recuerdos. Es decir, el usuario podrá utilizar la cabeza para cambiar el ángulo de visión de un recuerdo y las manos nos permitirán rotarlo, transformarlo o escalarlo. Adicionalmente, existirá la posibilidad de realizar estas acciones con el teclado, el mouse y, para la versión alternativa sin casco, se podrá hacer uso de la ya comentada técnica del hand traking.
Finalmente, se implementará un sistema de opciones basado en botones virtuales que se mostrarán en pantalla cuando el usuario decida aplicar cambios sobre las propiedades de los recuerdos, de modo que, al posicionar las manos en uno de estos activarán algún evento o se desplegará un menú para seleccionar diferentes acciones. Durante la fase de prototipo esta implementación descrita en los párrafos anteriores quedará simplificada en los botones, pero en la fase final funcional permitirá a los usuarios realizar cambios importantes en diferentes bloques de código del software (de forma similar a la aplicación Loop, mostrada en la PEC 1).
Referentes:
– Enlaces de referentes de la PEC 1:
· Loop:
· AquaTop Display:
· Wiimote Headtracking:
· Dreams of Dalí:
· Memory Hackers:
– Enlaces de referentes de la PEC 2:
· GITS Simulated Experience:
· Actiongram (Hololens):
· Holoportation:
· Artículo sobre las reconstrucciones narrativas de los recuerdos escrito por la Dra. Shaw para el blog de Scientific American:
«How well can we remember someone’s life after they die»
La idea del proyecto surge a partir de cinco conceptos incluidos en la PEC 1:
· En la aplicación de visualización de imágenes del headt racking con el Wiimote el usuario puede decidir qué partes quiere visualizar de estas;
· En la aplicación del proyecto Dreams of Dalí, es muestra una obra de arte conceptualizada en 3D en la que el usuario puede visualizar en un entorno en tiempo real desde diferentes ángulos.
· En la aplicación Loop la experiencia del usuario es contributiva en un entorno onírico.
· En el AquaTop Display se proyectan gráficos virtuales en un entorno real (el agua).
· En el artículo de la tercera parte de la PEC 1 hago referencia al estudio de la doctora Julia Shaw sobre los problemas de cómo los humanos recordamos (memory hacking).
Además, durante la PEC 2 también se propusieron nuevos referentes basados en proyectos de realidad mixta como Holoportation para las Hololens de Microsoft y nuevas informaciones sobre las capacidades limitadas de los seres humanos para recordar cuidadosamente a las personas que ya no están en nuestras vidas, los cuales también han servido como base conceptual del diseño y guión del proyecto.
Resultado:
· Teaser del proyecto:
· Tests, pruebas y desarrollo del prototipo: