{"id":1072,"date":"2016-12-29T18:26:21","date_gmt":"2016-12-29T18:26:21","guid":{"rendered":"http:\/\/multimedia.uoc.edu\/blogs\/rv\/?p=1072"},"modified":"2016-12-29T18:26:21","modified_gmt":"2016-12-29T18:26:21","slug":"mixed-memories","status":"publish","type":"post","link":"http:\/\/multimedia.uoc.edu\/blogs\/rv\/es\/2016\/12\/29\/mixed-memories\/","title":{"rendered":"MIXED MEMORIES"},"content":{"rendered":"

T\u00edtulo: MIXED MEMORIES<\/em><\/strong><\/p>\n

\n

<\/p>\n

Autor<\/strong>: Marc Segura Molina.<\/p>\n

\n<\/div>\n

Autor de la Pr\u00e1ctica: <\/strong><\/p>\n

Marc Segura Molina<\/p>\n

 <\/p>\n

Descripci\u00f3n:<\/strong>
\nEl proyecto a desarrollar se basa en tecnolog\u00edas de realidad virtual aplicadas a un proyecto de realidad mixta el cual permitir\u00e1 a los usuarios visualizar y manipular sus recuerdos proyectados en tiempo real sobre un espacio f\u00edsico. Estas manipulaciones se realizar\u00e1n sobre una interfaz desarrollada a partir de una combinaci\u00f3n de los dise\u00f1os de realidad virtual de la PEC 1 y un gui\u00f3n propuesto en la PEC 2.<\/p>\n

La aplicaci\u00f3n final se encomienda la dif\u00edcil tarea de emocionar al usuario a partir de visualizar recuerdos grabados en un espacio tridimensional y proyectados en un espacio f\u00edsico en tiempo real con el que el usuario podr\u00e1 adaptar diferentes comportamientos de interacci\u00f3n basados en sus propias decisiones:<\/p>\n

– Explorativa: Si el usuario decide reproducir un recuerdo y limitarse a su visualizaci\u00f3n a modo de walk-through (o fly-through), donde podr\u00e1 seleccionar qu\u00e9 recuerdo quiere ver y c\u00f3mo y cu\u00e1ndo lo quiere ver. En este modo, el usuario se limitar\u00e1 a modificar la orientaci\u00f3n y posici\u00f3n del punto de vista virtual, es decir, el sujeto virtual, sin alterar ninguna parte del recuerdo en s\u00ed ni su entorno.<\/p>\n

– Manipulativa: D\u00f3nde el usuario podr\u00e1 realizar transformaciones geom\u00e9tricas sobre los recuerdos, reconfigurando el entorno pero sin modificar el entorno virtual.<\/p>\n

– Contributiva: \u00a0El usuario podr\u00e1 realizar cambios sobre las propiedades de los recuerdos, el estado funcional y el entorno virtual; de manera que las reglas iniciales establecidas y las propiedades de los recuerdos podr\u00e1n ser modificadas por la acci\u00f3n del usuario, presentando diferentes cualidades a las establecidas inicialmente.<\/p>\n

 <\/p>\n

Intencionalidad, gui\u00f3n y motivaciones de la aplicaci\u00f3n:<\/strong>
\nMixed Memories es una aplicaci\u00f3n que permite a los usuarios grabar, reproducir, manipular y modificar grabaciones espaciales tridimensionales. Su objetivo principal est\u00e1 basado en registrar personas, objetos y espacios que tienen un significado importante emocionalmente hablando por el usuario. Sin embargo, las t\u00e9cnicas empleadas permiten otros usos de car\u00e1cter m\u00e1s general y, por tanto, la combinaci\u00f3n de los elementos propuestos para esta aplicaci\u00f3n presenta cierta versatilidad de uso.<\/p>\n

El proyecto est\u00e1 desarrollado como aplicaci\u00f3n de realidad mixta en la que las grabaciones se proyectar\u00e1n sobre un espacio f\u00edsico real para aumentar las sensaciones que pueden provocar en el usuario. Una premisa que puede servir como base conceptual ser\u00eda la siguiente: Imaginemos que un usuario ha registrado a un familiar querido en alg\u00fan momento del pasado. Este familiar, por las leyes que rige la vida, ha muerto y el usuario quiere recordar con la mayor exactitud posible alg\u00fan\/os buen\/os momento\/s vividos con esa persona.<\/p>\n

Sus opciones pasan por visualizar fotograf\u00edas, de donde en los an\u00e1lisis de la doctora Shaw -en la que se inspira en parte este proyecto- extraemos que generaremos unos recuerdos en los que habr\u00e1 una parte real pero tambi\u00e9n mucha inventada por nuestra propia mente. Adem\u00e1s, la visualizaci\u00f3n se basar\u00e1 en poder visualizar al familiar en un plano bidimensional en unas dimensiones habitualmente peque\u00f1as. Si pensamos en el v\u00eddeo tradicional, el resultado podr\u00e1 ser algo m\u00e1s satisfactorio y nos ayudar\u00e1 a recordar con m\u00e1s precisi\u00f3n a nuestro familiar en alg\u00fan momento concreto. Sin embargo, seguimos encontr\u00e1ndonos con un muro bidimensional que nos separa de este familiar y percibimos el v\u00eddeo como un acto con cierta lejan\u00eda y distancia. Por ese motivo, Mixed Memories quiere ir un paso m\u00e1s all\u00e1 y pretende proporcionar una experiencia emocional inmersiva ya que la grabaci\u00f3n de los v\u00eddeos se realizar\u00e1 en un espacio tridimensional en el que el usuario se podr\u00e1 sentir muy cercano a los recuerdos que visualice; de modo que aquella barrera f\u00edsica, antes comentada, queda bastante desmenuzada.<\/p>\n

Pero la aplicaci\u00f3n no s\u00f3lo quiere llegar a este punto. Tambi\u00e9n presenta una soluci\u00f3n, a modo de contraposici\u00f3n experimental, en la que, a partir de recuerdos grabados, el usuario podr\u00e1 modificarlos aplicando colores, transformaciones geom\u00e9tricas, cambios visuales, entre otros. Este apartado se presenta con dos objetivos conceptuales a remarcar: la posibilidad de competir contra nuestra mente a la hora de manipular nuestros recuerdos y la mejora (o empeoramiento, el usuario decide) de algunos recuerdos. Pero, sobre todo, de lo que se trata es de la experimentaci\u00f3n con las diferentes funciones e interacciones de la aplicaci\u00f3n.<\/p>\n

Uno de los factores que he tenido en cuenta para el desarrollo del proyecto es el hecho de que muchos cient\u00edficos afirman que la realidad virtual va m\u00e1s all\u00e1 que ninguna otra tecnologia similar a la hora de \u00abenga\u00f1ar\u00bb a nuestra mente y, mientras en otras plataformas como el cine nuestra actividad neuronal es baja, ya que en casi todo momento la mente es consciente de que estamos viendo una pel\u00edcula, las tecnolog\u00edas relacionadas con realidad virtual -especialmente los kits actuales con casco de realidad virtual- provocan una actividad neuronal de aproximadamente el 43% en las personas. Por lo tanto, es un factor muy importante para esta aplicaci\u00f3n ya que, en especial, trata de trabajar con la mente y los recuerdos de manera profunda.<\/p>\n

 <\/p>\n

Hardware:<\/strong><\/p>\n

\u00b7 Ordenador<\/strong> (Todos los dise\u00f1os de la PEC 1 emplean un ordenador)
\n\u00b7 Kinect v1<\/strong> (AquaTop Display; HT Wiimote -versi\u00f3n alternativa del head tracking-; skeletal tracking; finger tracking; hand tracking-)
\n\u00b7 Kit de realidad virtual con casco de realidad virtual<\/strong> (Loop; Dreams of Dal\u00ed)
\n\u00b7 Webcam<\/strong> (a falta de un casco de RV, servir\u00e1 de apoyo para el prototipo y para realizar una versi\u00f3n alternativa factible para usuarios que no dispongan del casco)
\n\u00b7 Mouse<\/strong> (Loop -en la m\u00e1quina de correr; permite transmitir el movimiento-)
\n\u00b7 Teclado<\/strong> (\u00fatil para el desarrollo de las primeras fases del prototipo)<\/p>\n

Software:<\/strong>
\nPara el desarrollo del proyecto he estudiado varias opciones: Unity, WebGL, Unreal Engine, Kinect SDK … Finalmente, he decidido emplear Processing<\/strong> ya que es el software recomendado en esta asignatura, est\u00e1 fuertemente orientado a proyectos open source, dispone de librer\u00edas interesantes para este proyecto como, por ejemplo, SimpleOpenNI, y lo he utilizado anteriormente con hardware como kinect para realizar algunos proyectos. Por tanto, esta experiencia previa y el conocimiento de la plataforma han servido para desarrollar satisfactoriamente el prototipo. Sin embargo, tambi\u00e9n han surgido retos y dificultades que, con mucha perseverancia, finalmente se han ido superando.<\/p>\n

 <\/p>\n

Funcionalidad, interfaz y posibilidades de interacci\u00f3n<\/strong>
\nLa funcionalidad de la aplicaci\u00f3n final deber\u00e1 permitir la traslaci\u00f3n del sujeto virtual por el espacio tridimensional integrado con el entorno real. Tambi\u00e9n deber\u00e1 permitir mover los elementos virtuales as\u00ed como aplicar algunas transformaciones geom\u00e9tricas como las traslaciones en los diferentes ejes espaciales, rotaciones … Adem\u00e1s, el usuario deber\u00e1 poder modificar los elementos virtuales de manera que pueda modificar las reglas iniciales establecidas en los recuerdos y el entorno virtual.<\/p>\n

La interfaz emplear\u00e1 diferentes t\u00e9cnicas seg\u00fan el valor de la m\u00e1quina de estados (men\u00fa principal, galer\u00eda de recuerdos, grabador de recuerdos o reproductor de recuerdos). As\u00ed, en el men\u00fa principal la interacci\u00f3n se basar\u00e1 en una reproducci\u00f3n virtual de la interfaz en la que est\u00e1 basada AquaTop Display. Esta interfaz utiliza el agua como barrera de visualizaci\u00f3n de Kinect y, cuando los dedos de los usuarios sobrepasan la superficie, kinect los detecta y activa sus posibles interacciones con la aplicaci\u00f3n. La adaptaci\u00f3n al prototipo simula esta superficie de manera virtual en tiempo real a partir de un umbral visual y de interacci\u00f3n aplicado a Kinect, el cual s\u00f3lo detectar\u00e1 los dedos del usuario si sobrepasa este umbral (ver v\u00eddeo del proyecto para m\u00e1s detalles). Esta interfaz nos permitir\u00e1 seleccionar las diferentes opciones del men\u00fa a partir de las acciones realizadas con los dedos del usuario. Para la versi\u00f3n alternativa (sin usar un casco de realidad virtual) la interfaz se basa en la detecci\u00f3n de manos (hand tracking) en detrimento de la detecci\u00f3n de dedos (finger tracking).<\/p>\n

Otra opci\u00f3n de interacci\u00f3n orientada a las transformaciones geom\u00e9tricas ser\u00e1 el uso del head tracking para poder visualizar desde diferentes \u00e1ngulos el recuerdo seleccionado. Este es complementar\u00e1 con la t\u00e9cnica del skeletal tracking v\u00eda Kinect para detectar las manos del usuario que servir\u00e1n para aplicar transformaciones a los recuerdos. Es decir, el usuario podr\u00e1 utilizar la cabeza para cambiar el \u00e1ngulo de visi\u00f3n de un recuerdo y las manos nos permitir\u00e1n rotarlo, transformarlo o escalarlo. Adicionalmente, existir\u00e1 la posibilidad de realizar estas acciones con el teclado, el mouse y, para la versi\u00f3n alternativa sin casco, se podr\u00e1 hacer uso de la ya comentada t\u00e9cnica del hand traking.<\/p>\n

Finalmente, se implementar\u00e1 un sistema de opciones basado en botones virtuales que se mostrar\u00e1n en pantalla cuando el usuario decida aplicar cambios sobre las propiedades de los recuerdos, de modo que, al posicionar las manos en uno de estos activar\u00e1n alg\u00fan evento o se desplegar\u00e1 un men\u00fa para seleccionar diferentes acciones. Durante la fase de prototipo esta implementaci\u00f3n descrita en los p\u00e1rrafos anteriores quedar\u00e1 simplificada en los botones, pero en la fase final funcional permitir\u00e1 a los usuarios realizar cambios importantes en diferentes bloques de c\u00f3digo del software (de forma similar a la aplicaci\u00f3n Loop, mostrada en la PEC 1).<\/p>\n

 <\/p>\n

Referentes:<\/strong><\/p>\n

– Enlaces de referentes de la PEC 1:
\n\u00b7 Loop<\/strong>:<\/p>\n

Loop<\/a><\/p><\/blockquote>\n