MIXED MEMORIES

Títol: MIXED MEMORIES

Autor de la Pràctica:

Marc Segura Molina.

 

Descripció:
El projecte a desenvolupar es basa en tecnologies de realitat virtual aplicades a un projecte de realitat mixta el qual permetrà als usuaris visualitzar i manipular els seus records projectats en temps real sobre un espai físic. Aquestes manipulacions es realitzaran sobre una interfície desenvolupada a partir d’una combinació dels dissenys de realitat virtual de la PAC 1 i un guió proposat en la PAC 2.

L’aplicació final s’encomana la difícil tasca d’emocionar a l’usuari a partir de visualitzar records enregistrats en un espai tridimensional i projectats en un espai físic en temps real amb el qual l’usuari podrà adaptar diferents comportaments d’interacció basats en les seves pròpies decisions:

– Explorativa: Si l’usuari decideix reproduir un record i limitar-se a la seva visualització a mode de walk-through (o fly-through), on podrà seleccionar quin record vol veure i com i quan ho vol veure. En aquest mode, l’usuari es limitarà a modificar l’orientació i posició del punt de vista virtual, és a dir, el subjecte virtual, sense alterar cap part del record en si ni el seu entorn.

– Manipulativa: En què l’usuari podrà realitzar transformacions geomètriques sobre els records, reconfigurant l’entorn però sense modificar l’entorn virtual.

– Contributiva: On l’usuari podrà realitzar canvis sobre les propietats dels records, l’estat funcional i l’entorn virtual; de manera que les regles inicials establertes i les propietats dels records podran ser modificades per l’acció de l’usuari, presentant diferents qualitats a les establertes inicialment.

 

Intencionalitat, guió i motivacions de l’aplicació:
Mixed Memories és una aplicació que permet als usuaris enregistrar, reproduir, manipular i modificar gravacions espacials tridimensionals. El seu objectiu principal està basat en enregistrar persones, objectes i espais que tenen un significat important emocionalment parlant per l’usuari. Tanmateix, les tècniques emprades permeten altres usos de caràcter més general i, per tant, la combinació dels elements proposats per aquesta aplicació presenten certa versatilitat d’ús.

El projecte està desenvolupat com aplicació de realitat mixta en què les gravacions es projectaran sobre un espai físic real per augmentar les sensacions que poden provocar en l’usuari. Una premissa que pot servir com a base conceptual seria la següent: Imaginem que un usuari ha enregistrat a un familiar estimat en algun moment del passat. Aquest familiar, per les lleis que regeix la vida, ha mort i l’usuari vol recordar amb la màxima exactitud possible algun/s bon/s moment/s viscuts amb aquesta persona.

Les seves opcions passen per visualitzar fotografies, on de les anàlisis de la doctora Shaw -en la que s’inspira en part aquest projecte- n’extraiem que generarem uns records en què hi haurà una part real però també molta inventada per la nostra pròpia ment. A més, la visualització es basarà en poder observar al familiar en un pla bidimensional en unes dimensions habitualment petites. Si pensem en el vídeo tradicional, el resultat podrà ser una mica més satisfactori i ens ajudarà a recordar amb més precisió al nostre familiar en algun moment concret. Tanmateix, continuem trobant-nos amb un mur bidimensional que ens separa d’aquest familiar i percebem el vídeo com un acte amb certa llunyania i distància. Mixed Memòries vol anar un pas més enllà i pretén proporcionar una experiència emocional immersiva, ja que l’enregistrament del vídeo serà en un espai tridimensional en el qual l’usuari es podrà sentir molt proper als records que visualitzi, de manera que aquella barrera física queda força esmicolada.

Però l’aplicació no només vol arribar a aquest punt. També presenta una solució oposada en la qual, a partir de records enregistrats, l’usuari podrà modificar-los aplicant colors, transformacions geomètriques, canvis visuals, entre altres. Aquest apartat es presenta amb dos objectius conceptuals a remarcar: la possibilitat de competir contra la nostra ment a l’hora de manipular els nostres records i la millora (o empitjorament, l’usuari decideix) d’alguns records. Però, sobretot, de què es tracta és de l’experimentació amb les diferents funcions i interaccions de l’aplicació.

Un dels factors que he tingut en compte per al desenvolupament és el fet que molts científics afirmen que la realitat virtual va més enllà que cap altra a l’hora d'”enganyar” a la nostra ment i, mentre en altres plataformes com el cinema la nostra activitat neuronal és baixa, ja que en quasi tot moment la ment és conscient que estem visualitzant una pel·lícula, les tecnologies relacionades amb realitat virtual -especialment els kits actuals amb casc de realitat virtual- provoquen una activitat neuronal d’aproximadament el 43% en les persones. Per tant, és un factor molt important per aquesta aplicació ja que, especialment, tracta de treballar amb la ment i els records de manera profunda.

 

Maquinari:
· Ordinador (Tots els dissenys de la PAC 1 empren un ordinador)
· Kinect v1 (AquaTop Display; HT Wiimote -versió alternativa del headtracking-; skeletal tracking; finger tracking; hand tracking-)
· Kit de realitat virtual amb Head Mounted Display (Loop; Dreams of Dalí)
· Càmera web (a falta d’un casc de RV, servirà de suport per al prototip i per a realitzar una versió alternativa factible per a usuaris que no disposin del casc)
· Mouse (Loop -a la màquina de còrrer; permet transmetre el moviment-)
· Teclat (útil per al desenvolupament de les primeres fases del prototip)

 

Programari
Per al desenvolupament del projecte he estudiat diverses opcions: Unity, WebGL, Unreal Engine, Kinect SDK… Finalment, he decidit emprar Processing ja que és el programari recomanat, està fortament orientat a projectes open source, disposa de llibreries interessants per aquest projecte com, per exemple, SimpleOpenNI, i l’he emprat anteriorment, amb maquinari com kinect, per realitzar alguns projectes. Per tant, aquesta experiència prèvia i el coneixement de la plataforma han servit per desenvolupar òptimament el prototip. Tot i això, han sorgit reptes i dificultats que, amb molta perseverança, s’han anat superant.

 

Funcionalitat, interfície i possibilitats d’interacció
La funcionalitat de l’aplicació final haurà de permetre la translació del subjecte virtual per l’espai tridimensional integrat amb l’entorn real. També hi haurà de permetre moure els elements virtuals així com aplicar algunes transformacions geomètriques com les translacions en els diferents eixos espacials, rotacions… A més, l’usuari haurà de poder modificar els elements virtuals de manera que pugui modificar les regles inicials establertes en els records i l’entorn virtual.

La interfície emprarà diferents tècniques segons el valor de la màquina d’estats (menú principal, galeria de records, gravador de records o reproductor de records). Així, en el menú principal la interacció es basarà en una reproducció virtual de la interfície en què està basada l’AquaTop Display. Aquesta interfície empra l’aigua com a barrera de visualització de Kinect i, quan els dits sobrepassen la superfície, kinect els detecta i activa les seves possibles interaccions amb l’aplicació. L’adaptació al prototip simula aquesta superfície de manera virtual en temps real a partir d’un llindar visual i d’interacció aplicat a Kinect, el qual només detectarà els dits de l’usuari si sobrepassa aquest llindar (veure vídeo del projecte per a més detalls). Aquesta interfície ens permetrà seleccionar les diferents opcions del menú a partir de les accions realitzades amb els dits de l’usuari. Per la versió alternativa (sense emprar un casc de realitat virtual) la interfície es basa en la detecció de mans (hand tracking) en detriment de la detecció de dits (finger tracking).

Una altra opció d’interacció orientada a les transformacions geomètriques serà l’ús del head tracking per poder visualitzar des de diferents angles el record seleccionat. Aquest es complementarà amb la tècnica del skeletal tracking via Kinect per detectar les mans de l’usuari que serviran per aplicar transformacions als records. És a dir, l’usuari podrà emprar el cap per canviar l’angle de visió d’un record i les mans ens permetran rotar-lo, transformar-lo o escalar-lo. Addicionalment, existirà la possibilitat de realitzar aquestes accions amb el teclat, el mouse i, per a la versió alternativa sense casc, es podrà fer ús de l’esmentada tècnica del hand traking.

Finalment, s’implementarà un sistema d’opcions basat en botons virtuals que es mostraran en pantalla quan l’usuari decideixi aplicar canvis sobre les propietats dels records, de manera que, al posicionar les mans en un d’aquests activaran algun esdeveniment o es desplegarà un menú per seleccionar diferents accions. Durant la fase de prototip aquesta implementació descrita en els paràgrafs anteriors quedarà simplificada als botons però, en la fase final funcional, permetrà als usuaris realitzar canvis importants en diferents blocs de codi del programari (de manera similar a l’aplicació Loop mostrada en la PAC 1).

 

Referents:

– Enllaços de referents de la PAC 1:

· Loop:
http://andsynchrony.net/projects/loop/

· AquaTop Display:
https://www.youtube.com/watch?v=Jd3-eiid-Uw

· Wiimote Headtracking:
https://www.youtube.com/watch?v=6lyudeTqggE

· Dreams of Dalí:
https://www.youtube.com/watch?v=I-Fb1lPL5WA

· Memory Hackers:
https://www.youtube.com/watch?v=NfPLTtlo2oY

– Enllaços de referents de la PAC 2:
· GITS Simulated Experience:
https://www.youtube.com/watch?v=WX6uhU0OX_c

· Actiongram (Hololens):
https://www.youtube.com/watch?v=_3Y7BXEbqcg

· Holoportation:
https://www.youtube.com/watch?v=7d59O6cfaM0

· Article sobre les reconstruccions narratives dels records de la Dra. Shaw en el blog Scientific American:
“How well can we remember someone’s life after they die”

 

La idea del projecte sorgeix a partir de cinc conceptes inclosos en la PAC 1:

· A l’aplicació de visualització d’imatges del headtracking amb el Wiimote l’usuari pot decidir quines parts vol visualitzar d’aquestes;

· A l’aplicació del projecte Dreams of Dalí, és mostra una obra d’art conceptualitzada en 3D en la que l’usuari pot visualitzar-la en un entorn en temps real des de diferents angles.

· A l’aplicació Loop l’experiència de l’usuari és contributiva en un entorn oníric.

· A l’Aquatop Display es projecten gràfics virtuals en un entorn real (l’aigua).

· A l’article de la tercera part de la PAC 1 faig referència a l’estudi de la doctora Julia Shaw sobre els problemes de com els humans recordem (memory hacking).

A més, durant la PAC 2 també es van proposar nous referents basats en projectes de realitat mixta com Holoportation per a les Hololens de Microsoft i noves informacions sobre les capacitats limitades dels éssers humans per recordar acuradament a les persones que ja no estan en les nostres vides, els quals també han servit com a base conceptual del disseny i guió del projecte.

 

Resultat:

· Teaser del projecte: 

 

· Tests, proves i desenvolupament del prototip: