{"id":1072,"date":"2016-12-29T18:26:21","date_gmt":"2016-12-29T18:26:21","guid":{"rendered":"http:\/\/multimedia.uoc.edu\/blogs\/rv\/?p=1072"},"modified":"2016-12-29T18:26:21","modified_gmt":"2016-12-29T18:26:21","slug":"mixed-memories","status":"publish","type":"post","link":"http:\/\/multimedia.uoc.edu\/blogs\/rv\/2016\/12\/29\/mixed-memories\/","title":{"rendered":"MIXED MEMORIES"},"content":{"rendered":"

T\u00edtol:<\/strong> MIXED MEMORIES<\/strong><\/em><\/p>\n

\n

<\/p>\n

Autor<\/strong>: Marc Segura Molina.<\/p>\n

\n<\/div>\n

Autor de la Pr\u00e0ctica:<\/strong><\/p>\n

Marc Segura Molina.<\/p>\n

 <\/p>\n

Descripci\u00f3:<\/strong>
\nEl projecte a desenvolupar es basa en tecnologies de realitat virtual aplicades a un projecte de realitat mixta el qual permetr\u00e0 als usuaris visualitzar i manipular els seus records projectats en temps real sobre un espai f\u00edsic. Aquestes manipulacions es realitzaran sobre una interf\u00edcie desenvolupada a partir d’una combinaci\u00f3 dels dissenys de realitat virtual de la PAC 1 i un gui\u00f3 proposat en la PAC 2.<\/p>\n

L’aplicaci\u00f3 final s’encomana la dif\u00edcil tasca d’emocionar a l’usuari a partir de visualitzar records enregistrats en un espai tridimensional i projectats en un espai f\u00edsic en temps real amb el qual l’usuari podr\u00e0 adaptar diferents comportaments d’interacci\u00f3 basats en les seves pr\u00f2pies decisions:<\/p>\n

– Explorativa: Si l’usuari decideix reproduir un record i limitar-se a la seva visualitzaci\u00f3 a mode de walk-through (o fly-through), on podr\u00e0 seleccionar quin record vol veure i com i quan ho vol veure. En aquest mode, l’usuari es limitar\u00e0 a modificar l’orientaci\u00f3 i posici\u00f3 del punt de vista virtual, \u00e9s a dir, el subjecte virtual, sense alterar cap part del record en si ni el seu entorn.<\/p>\n

– Manipulativa: En qu\u00e8 l’usuari podr\u00e0 realitzar transformacions geom\u00e8triques sobre els records, reconfigurant l’entorn per\u00f2 sense modificar l’entorn virtual.<\/p>\n

– Contributiva: On l’usuari podr\u00e0 realitzar canvis sobre les propietats dels records, l’estat funcional i l’entorn virtual; de manera que les regles inicials establertes i les propietats dels records podran ser modificades per l’acci\u00f3 de l’usuari, presentant diferents qualitats a les establertes inicialment.<\/p>\n

 <\/p>\n

Intencionalitat, gui\u00f3 i motivacions de l’aplicaci\u00f3:<\/strong>
\nMixed Memories \u00e9s una aplicaci\u00f3 que permet als usuaris enregistrar, reproduir, manipular i modificar gravacions espacials tridimensionals. El seu objectiu principal est\u00e0 basat en enregistrar persones, objectes i espais que tenen un significat important emocionalment parlant per l’usuari. Tanmateix, les t\u00e8cniques emprades permeten altres usos de car\u00e0cter m\u00e9s general i, per tant, la combinaci\u00f3 dels elements proposats per aquesta aplicaci\u00f3 presenten certa versatilitat d’\u00fas.<\/p>\n

El projecte est\u00e0 desenvolupat com aplicaci\u00f3 de realitat mixta en qu\u00e8 les gravacions es projectaran sobre un espai f\u00edsic real per augmentar les sensacions que poden provocar en l’usuari. Una premissa que pot servir com a base conceptual seria la seg\u00fcent: Imaginem que un usuari ha enregistrat a un familiar estimat en algun moment del passat. Aquest familiar, per les lleis que regeix la vida, ha mort i l’usuari vol recordar amb la m\u00e0xima exactitud possible algun\/s bon\/s moment\/s viscuts amb aquesta persona.<\/p>\n

Les seves opcions passen per visualitzar fotografies, on de les an\u00e0lisis de la doctora Shaw -en la que s’inspira en part aquest projecte- n’extraiem que generarem uns records en qu\u00e8 hi haur\u00e0 una part real per\u00f2 tamb\u00e9 molta inventada per la nostra pr\u00f2pia ment. A m\u00e9s, la visualitzaci\u00f3 es basar\u00e0 en poder observar al familiar en un pla bidimensional en unes dimensions habitualment petites. Si pensem en el v\u00eddeo tradicional, el resultat podr\u00e0 ser una mica m\u00e9s satisfactori i ens ajudar\u00e0 a recordar amb m\u00e9s precisi\u00f3 al nostre familiar en algun moment concret. Tanmateix, continuem trobant-nos amb un mur bidimensional que ens separa d’aquest familiar i percebem el v\u00eddeo com un acte amb certa llunyania i dist\u00e0ncia. Mixed Mem\u00f2ries vol anar un pas m\u00e9s enll\u00e0 i pret\u00e9n proporcionar una experi\u00e8ncia emocional immersiva, ja que l’enregistrament del v\u00eddeo ser\u00e0 en un espai tridimensional en el qual l’usuari es podr\u00e0 sentir molt proper als records que visualitzi, de manera que aquella barrera f\u00edsica queda for\u00e7a esmicolada.<\/p>\n

Per\u00f2 l’aplicaci\u00f3 no nom\u00e9s vol arribar a aquest punt. Tamb\u00e9 presenta una soluci\u00f3 oposada en la qual, a partir de records enregistrats, l’usuari podr\u00e0 modificar-los aplicant colors, transformacions geom\u00e8triques, canvis visuals, entre altres. Aquest apartat es presenta amb dos objectius conceptuals a remarcar: la possibilitat de competir contra la nostra ment a l’hora de manipular els nostres records i la millora (o empitjorament, l’usuari decideix) d’alguns records. Per\u00f2, sobretot, de qu\u00e8 es tracta \u00e9s de l’experimentaci\u00f3 amb les diferents funcions i interaccions de l’aplicaci\u00f3.<\/p>\n

Un dels factors que he tingut en compte per al desenvolupament \u00e9s el fet que molts cient\u00edfics afirmen que la realitat virtual va m\u00e9s enll\u00e0 que cap altra a l’hora d'”enganyar” a la nostra ment i, mentre en altres plataformes com el cinema la nostra activitat neuronal \u00e9s baixa, ja que en quasi tot moment la ment \u00e9s conscient que estem visualitzant una pel\u00b7l\u00edcula, les tecnologies relacionades amb realitat virtual -especialment els kits actuals amb casc de realitat virtual- provoquen una activitat neuronal d’aproximadament el 43% en les persones. Per tant, \u00e9s un factor molt important per aquesta aplicaci\u00f3 ja que, especialment, tracta de treballar amb la ment i els records de manera profunda.<\/p>\n

 <\/p>\n

Maquinari:<\/strong>
\n\u00b7 Ordinador<\/strong> (Tots els dissenys de la PAC 1 empren un ordinador)
\n\u00b7 Kinect v1<\/strong> (AquaTop Display; HT Wiimote -versi\u00f3 alternativa del headtracking-; skeletal tracking; finger tracking; hand tracking-)
\n\u00b7 Kit de realitat virtual amb Head Mounted Display<\/strong> (Loop; Dreams of Dal\u00ed)
\n\u00b7 C\u00e0mera web<\/strong> (a falta d\u2019un casc de RV, servir\u00e0 de suport per al prototip i per a realitzar una versi\u00f3 alternativa factible per a usuaris que no disposin del casc)
\n\u00b7 Mouse<\/strong> (Loop -a la m\u00e0quina de c\u00f2rrer; permet transmetre el moviment-)
\n\u00b7 Teclat<\/strong> (\u00fatil per al desenvolupament de les primeres fases del prototip)<\/p>\n

 <\/p>\n

Programari<\/strong>
\nPer al desenvolupament del projecte he estudiat diverses opcions: Unity, WebGL, Unreal Engine, Kinect SDK… Finalment, he decidit emprar Processing<\/strong> ja que \u00e9s el programari recomanat, est\u00e0 fortament orientat a projectes open source, disposa de llibreries interessants per aquest projecte com, per exemple, SimpleOpenNI, i l\u2019he emprat anteriorment, amb maquinari com kinect, per realitzar alguns projectes. Per tant, aquesta experi\u00e8ncia pr\u00e8via i el coneixement de la plataforma han servit per desenvolupar \u00f2ptimament el prototip. Tot i aix\u00f2, han sorgit reptes i dificultats que, amb molta perseveran\u00e7a, s\u2019han anat superant.<\/p>\n

 <\/p>\n

Funcionalitat, interf\u00edcie i possibilitats d’interacci\u00f3<\/strong>
\nLa funcionalitat de l’aplicaci\u00f3 final haur\u00e0 de permetre la translaci\u00f3 del subjecte virtual per l’espai tridimensional integrat amb l’entorn real. Tamb\u00e9 hi haur\u00e0 de permetre moure els elements virtuals aix\u00ed com aplicar algunes transformacions geom\u00e8triques com les translacions en els diferents eixos espacials, rotacions… A m\u00e9s, l’usuari haur\u00e0 de poder modificar els elements virtuals de manera que pugui modificar les regles inicials establertes en els records i l’entorn virtual.<\/p>\n

La interf\u00edcie emprar\u00e0 diferents t\u00e8cniques segons el valor de la m\u00e0quina d’estats (men\u00fa principal, galeria de records, gravador de records o reproductor de records). Aix\u00ed, en el men\u00fa principal la interacci\u00f3 es basar\u00e0 en una reproducci\u00f3 virtual de la interf\u00edcie en qu\u00e8 est\u00e0 basada l’AquaTop Display. Aquesta interf\u00edcie empra l’aigua com a barrera de visualitzaci\u00f3 de Kinect i, quan els dits sobrepassen la superf\u00edcie, kinect els detecta i activa les seves possibles interaccions amb l’aplicaci\u00f3. L’adaptaci\u00f3 al prototip simula aquesta superf\u00edcie de manera virtual en temps real a partir d’un llindar visual i d’interacci\u00f3 aplicat a Kinect, el qual nom\u00e9s detectar\u00e0 els dits de l’usuari si sobrepassa aquest llindar (veure v\u00eddeo del projecte per a m\u00e9s detalls). Aquesta interf\u00edcie ens permetr\u00e0 seleccionar les diferents opcions del men\u00fa a partir de les accions realitzades amb els dits de l’usuari. Per la versi\u00f3 alternativa (sense emprar un casc de realitat virtual) la interf\u00edcie es basa en la detecci\u00f3 de mans (hand tracking) en detriment de la detecci\u00f3 de dits (finger tracking).<\/p>\n

Una altra opci\u00f3 d’interacci\u00f3 orientada a les transformacions geom\u00e8triques ser\u00e0 l’\u00fas del head tracking per poder visualitzar des de diferents angles el record seleccionat. Aquest es complementar\u00e0 amb la t\u00e8cnica del skeletal tracking via Kinect per detectar les mans de l’usuari que serviran per aplicar transformacions als records. \u00c9s a dir, l’usuari podr\u00e0 emprar el cap per canviar l’angle de visi\u00f3 d’un record i les mans ens permetran rotar-lo, transformar-lo o escalar-lo. Addicionalment, existir\u00e0 la possibilitat de realitzar aquestes accions amb el teclat, el mouse i, per a la versi\u00f3 alternativa sense casc, es podr\u00e0 fer \u00fas de l’esmentada t\u00e8cnica del hand traking.<\/p>\n

Finalment, s’implementar\u00e0 un sistema d’opcions basat en botons virtuals que es mostraran en pantalla quan l’usuari decideixi aplicar canvis sobre les propietats dels records, de manera que, al posicionar les mans en un d’aquests activaran algun esdeveniment o es desplegar\u00e0 un men\u00fa per seleccionar diferents accions. Durant la fase de prototip aquesta implementaci\u00f3 descrita en els par\u00e0grafs anteriors quedar\u00e0 simplificada als botons per\u00f2, en la fase final funcional, permetr\u00e0 als usuaris realitzar canvis importants en diferents blocs de codi del programari (de manera similar a l’aplicaci\u00f3 Loop mostrada en la PAC 1).<\/p>\n

 <\/p>\n

Referents:<\/strong><\/p>\n

– Enlla\u00e7os de referents\u00a0de la PAC 1:<\/p>\n

\u00b7 Loop:<\/strong>
\nhttp:\/\/andsynchrony.net\/projects\/loop\/<\/a><\/p>\n

\u00b7 AquaTop Display<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=Jd3-eiid-Uw<\/a><\/p>\n

\u00b7 Wiimote Headtracking<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=6lyudeTqggE<\/a><\/p>\n

\u00b7 Dreams of Dal\u00ed<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=I-Fb1lPL5WA<\/a><\/p>\n

\u00b7 Memory Hackers<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=NfPLTtlo2oY<\/a><\/p>\n

– Enlla\u00e7os de referents de la PAC 2:
\n\u00b7 GITS Simulated Experience<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=WX6uhU0OX_c<\/a><\/p>\n

\u00b7 Actiongram (Hololens)<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=_3Y7BXEbqcg<\/a><\/p>\n

\u00b7 Holoportation<\/strong>:
\nhttps:\/\/www.youtube.com\/watch?v=7d59O6cfaM0<\/a><\/p>\n

\u00b7 Article sobre les reconstruccions narratives dels records de la Dra. Shaw en el blog Scientific American<\/strong>:
\n“How well can we remember someone’s life after they die”<\/a><\/p>\n

 <\/p>\n

La idea<\/strong> del projecte sorgeix a partir de cinc conceptes inclosos en la PAC 1:<\/p>\n

\u00b7 A l\u2019aplicaci\u00f3 de visualitzaci\u00f3 d\u2019imatges del headtracking amb el Wiimote l\u2019usuari pot decidir quines parts vol visualitzar d\u2019aquestes;<\/p>\n

\u00b7 A l\u2019aplicaci\u00f3 del projecte Dreams of Dal\u00ed, \u00e9s mostra una obra d\u2019art conceptualitzada en 3D en la que l\u2019usuari pot visualitzar-la en un entorn en temps real des de diferents angles.<\/p>\n

\u00b7 A l\u2019aplicaci\u00f3 Loop l\u2019experi\u00e8ncia de l\u2019usuari \u00e9s contributiva en un entorn on\u00edric.<\/p>\n

\u00b7 A l\u2019Aquatop Display es projecten gr\u00e0fics virtuals en un entorn real (l\u2019aigua).<\/p>\n

\u00b7 A l\u2019article de la tercera part de la PAC 1 faig refer\u00e8ncia a l\u2019estudi de la doctora Julia Shaw sobre els problemes de com els humans recordem (memory hacking).<\/p>\n

A m\u00e9s, durant la PAC 2 tamb\u00e9 es van proposar nous referents basats en projectes de realitat mixta com Holoportation per a les Hololens de Microsoft i noves informacions sobre les capacitats limitades dels \u00e9ssers humans per recordar acuradament a les persones que ja no estan en les nostres vides, els quals tamb\u00e9 han servit com a base conceptual del disseny i gui\u00f3 del projecte.<\/p>\n

 <\/p>\n

Resultat:<\/strong><\/p>\n

\u00b7 Teaser del projecte:\u00a0<\/em><\/strong><\/p>\n