Autor: Jorge Juan Ocaña Tallón
Descripció
Processo de treball
Amb aquest projecte volia continuar endinsant en el sistema que havia dissenyat per a l’assignatura de Mitjans interactius. En aquesta assignatura, havia imaginat un prototip de RV molt futurista però que pecava de tenir un rang d’aplicacions massa ampli, a més de, evidentment, portar una tecnologia impossible d’implementar actualment, però que em va deixar amb ganes de seguir aprofundint en la seva aplicació final. Pot visualitzar el document amb el consegüent disseny presentat des d’aquest enllaç.
Elements i tecnologies usades
El sistema de realitat virtual mixta que he dissenyat permet a l’usuari interactuar amb el seu entorn virtual podent dibuixar, mesurar, enumerar, acolorir, donar textura, retallar, crear diferents formes, etc. de dues maneres ben diferenciades: una sobre l’entorn purament virtual i l’altra sobre elements virtualizados. Els elements virtualizados són objectes físics que l’usuari ha seleccionat mitjançant les eines corresponents, que passen a formar part de l’entorn virtual per poder interactuar amb ells d’una manera mes senzilla i còmoda.
El sistema consta d’un casc HMD que compta amb un cristall transparent on podrem veure elements virtuals, objectes físics virtualizados i objectes físics. En aquest casc es troba la unitat de processament gràfica i computacional i les diferents memòries sòlides encarregades d’emmagatzemar les dades de treball. Aquest casc compta amb sensors com a acceleròmetres, giroscopis, de profunditat, infrarojos que són els encarregats de situar a l’usuari en l’entorn virtual, respondre als moviments que aquest faci i controlar els moviments que es realitzin amb les extremitats superiors.
Per a les mans, el sistema disposa de dos gadgets diferents que seran els encarregats de la interacció amb l’entorn virtual. El gadget de la mà esquerra es correspon amb una plataforma quadrada en la qual el sistema projectarà el menú secundari de l’aplicació. El gadget de la mà dreta té diferents versions: una és similar a una petita pistola, que funciona mitjançant l’acció d’un gallet; i l’altra versió és similar a un retolador, que s’activa estrenyent amb el dit índex sobre un petit polsador.
Conceptes clau utilitzats
Entorn virtual
L’entorn físic i l’entorn virtual estan superposats i fins i tot poden estar mimetitzats. L’usuari pot interaccionar sobre els elements físics o sobre l’espai buit del que es disposa. La simulació en aquest punt es podria dir que és una combinació d’interacció contributiva o manipulativa, depenent de si s’està interactuant amb elements únicament virtuals o físic/virtuals (mixts).
Subjectivitat virtual
El subjecte virtual pot interaccionar amb els elements virtuals, donant-li forma o canviant la seva posició, però l’estat d’est és no-solgut. El subjecte virtual en aquest disseny està format per una icona que varia en funció de l’eina que l’usuari tingui activa i que es mou d’acord amb les mans de l’usuari i els sensors que porta en elles.
Interfície lògica i física
La interfície lògica la compon una icona que té correspondència amb la posició dels sensors i l’eina que es tingui activa i una sèrie de menús que suren a l’espai abstracte i que l’usuari pot mostrar o ocultar sempre que vulgui. La interfície física està composta pel casc HMD i els gadgets que l’usuari té a les mans.
Mapatge
El mapeado no es representa de manera metafòrica com podria ser un cursor-ratolí. Tampoc existeix un feedback que l’usuari pot rebre desde l’entorn virtual mitjançant els gadgets que té a les mans, aquests no es regeixen sota les lleis de l’entorn virtual.
Comportaments
Tot el desenvolupament de l’aplicació té un comportament passiu i el comportament dels elements és estàtic.
Referents
El disseny final de la app té influències directes de tres dissenys:
- L’ARS (Augmented Reality Sandbox) es tracta d’un arenero en el qual poder recrear en temps real models topogràfics. L’usuari interactua sobre la sorra, modificant el terreny amb les seves pròpies mans o altres eines, creant diferents volums.
- El segon disseny es compon del programari Tilt Brush i el sistema HTC Vive. Tilt brush és una interfície lògica (programari), que permet a l’usuari dibuixar en 3D dins de tot l’entorn virtual mentre que el sistema de HTC Viu ens introdueix en ell.
- Finalment, el tercer disseny, és un simulador háptico de sutura. El simulador incorpora modelatge en temps real de pell deformable, teixits i sutura i l’enregistrament en temps real de l’estat de l’activitat mitjançant un models d’estat finits.
Resultat final
Dins del sistema existeixen tres funcions bàsiques dins de l’aplicació: una és la virtualització d’elements físics, una altra és la interacció directa i exclusiva dins de l’entorn virtual i l’última és la interacció sobre elements virtualizados.
Amb aquestes tres opcions, la qual cosa es pretén és dotar a dissenyadors d’interior, arquitectes o constructors, de les eines necessàries per exercir el seu treball en temps real sobre el terreny d’una manera fàcil i intuïtiva. Ens permetria modificar el color de pràcticament qualsevol part del nostre habitatge, canviar elements que hi hagi en aquesta o afegir nous gràfics a l’entorn virtual dibuixats amb les nostres pròpies mans.
Finalment, el sistema també permet ser usat com a aplicació merament gràfica amb la qual elaborar obres d’art en 3D, que posteriorment puguin ser explorades per altres usuaris, ja que permet combinar elements físics i virtuals en el mateix disseny.
Es pot veure un exemple de com virtualizar i modificar un element en el següent vídeo.