Un altre blog més de Blogs assignatures GMMD Universitat Oberta de Catalunya
Realitat mixta Un altre blog més de Blogs assignatures GMMD

El continu de la realitat mixta

Jaume Ferrer

Considerem aquestes tres escenes:

Escena 1. Una nena que camina per una plaça sosté un telèfon mòbil a la mà i mou el braç a un costat i a l’altre sense deixar de mirar la pantalla, que li va mostrant el carrer davant seu vist des del punt de vista de la càmera. No està usant el mòbil per a enregistrar res, està buscant alguna cosa. De sobte, es para i exclama triomfant: «Ja t’he trobat!» Mitjançant una aplicació, a la pantalla del mòbil la nena pot veure la plaça amb els seus bancs, jocs infantils, algun paper a terra, i al mig de l’escena, un monstre de coloraines llampants. La resta de gent que és a la plaça no el veu, només la nena, tret que algú més tingui també un mòbil amb la mateixa aplicació. El dispositiu està augmentant digitalment i de forma consistent la realitat física que l’envolta. La nena sap que el monstre no és realment allà, però al mateix temps està gaudint de l’experiència de trobar a la plaça el personatge que buscava.

Escena 2. Una noia s’acosta a un panell on s’han instal·lat canonades i vàlvules interconnectades que formen un circuit complex. La noia va equipada amb un visor que li impedeix veure directament el seu entorn físic. Tot el que percep li arriba mitjançant el sistema de visió estereoscòpic disposat davant dels seus ulls i els auriculars que porta posats. Veu una reproducció digital de la instal·lació del panell amb totes les seves canonades i vàlvules. L’entorn físic està ben il·luminat, però en l’entorn que ella percep a través del visor tot és fosc, i quan mou el cap el panell s’il·lumina només parcialment, com si ella portés al cap un llum frontal que emetés un estret con de llum. Arriba al panell, l’inspecciona. Sent un xiulet, com si el sistema de canonades patís una fuita. Mou el cap i examina el panell. Descobreix una columna de vapor que s’escapa per una junta. Pensa ràpidament quina pot ser la maniobra òptima per a aturar la fuita. Busca quines vàlvules ha d’obrir i tancar. Quan en localitza una, allarga la mà i intenta accionar-la. Veu les vàlvules digitals, però toca les vàlvules físiques. Fa força per a fer-les girar. Algunes vàlvules físiques oposen més resistència que altres mentre giren. Quan completa la maniobra, la fuita de vapor s’atura. El panell amb les vàlvules físiques augmenta l’entorn virtual amb l’objectiu de proporcionar una plataforma d’entrenament flexible i realista.

Escena 3. Un noi està assegut amb un visor al cap de manera que no veu la sala on es troba. Avui li toca teràpia. Intenta superar la seva aprensió a viatjar en avió. Al seu costat, una terapeuta seu davant d’un monitor i veu la mateixa escena que veu ell, però disposa d’una interfície de control. El noi està assegut en una cadira del consultori d’una clínica, però a l’escena que veu al visor es troba assegut a la butaca d’un avió comercial a punt d’enlairar-se. L’escena és un modelatge 3D poc realista; malgrat això, el noi ja està suant i està alerta, en té prou a veure’s dins de l’avió per a sentir-se dins de l’avió. La terapeuta, al seu costat, està pendent de les reaccions del seu pacient. El noi va explicant com se sent i la terapeuta va avaluant la situació i guiant la sessió. Ella selecciona una opció des de la seva interfície i ell, dins l’escena, veu com apareix un membre del personal de vol disposat a donar les instruccions al passatge prèvies a la maniobra d’enlairament. Al noi se li accelera el pols. Malgrat que tot el que veu és i sembla sintètic, l’experiència que viu és tan intensa que té un efecte psicològic prou rellevant i modulable per a resultar útil com a part d’una teràpia.

Què tenen en comú aquestes tres escenes de caire tan diferent: una de lúdica, l’altra d’ensinistrament i la tercera de terapèutica? Totes tres constitueixen experiències que podem incloure dins del conjunt de la realitat mixta. El 1994, Milgram i Kishino van intentar classificar els dispositius de visió vinculats a la realitat virtual existents en aquell moment i els van ordenar d’acord amb el grau d’importància que hi tenia el seu grau de realitat o de virtualitat. Proposaren un eix que anava des del que ells anomenaren «entorn real», que corresponia a una experiència de visió completament directa d’objectes físics o bé d’imatges electròniques, que literalment semblaven ser allà on eren emeses; fins al que ells anomenaren «entorn virtual», que implicava la visió d’objectes generats sintèticament o bé mostrats mitjançant tècniques d’holografia o d’imatge estereoscòpica simulant una profunditat que no tenien. Alguns dispositius estaven a mig camí entre els dos extrems, de manera que el conjunt constituïa el que ells anomenaren «continu de la realitat mixta» [1]. Representaren aquest continu com un eix que començava a l’extrem esquerre amb l’experiència de l’«entorn real». Continuava cap a la dreta amb la realitat augmentada, en la qual la visió directa del món físic era augmentada amb una capa digital que s’hi superposava (la nostra escena 1). I si aquesta capa digital esdevenia determinant, s’arribava a la virtualitat augmentada, en la qual la visió de l’entorn virtual generada gràcies a imatges estereoscòpiques que produïen il·lusió de profunditat era augmentada pel món físic, bé mitjançant objectes físics (la nostra escena 2) o bé combinant imatges sintètiques i imatges o vídeo procedents del món físic. Finalment, a l’extrem dret, situaven la realitat virtual, en la qual la visió es basava exclusivament en entorns sintètics i s’obtenia mitjançant dispositius hologràfics o estereoscòpics (la nostra escena 3).

Actualment, el concepte de continu de realitat mixta segueix sent útil, però han anat apareixent nous dispositius més versàtils i barats, alguns amb versions comercials, que en comencen a popularitzar l’ús. Alguns d’aquests dispositius s’integren en els visors de realitat virtual comercials, cosa que augmenta físicament els estímuls digitals que proporcionen i transforma, així, realitat virtual en virtualitat augmentada, però que també incorpora als entorns virtuals imatge procedent del món físic per a ser usats com a dispositius de realitat augmentada.

També s’han incorporat al camp altres tecnologies que els anys noranta del segle xx només existien de manera experimental i que actualment s’han generalitzat, reforçant encara més la hibridació entre el món tangible i el digital:

  • Els dispositius mòbils «intel·ligents», com ara telèfons i tauletes: equipats amb connexió de dades, capacitat de processament, sensors, càmeres i pantalles tàctils, tots sols o usats en combinació amb visors o amb altres dispositius, permeten incorporar experiències de realitat mixta a la vida quotidiana.
  • Els portables: dispositius digitals extremadament lleugers incorporats al cos com a complements de la roba, com ara rellotges, braçalets, calçat o vestimenta, amb capacitats de captació, processament i visualització d’informació o amb actuadors [2].
  • La internet de les coses (internet of things, IoT) [3]: sensors i actuadors interconnectats arreu que parametritzen el món físic i hi actuen, extraient i compartint informació, modificant el món i augmentant les capacitats dels dispositius locals i de les nostres interaccions discretes.

Korn i altres [4] han proposat incloure dins del continu noves categories que escapen a la formulació original de Milgram i Kishino, més centrades en l’experiència que no pas en la tecnologia, que difuminen encara més la falsa dicotomia real/virtual, però que ajuden a contextualitzar la noció actual de realitat mixta:

  • Realitat alternativa (alternate reality): jocs de realitat alternativa consistents en narracions interactives en xarxa de tipus transmèdia que succeeixen al món físic i que ofereixen històries que els mateixos jugadors/participants modifiquen en funció de les seves intervencions [5].
  • Realitat envoltant (warped reality): aplicacions que permeten reubicar-te en l’espai i en el temps per a experimentar esdeveniments històrics de forma alternativa i que proporcionen una vivència pròxima a la noció de flux formulada per Csíkszentmihályi [6].
  • Virtualitat física (phisical virtuality): situacions amb les quals es pot viure una experiència virtual que després esdevé física, com ara personalitzar samarretes o tasses que finalment són impreses digitalment.
  • Virtualitat reflectida (mirrored virtuality): l’experiència de tenir la sensació que tot es pot veure des de tot arreu mitjançant un mirall del món físic, com ara la que proporcionen Google Earth o Google Maps.

 

Referències:


[1]: Milgram, P.; Kishino, F. (1994). «A Taxonomy of Mixed Reality Visual Displays». IEICE Trans. Inf. & Syst. (vol. E77-D, núm. 12, desembre 1994).

[2]: Portables: https://en.wikipedia.org/wiki/Wearable_technology

[3]: Magrassi, P.; Panarella, A.; Deighton, N.; Johnson, G. (28.11.2001). «Computers to Acquire Control of the Physical World». Gartner research report T-14-0301: https://www.gartner.com/doc/341674/computers-acquire-control-physical-world

[4]: Korn, Kim C.; Pine II, B. Joseph (2011). «From Reality to Virtuality and Everywhere in Between»: https://hbr.org/2011/09/from-reality-to-virtuality-and

[5]: Stacey, Sean (10.11.2006). «Undefining ARG». [Darrer accés: 19.02.2007]: http://www.unfiction.com/compendium/2006/11/10/undefining-arg/

[6]: Csikszentmihalyi, Mihaly (1975). «Beyond Boredom and Anxiety». Jossey-Bass: San Francisco, CA. 36.

Deixa un comentari