Alguns HMD (head-mounted display) per a realitat virtual poden ser usats per a aplicacions de realitat augmentada amb l’ajut de càmeres, però també hi ha visors específicament dissenyats per a realitat augmentada. Cal distingir els sistemes de realitat augmentada convencionals, que es limiten a superposar els objectes virtuals a la imatge procedent de l’entorn físic, i els basats en SLAM (simultaneous localization and mapping), en els quals el sistema crea un model 3D de l’entorn físic a partir del qual se situa el mateix HMD i els objectes virtuals.
Sistemes convencionals:
HUD (head-up display): són els dispositius més simples de realitat augmentada. Superposen òpticament la llum procedent del món físic i la procedent d’un projector o pantalla. Van ser usats inicialment en els cascs dels pilots d’avió amb l’objectiu de proporcionar informació sense haver de desviar la mirada cap al panell de comandament ni canviar la distància d’enfocament. Actualment, també són usats en altres àmbits, com ara l’automoció, per a proporcionar informació útil durant la conducció sense provocar distraccions, com la consulta de la velocitat o les indicacions del GPS. L’efecte d’un HUD es pot aconseguir de forma portable amb un visor com Holokit [1], un dispositiu de cartó similar a les Google Cardboard que permet veure simultàniament l’entorn físic que ens envolta i la imatge procedent de la pantalla d’un telèfon mòbil. Aprofitant els sensors del mòbil, com ara el giroscopi, l’aplicació pot canviar el punt de vista de les imatges segons cap a on orientem el cap.
Smart Glasses: les ulleres intel·ligents estan dissenyades específicament per a proporcionar funcionalitats de realitat augmentada i actuen com un HUD portable. Tenen en comú que fan servir una muntura lleugera, semblant a unes ulleres convencionals, però equipada amb els elements necessaris per a projectar imatges als ulls mentre seguim veient el nostre entorn físic, i que es connecten al telèfon mòbil, que s’encarrega de fer funcionar les aplicacions de realitat augmentada, sovint proporcionant notificacions i indicacions. El control se sol efectuar mitjançant botons o pads integrats a la muntura, o bé mitjançant veu o gestualitat. Tot i que ja existien visors de realitat augmentada molt abans, el llançament de Glass [2] l’any 2012 va acaparar l’atenció dels mitjans de comunicació per la seva lleugeresa, disseny, control de veu i per tenir el suport de Google. Orientades inicialment al mercat domèstic, especialment per a enregistrar fotografies i vídeos i compartir-los a les xarxes socials, no van obtenir l’èxit esperat, entre altres raons per les implicacions en la pèrdua de privacitat que podien comportar. Finalment, han estat rellançades l’any 2017, però amb una orientació més professional i industrial. Altres, com les Vuzix Blade [3], Epson Moverio [4], Sony SmartEyeGlass [5] o Atheer [6], també es plantegen com a eines de treball, mentre que les Solos [7] estan dissenyades especialment per a un ús esportiu. En general, la majoria de les ulleres intel·ligents que podem trobar en el mercat són dispositius poc discrets que criden l’atenció, però hi ha excepcions, com ara les Intel Vaunt [8], que exteriorment són pràcticament indistingibles d’unes ulleres normals i això les fa passar desapercebudes i en facilita l’ús de forma quotidiana. A les Vaunt, el dispositiu de projecció i superposició d’imatge s’ha reduït al mínim i resta ocult darrere de la muntura gràcies al fet que la imatge es genera amb un làser monocrom que l’envia directament a la retina de l’ull i la manté sempre enfocada i brillant, mentre que el control s’efectua amb moviments del cap per a evitar l’ús de controls addicionals.
Dispositius mòbils: el fet que actualment sigui habitual que els telèfons mòbils disposin de càmera posterior, giroscopi, acceleròmetre i magnetòmetre possibilita que qualsevol persona tingui a mà en qualsevol moment un dispositiu que pot ser usat potencialment com a visor de realitat augmentada. En els darrers anys han proliferat aplicacions que exploten aquesta potencialitat. A la imatge procedent de la càmera se li superposen continguts que poden canviar interactivament responent a les entrades dels sensors. En aquest cas, la superposició ja no és òptica i els objectes virtuals es poden veure amb total opacitat. Algunes tecnologies, com ara ARToolKit, Layar, Vuforia o Augment, permeten que amb els telèfons mòbils i les tauletes, i mitjançant el reconeixement de marques visuals, sigui possible posicionar i orientar els objectes virtuals de manera consistent amb el món físic.
Sistemes de realitat augmentada basats en SLAM:
L’SLAM està reemplaçant en alguns àmbits el procediment de posicionament d’objectes basat en marques. Tecnologies com Google ARcore [9] i Apple ARkit [10] permeten que, amb un telèfon mòbil o amb una tauleta i la seva pròpia càmera posterior, sigui possible crear a temps real un mapa volumètric de l’entorn físic, posicionar-hi el mateix dispositiu i també posicionar, orientar i escalar els objectes virtuals, fins i tot il·luminar-los de forma consistent amb la il·luminació de l’entorn físic.
L’SLAM s’ha incorporat als HMD de realitat augmentada [11] combinat amb canvis en el mesclador òptic convencional de les ulleres intel·ligents, que ara presenta característiques especials que li permeten augmentar molt la lluminositat dels objectes virtuals i donar-los una aparença més consistent. El mesclador ja no és un element òptic senzill que fa de mirall, sinó que consisteix en un conjunt de nanohologrames que actuen com una guia mitjançant la qual les ones de llum procedent de la font d’imatge digital reboten fins a sortir en direcció a l’ull d’una manera determinada. Modulant la llum, es poden generar imatges consistents i ben il·luminades [12]. Aquesta manera de mostrar els objectes virtuals es combina amb la capacitat del sistema d’obtenir un model 3D del seu entorn físic on es pot inserir els objectes virtuals de forma coherent. Microsoft Hololens [13], Google Magic Leap [14] i Meta2 [15] són HMD d’aquest tipus. Tots mostren els objectes virtuals integrats a l’entorn físic en posició, orientació i il·luminació, i també permeten interactuar amb els objectes virtuals mitjançant detecció de moviment o controladors físics.
També podem trobar HMD de realitat augmentada per a mòbil, com l’Occipital Bridge [16], que mostra l’entorn físic mitjançant la càmera posterior del mòbil iPhone i insereix els objectes virtuals de manera consistent gràcies a un sensor de visió per infrarojos anomenat Structure, que proporciona una imatge amb profunditat de l’escena.
Un enfocament diferent és el de Stereolabs Linq [17], un HMD que també permet viure experiències de realitat augmentada sense tenir visió directa del món físic, però que es basa en un sensor que proporciona simultàniament la imatge en llum visible i el mapa de profunditat. Es tracta de la ZED [18], un dispositiu amb visió estereoscòpica que recorda la Kinect, però ofereix capacitats molt superiors, dissenyada per a poder funcionar en interiors i exteriors en condicions de moviment i permetre l’experiència de caminar lliurement amb un HMD posat al cap sense necessitat de cap sistema de seguiment, o també per a facilitar visió artificial a un vehicle o a un robot. La ZED treballa amb llum RGB en comptes d’infrarojos, és a dir, que veu l’escena en llum visible d’una manera similar a com la veiem els humans. Té un abast de 20 metres, un angle de visió de 110° i treballa a 100 FPS. Determina la profunditat comparant les dues imatges que li arriben, construeix un model 3D, el textura i coneix la seva posició i orientació dins de l’entorn sense necessitat d’una IMU.