Els controladors per a realitat mixta són dispositius que permeten captar informació i, sovint, també proporcionen estímuls. El seu objectiu és possibilitar la interacció entre l’humà i l’entorn virtual. En podem trobar de genèrics, no vinculats a cap plataforma o entorn concret, i d’altres que han estat dissenyats específicament per a treballar amb dispositius molt concrets, normalment amb un determinat HMD (head-mounted display).
En el món físic interaccionem amb els objectes amb les mans i el cos. Atès que molts entorns virtuals intenten replicar condicions físiques, els controladors bàsicament intenten transmetre els moviments del cos al sistema, i en molts casos també emetre estímuls directament sobre la pell, o també sons, per a reforçar altres sentits.
Manus VR [1] i Glove One [2] són dos exemples de controladors genèrics de realitat mixta per a captar i estimular les mans. Físicament, estan dissenyats en forma de guant i estan equipats amb IMU per a parametritzar el moviment de les mans i amb motors vibradors per a estimular la pell i proporcionar retorn quan «toquem» objectes virtuals. Si són usats de manera combinada amb un HMD, aleshores s’integren al seu propi sistema de posicionament.
Avatar VR [3], PrioVR [4] o Teslasuit [5] són exemples de dispositius que intenten parametritzar els moviments del cos, no només de les mans. Avatar VR consisteix en uns guants equipats amb una IMU i, alhora, connectats a dispositius emplaçats als braços i al tronc que proporcionen informació al sistema sobre el moviment, el posicionament, el gir i l’orientació del cos. PrioVR es presenta com un conjunt format per dos controladors convencionals d’empunyadura per a accionar amb les mans, equipats amb botons, connectats a múltiples dispositius interconnectats equipats amb IMU emplaçades als braços, al tronc i també a les cames, que proporcionen informació al sistema sobre el moviment, el posicionament, el gir i l’orientació del cos i de les quatre extremitats. Teslasuit consisteix en un vestit equipat amb sensors i actuadors que permet no només captar els moviments del cos, sinó també estimular-lo mitjançant vibradors i ginys basats en l’efecte Peltier que permeten escalfar o refredar la pell.
Altres dispositius parteixen d’enfocaments molt diversos. Per exemple, Rotor VR [6] és una butaca motoritzada que, usada juntament amb un HMD, permet girar el punt de vista 360° de manera segura i consistent, o bé avançar per l’entorn virtual mitjançant els seus pedals físics. Virtux Omni [7] és una plataforma lliscant dissenyada per a ser usada amb un HMD i amb un calçat especial amb l’objectiu de proporcionar l’experiència de caminar físicament per un entorn virtual. ARAIG (as real as it gets) [8] no és un controlador, sinó un exoesquelet equipat amb vibradors, fonts de so i electroestimulació muscular orientat a experimentar jocs en primera persona.
Alguns HMD, com Oculus Rift, HTC Vive, PlayStation VR o Samsung Gear VR, entre altres, han anat desplegant els seus propis controladors, que es presenten com dispositius per a sostenir amb cada mà, proveïts de botons, palanques de control o pads per a exercir algun tipus d’interacció amb l’entorn virtual, habitualment equipats amb alguns sensors interns o directament amb una IMU per a captar el moviment, el gir i l’acceleració de les mans, i integrats en els sistemes de seguiment propis de cada plataforma. D’altres, com el Razer HDK, es basen en l’estàndard OSVR [9], destinat a un ús multiplataforma. I també n’hi ha que, com el Nolo [10], tenen un plantejament universal i poden funcionar amb diferents tipus de visualitzador per a telèfon mòbil.
Els mateixos HMD actuen com a controladors, en tant que solen anar equipats amb sensors per a captar l’orientació del cap o fer seguiment de la mirada i, així, poder reubicar el punt de vista dins l’entorn virtual. Podem trobar diferents sistemes per a fer seguiment del desplaçament i l’orientació a l’espai dels controladors:
OptiTrack [11], Vicon [12] i PhaseSpace [13] utilitzen sistemes òptics basats en càmeres i marques. Els objectes que cal seguir, típicament cossos humans o qualsevol objecte físic, estan equipats amb marques visuals. Cada marc que arriba a la càmera és examinat i es comparen les posicions successives de les marques per a determinar la posició i l’orientació dels objectes.
Oculus Constellation [14]: és una variant evolucionada dels sistemes de seguiment basats en marques i càmera. L’HMD i els controladors estan equipats amb múltiples LED d’infraroig que brillen amb unes freqüències preestablertes i diferenciades. En usar infrarojos, resulten invisibles per a l’ull humà. Les seves emissions són captades per càmeres situades a l’entorn físic. La freqüència amb la qual brilla cada LED l’identifica, i en funció de la seva posició respecte a la resta de LED, el sistema determina la posició i l’orientació de l’HMD i dels controladors a l’espai.
Vive Tracking [15]: aquest sistema es basa en uns emissors anomenats Lightbox que es disposen físicament a l’entorn i que emeten flaixos de llum infraroja just abans d’escombrar l’entorn amb làser. L’HMD i els controladors estan equipats amb múltiples sensors per a captar aquestes emissions. La freqüència constant dels flaixos d’infraroig permeten als receptors valorar, en funció de quant triga el làser a arribar i quins sensors el detecten, la seva posició i orientació a l’espai.
Nolo VR: és un sistema de seguiment basat en làser i ultrasons, però aporta com a novetat que està plantejat per a poder-se adaptar a diversos HMD equipats amb mòbil Android.
Xsens [16]: els vestits de Xsens usats per a animar esquelets de cossos virtuals (rigging) es basen en un conjunt d’IMU disposades sobre el cos que proporcionen informació sobre els girs, l’orientació i la translació a l’espai. Aquest sistema no requereix dispositius d’emissió o de captació ubicats a l’entorn físic.
També hi ha sistemes de visió específics per a realitat mixta. Per exemple, la càmera Stereolabs ZED [17], que proporciona visió estereoscòpica, determina la profunditat de l’escena, permet elaborar un model 3D i conèixer la posició i l’orientació sense necessitat d’utilitzar una IMU. Pot ser usada en realitat virtual per a moure’s lliurement en interiors o exteriors i detectar obstacles sense usar sistemes de seguiment, i també es pot fer servir en realitat augmentada, utilitzant la imatge procedent de la càmera, atès que treballa amb llum visible, per a veure l’entorn físic amb profunditat i incorporar-hi els objectes virtuals de forma consistent. Aquest dispositiu forma part de tot un conjunt de sensors destinats a obtenir informació de l’entorn físic de manera més genèrica o especialitzada. Actualment, hi ha diversos sistemes basats en tecnologies diferents, especialment infrarojos, que proporcionen imatges de profunditat de l’escena. També n’hi ha d’especialitzats en gestualitat o en reconeixement facial, per exemple [18].