{"id":857,"date":"2016-12-29T22:18:31","date_gmt":"2016-12-29T22:18:31","guid":{"rendered":"http:\/\/multimedia.uoc.edu\/blogs\/rv\/?p=857"},"modified":"2016-12-29T22:18:31","modified_gmt":"2016-12-29T22:18:31","slug":"prototip-dinstrument-visualsonor-amb-leapmotion","status":"publish","type":"post","link":"http:\/\/multimedia.uoc.edu\/blogs\/rv\/2016\/12\/29\/prototip-dinstrument-visualsonor-amb-leapmotion\/","title":{"rendered":"Prototip d\u2019instrument visual\/sonor amb LeapMotion"},"content":{"rendered":"

<\/p>\n

\"Leapsajous\"
Prototip del Leapsajous en funcionament<\/figcaption><\/figure>\n

Autor de la pr\u00e0ctica: Pere Amengual<\/strong><\/p>\n

Descripci\u00f3<\/h2>\n

L\u2019aplicaci\u00f3 presentada consisteix en un sintetitzador prove\u00eft d’oscil\u00b7ladors de quadratura<\/a> implementat sota Processing i la llibreria Minim. El par\u00e0metres del sintetitzador es controlen amb gestos de les mans mitjan\u00e7ant la interf\u00edcie LeapMotion<\/a>. Els sons generats, a m\u00e9s de sentir-se, controlen la visualitzaci\u00f3 de patrons Lissajous<\/a> projectats amb llums l\u00e0ser entre les mans de l’usuari.<\/p>\n

Les corbes de Lissajous s\u00f3n gr\u00e0fiques de sistemes d’equacions param\u00e8triques corresponents a la superposici\u00f3 de dos moviments harm\u00f2nics simples en direccions perpendiculars. Per implementar un generador de sons que alhora permeti generar aquest tipus de figures s’ha de fer servir un oscil\u00b7lador de quadratura, en el que les seves dues sortides presenten un desfasament de 90\u00ba. Aix\u00ed, un parell de formes d’ona sinus\/cosinus generen una imatge circular, dues formes d’ona quadrades amb el mateix desfasament una imatge semblant a un quadrat, etc. Per aconseguir figures m\u00e9s complexes es fan servir dos oscil\u00b7ladors amb relaci\u00f3 de freq\u00fc\u00e8ncia variable i tamb\u00e9 altres recursos com distorsi\u00f3 no lineal, o waveshaping.<\/p>\n

La interf\u00edcie f\u00edsica<\/a> d’entrada \u00e9s proporcionada pel controlador LeapMotion, un petit dispositiu perif\u00e8ric prove\u00eft de connector USB que es situa entre les mans de l’usuari i, mitjan\u00e7ant dues c\u00e0meres d’infraroigs i tres LEDs emissors d’infraroigs, pot observar una \u00e0rea circular aproximadament d’un metre. El firmware del dispositiu sintetitza dades de la posici\u00f3 dels dits i les mans, l’objecte f\u00edsic principal del prototip, en 3D mitjan\u00e7ant la comparaci\u00f3 dels quadres en 2D generats per les dues c\u00e0meres.<\/p>\n

La interf\u00edcie f\u00edsica de sortida principal \u00e9s un projector l\u00e0ser equipat amb interf\u00edcie ILDA que mostra els patrons Lissajous sobre la taula, entre les mans de l’usuari, creant un notable grau d’immersi\u00f3 sense rec\u00f3rrer a t\u00e8cniques de projecci\u00f3 estereogr\u00e0fiques. Com el prototip \u00e9s, b\u00e0sicament, un sistema generador de sons no podem obviar el sistema de so com una de les interf\u00edcies de sortida principals. El monitor de l’ordinador serveix com a interf\u00edcie f\u00edsica de sortida secund\u00e0ria, i ens mostra una GUI amb tots els par\u00e0metres del sintetitzador, permetent la modificaci\u00f3 amb el ratol\u00ed d’altres caracter\u00edstiques del so no controlades per la interf\u00edcie de posici\u00f3 espacial. La interf\u00edcie l\u00f2gica (representaci\u00f3 virtual de la interf\u00edcie f\u00edsica) \u00e9s un esquelet de les mans de l’usuari que es presenta en pantalla com objecte virtual principal i que d\u00f3na refer\u00e8ncia directa a l’usuari de les accions que duu a terme amb la interf\u00edcie f\u00edsica i que es correspon, en darrer terme, amb les seves pr\u00f2pies mans.<\/p>\n

Les propietats del subjecte virtual s’han d’entendre com les que correspondrien a la interpretaci\u00f3 d’un instrument musical convencional. Aix\u00ed, podem establir una analogia entre la interf\u00edcie l\u00f2gica (l’element inform\u00e0tic que d\u00f3na refer\u00e8ncia directa a l’usuari de les accions que duu a terme amb la interf\u00edcie f\u00edsica) i el conjunt de sensacions t\u00e0ctils (h\u00e0ptiques) i sonores que genera un instrument ac\u00fastic quan es fa sonar. Degut a la redu\u00efda fisicitat de la interf\u00edcie f\u00edsica, i amb la finalitat de maximitzar la sensaci\u00f3 d’ag\u00e8ncia<\/a>, s’ha optat per proporcionar un feedback visual dels par\u00e0metres del sintetitzador sobre la pantalla de l’ordinador, a m\u00e9s de la generaci\u00f3 directa dels sons i les imatges que \u00e9s realment l’objectiu final de les accions de l’usuari. Per establir les regles de comportament de l’entorn virtual de la forma m\u00e9s inequ\u00edvoca possible i facilitar la sensaci\u00f3 de control de l’usuari, s’ha procurat simplificar el nombre de par\u00e0metres a controlar i s’han assignat uns mapatges que resultin entenedors i intu\u00eftius de cara a controlar les caracter\u00edstiques sonores b\u00e0siques: altura tonal, volum i timbre.<\/p>\n

En el cas del prototip desenvolupat ha estat necessari investigar la manera que l’usuari sigui conscient en tot moment que ell \u00e9s qui est\u00e0 executant les accions que donen lloc als canvis de la interf\u00edcie l\u00f2gica i les caracter\u00edstiques del so i la seva corresponent representaci\u00f3 gr\u00e0fica.<\/p>\n

En darrer terme, cal destacar la import\u00e0ncia dels mapatges<\/a> (forma en que s’enllacen els nostres canals sensorials amb les accions que controlem i els est\u00edmuls que rebem en l’experi\u00e8ncia d’interacci\u00f3) ja que els moviments de les mans es corresponen amb els par\u00e0metres del sintetitzador, per\u00f2 aquesta correspond\u00e8ncia no es pot establir de forma directa i, per millorar l’efectivitat del prototip, s’han establert l\u00edmits als rangs de lectura de dades del sensor, transposici\u00f3 dels valors a rangs \u00fatils i aprofitables de cara a l’experi\u00e8ncia d’usuari i, finalment, mecanismes d’estabilitzaci\u00f3 i suavitzat dels valors, que s’explicaran m\u00e9s detalladament en un apartat posterior.<\/p>\n

Principis tecnol\u00f2gics<\/h2>\n

El prototip es basa en un sistema de posici\u00f3 espacial, dos sistemes de projecci\u00f3 i un sistema d’\u00e0udio. Aquestes s\u00f3n les seves caracter\u00edstiques principals:<\/p>\n

    \n
  1. Sistema de posici\u00f3 espacial:<\/strong>
    \nLeapMotion, sensor de curt i mitj\u00e0 abast amb c\u00e0meres d\u2019infrarojos estereogr\u00e0fiques.
    \n– Detecta el moviment i la posici\u00f3 de les mans de l\u2019usuari en tres dimensions i tamb\u00e9 gestos com \u201cpassar p\u00e0gina\u201d, \u201ctancament del puny\u201d, etc.
    \n– La connexi\u00f3 a l’ordinador es realitza mitjan\u00e7ant USB.
    \n– Realitza un mesurament absolut (no relatiu) de la posici\u00f3 de dits, mans i avantbra\u00e7os.
    \n– Presenta una lat\u00e8ncia molt redu\u00efda, el que ens permet aplicar algorismes de suavitzat de les dades sense alentir massa la lectura de les dades dels sensors.
    \n– Les mesuraments s\u00f3n molt precisos i repetibles, per\u00f2 en algunes posicions es perd la lectura i s’atura la recepci\u00f3 de dades.
    \n– El firmware implementa un sistema de detecci\u00f3 d’interfer\u00e8ncies que avisa a l’usuari quan es detecten noves fonts de llum infraroig o el sensor no es troba prou net per permetre una lectura correcta.<\/li>\n
  2. Sistemes de projecci\u00f3:<\/strong>
    \na) Monitor d’ordinador, que mostra una interf\u00edcie d’usuari gr\u00e0fica (GUI) amb els par\u00e0metres del sintetitzador.
    \nb) Projector l\u00e0ser amb interf\u00edcie anal\u00f2gica ILDA, que mou un feix de llum sobre els eixos x i y en funci\u00f3 dels valors instantanis del so generat pel sintetitzador en els seus canals dret i esquerre, respectivament. Per adaptar els valors provinents de la tarja de so de l’ordinador i per crear els offsets<\/em> de voltatge corresponents als canals de color RGB, es fa servir un sistema modular en format euro-rack<\/em>. A m\u00e9s, aquest sistema incorpora un m\u00f2dul que realitza el canvi de format i connector per dirigir el senyal el\u00e8ctric de control al projector l\u00e0ser.<\/li>\n
  3. \u00a0Sistema d’\u00e0udio:<\/strong>
    \nLa tarja de so de l’ordinador genera tant els sons com els voltatges de control del projector l\u00e0ser. L’\u00e0udio generat \u00e9s estereof\u00f2nic i no fa servir t\u00e8cniques d’espacialitzaci\u00f3.<\/li>\n
  4. \u00a0Sistemes de programari:<\/strong>
    \nPer la realitzaci\u00f3 d’aquest prototip s’ha fet servir el llenguatge de programaci\u00f3 de codi obert Processing, basat sobre Java.
    \n    https:\/\/processing.org\/<\/a>
    \nLa llibreria Minim proporciona les classes per la creaci\u00f3 i manipulaci\u00f3 de sons. S\u2019ha escollit aquesta llibreria en comptes de la integrada amb Processing 3.0 ja que permet el control de la fase dels oscil\u00b7ladors.
    \n    http:\/\/code.compartmental.net\/tools\/minim\/<\/a>
    \nLa llibreria ControlP5 permet la creaci\u00f3 d\u2019una GUI de forma r\u00e0pida i senzilla amb botons virtuals per visualitzar i\/o modificar els par\u00e0metres del sintetitzador.
    \n    http:\/\/www.sojamo.de\/libraries\/controlP5\/<\/a>
    \nLa llibreria \u201cLeap Motion for Processing\u201d ens permet realitzar una lectura en temps real de les dades proporcionades pel sensor.
    \n    https:\/\/github.com\/nok\/leap-motion-processing<\/a><\/li>\n<\/ol>\n

    Gui\u00f3 d’interacci\u00f3 – mapatges<\/h2>\n

    El prototip no disposa d’estats diferenciats ni, conseq\u00fcentment, transicions entre ells ja que tota la interacci\u00f3 t\u00e9 lloc en l’\u00fanic estat de funcionament disponible al posar en marxa el prototip: marxa amb tota la funcionalitat disponible i operativa. Per tant, resulta m\u00e9s adient detallar com es corresponen els moviments tipificats de les mans amb el resultat sonor obtingut i amb el graf final ja que aquesta resulta una definici\u00f3 m\u00e9s rellevant de les regles de comportament de l’entorn virtual.<\/p>\n

    \"amplitud\"
    Tancament del puny: augment de l’amplitud de l’oscil\u00b7lador, que implica un augment del volum sonor i de les mides del graf<\/em><\/figcaption><\/figure>\n

     <\/p>\n

    \"freq\u00fc\u00e8ncia\"
    Despla\u00e7ament en l’eix x (horitzontal) cap al centre: augment de la freq\u00fc\u00e8ncia de l’oscil\u00b7lador, que implica una major altura tonal i diferents patrons d’interfer\u00e8ncia quan els tons dels oscil\u00b7ladors s\u00f3n diferents, segons l’interval musical generat<\/em><\/figcaption><\/figure>\n

     <\/p>\n

    \"forma
    Despla\u00e7ament en l’eix y (vertical): canvi de la forma d\u2019ona generada per l’oscil\u00b7lador, sinuso\u00efdal en posici\u00f3 central, dent de serra en posici\u00f3 elevada i quadrada en posici\u00f3 inferior. Implica un canvi en el timbre del so generat i un canvi de la figura base del graf, cercle, triangle i quadrada, respectivament<\/em><\/figcaption><\/figure>\n

     <\/p>\n

    \"waveshaping\"
    Rotaci\u00f3 del puny cap al centre: augment de la quantitat de distorsi\u00f3 no lineal (waveshaping), que implica un canvi del contingut espectral del so generat i variacions similars a plegaments de la figura representada en el graf<\/em><\/figcaption><\/figure>\n

    Cal destacar que s’ha realitzat un mapatge dels valors proporcionats pel sensor per tenir en compte el valor absolut de les dist\u00e0ncies respecte del centre del cos de l’usuari i aix\u00ed realitzar una lectura \u201csim\u00e8trica\u201d de la posici\u00f3 de les mans. Tamb\u00e9 s’han transposat i escalat els valors de lectura per aconseguir rangs dels valors dels par\u00e0metres del sintetitzador m\u00e9s \u00fatils i rellevants des del punt de vista est\u00e8tic.<\/p>\n

     <\/p>\n

    Referents<\/h2>\n

    a) origen<\/strong>
    \nLa base d’aquest treball ha estat la pr\u00e0ctica realitzada per l’assignatura \u201cDisseny d’Interacci\u00f3\u201d<\/a> on vaig desenvolupar un prototip de sintetitzador visual\/sonor controlat mitjan\u00e7ant els sensors del comandament de jocs \u201cnunchuck\u201d: acceler\u00f2metres, botons, joysticks<\/em>…<\/p>\n

    En la primera PAC de la present assignatura “Realitat Virtual” vaig analitzar l’adequaci\u00f3 de tres projectes relacionats a la definici\u00f3 del que s’ent\u00e9n per Realitat Virtual, el videojoc DJ Hero, l’aplicaci\u00f3 de RV immersiva “The music room” i el prototip de flauta interactiva desenvolupat per Gelineck, B\u00f6ttcher et al. Despr\u00e9s d’estudiar el funcionament i l’adequaci\u00f3 d’aquestes aplicacions a les definicions i principis que hem vist en el curs, vaig arribar a la conclusi\u00f3 de que no era estrictament necessari realitzar una aplicaci\u00f3 immersiva per desenvolupar un projecte de Realitat Virtual, si es donaven les condicions fonamentals de creaci\u00f3 d’est\u00edmuls sonors i visuals en temps real en resposta a les interaccions de l’usuari.<\/p>\n

    Un dels motius pels que estic cursant els estudis del Grau Multim\u00e8dia \u00e9s incorporar els coneixements que hi adquireixi en processos de creaci\u00f3 art\u00edstica, especialment aquells que integren generaci\u00f3 sonora i visual de tipus performatiu. Aprofitant que al semestre anterior v\u00e0rem estudiar les possibilitats de creaci\u00f3 sonora amb Processing i la llibreria Minim a l’assignatura \u201cTractament i Publicaci\u00f3 d’\u00c0udio\u201d he volgut continuar amb el desenvolupament d’aquest prototip i avan\u00e7ar en el descobriment de les possibilitats que ofereix la interacci\u00f3 amb entorns virtuals pel que fa a la creaci\u00f3 d’eines de creaci\u00f3 sonora\/visual en temps real.<\/p>\n

    b) replanteig<\/strong>
    \nA la PAC2 havia previst fer servir un entorn de visualitzaci\u00f3 h\u00edbrid basat en un monitor convencional (no immersiu), tamb\u00e9 conegut amb el nom de WoW <em<(\u201cwindow on the world\u201d), en el que les imatges generades per l’ordinador es sobreposassin a les obtingudes per la c\u00e0mera del dispositiu Leap Motion i la pantalla mostraria a l’usuari tant les seves mans reals com un un model tridimensional d’aquestes. Com la finalitat d’aquesta visualitzaci\u00f3 era b\u00e0sicament obtenir un feedback de la lectura dels sensors, una vegada desenvolupant el prototip, aquesta representaci\u00f3 ha resultat redundant i s’ha optat per mostrar en pantalla \u00fanicament els valors dels par\u00e0metres del sintetitzador mitjan\u00e7ant una GUI prove\u00efda de botons i valors num\u00e8rics. La generaci\u00f3 del graf entre les mans de l’usuari mitjan\u00e7ant una projecci\u00f3 zenital sobre la taula i el material sonor creat en temps real s\u00f3n prou rellevants en s\u00ed mateixos com per representar el resultat d’una interacci\u00f3 rica en matisos i capacitat d’immersi\u00f3.<\/p>\n

    c) experiments descartats<\/strong>
    \nEn el proc\u00e9s de desenvolupament s’han descartat algunes de les idees previstes en la descripci\u00f3 del prototip original. En primer lloc, encara que existeixen llibreries que permeten una lectura de la posici\u00f3 de les mans amb el sensor situat sobre el front de l’usuari, el seu \u00fas es troba limitat a entorns de desenvolupament com Unity; per tant, finalment s’ha optat per situar el sensor en la seva posici\u00f3 habitual, entre les mans de l’usuari i sobre la taula.<\/p>\n

    Tamb\u00e9 s\u2019han provat algunes alternatives al suavitzat de valors mitjan\u00e7ant interpolaci\u00f3 lineal dels valors (n) i (n-1) amb la funci\u00f3 lerp()<\/code>, com arrays<\/em> de flotants que proporcionassin la mitja dels darrers \u201cx\u201d valors, per\u00f2 finalment s’ha optat per la primera soluci\u00f3 degut a la seva facilitat d’implementaci\u00f3 i menor lat\u00e8ncia.<\/p>\n

    Una part important del proc\u00e9s de treball ha estat la experimentaci\u00f3 amb el mapatge de la lectura dels valors dels sensors respecte de les accions a realitzar pel prototip. S’han escollit els rangs i escalaments m\u00e9s adients des del punt de vista expressiu i est\u00e8tic.<\/p>\n

    Impacte<\/h2>\n

    El prototip proposat es pot classificar com un instrument sono-visual emmarcat dins l’\u00e0mbit de la m\u00fasica visual<\/a>, en\u00a0laque es tradueixen els sons o la m\u00fasica en una presentaci\u00f3 visual relacionada. Presenta similituds amb l’instrument electr\u00f2nic conegut amb el nom de Theremin<\/a>, que permet la creaci\u00f3 de sons amb una altura tonal i volum determinats per la dist\u00e0ncia de les mans a les dues antenes de l’instrument. En canvi, el Leapsajous permet un control molt m\u00e9s extens dels par\u00e0metres sonors ja que es pot modificar tamb\u00e9 el timbre del so generat i, a m\u00e9s, permet la creaci\u00f3 simult\u00e0nia de dues notes, cosa impossible de dur a terme amb el Theremin.<\/p>\n

    Amb uns mapatges m\u00e9s perfeccionats que permetin un control m\u00e9s prec\u00eds dels par\u00e0metres sonors i la incorporaci\u00f3 dels altres gestos i punts de seguiment que permet incorporar el dispositiu LeapMotion es podria aconseguir la creaci\u00f3 d’un instrument musical prou fiable i expressiu com per ser incorporat en actuacions musicals-visuals en l’\u00e0mbit de la m\u00fasica electr\u00f2nica experimental en directe.<\/p>\n

    Hacks<\/h2>\n

    En aquests moments, la lectura de les dades proporcionades pels sensors es trasllada directament al sintetitzador implementat en Processing. Per\u00f2 es podria implementar amb facilitat la transmissi\u00f3 de par\u00e0metres de control mitjan\u00e7ant OSC (Open Sound Control<\/a>) fent servir llibreries com OSCP5<\/a> \u00a0amb la finalitat de controlar qualsevol instrument musical prove\u00eft d’aquest protocol de comunicaci\u00f3, com per exemple el sistema Kyma<\/a>, de Symbolic Sound, o un patcher programat en els entorns Max<\/a> o PureData<\/a>. Aquests dos darrers entorns de programaci\u00f3 tamb\u00e9 permetrien la creaci\u00f3 d’altres imatges, fins i tot en 3D, que respondrien al so de manera similar a com ho fa el projector l\u00e0ser en el prototip actual.<\/p>\n

     <\/p>\n

    Resultat final<\/h2>\n