Autor: Jaume Millán estudiant del Grau Multimèdia de la UOC
Produce MR és un sistema d’ajuda de realitat mixta per comandes de veu que complementa tots els aspectes de fabricació d’un producte, així com de les mesures de seguretat i emergència de l’entorn industrial.
LLISTAT D’ESPECIFICACIONS DE L’APLICACIÓ
L’aplicació de realitat virtual plantejada s’orienta a l’estratègia de realçar les percepcions de l’operador o usuari respecte al món real com mètode d’ajuda en el procés de producció, així com aconseguir que l’operador experimenti de forma pràctica els aspectes concrets de la fabricació del producte, a través de la interacció amb objectes 3D amb l’objectiu de facilitar l’aprenentatge d’una forma pràctica.
L’aplicació constarà dos nivells de ajuda en funció de la preferència de l’operador:
Nivell A
Un avatar, és a dir, la representació d’una persona virtual guiarà a l’usuari en cas de que la seva presència sigui sol·licitada. En aquest cas serà l’avatar el que expliqui a través de la veu i amb les seves accions les diferents màquines emprades en el procés de fabricació, així com les instruccions de seguretat i emergència.
Nivell B
Serà el mateix usuari el que experimentarà amb les seves accions l’aprenentatge del procés de fabricació del producte, així com amb les instruccions de producció i seguretat. Les instruccions de seguretat estaran representades per un casc mentre que les de producció figuraran a un llibre.
La selecció dels diversos objectes 3D virtuals situats a l’entorn industrial de fabricació es realitzarà a través de la veu. Les accions de manipulació de l’operari a l’entorn virtual es realitzaran mitjançant uns guants sensitius que permetran a l’usuari manipular les eines dels escenaris virtuals per practicar les operacions de fabricació.
FUNCIONAMENT DE L’APLICACIÓ
L’operador de forma contextual, és a dir, en funció de la part del procés de fabricació on es trobi demanarà ajuda mitjançant la veu i aquesta és contextualitzarà a aquesta part de la producció. Aquest suport es demanarà mitjançant un micròfon utilitzant les paraules clau: avatar, manual o casc.
Avatar
Si la paraula pronunciada és avatar, un personatge vestit d’operari es presentarà com guia en el procés d’aprenentatge. Una vegada presentat l’avatar, l’usuari tindrà dues opcions:
Opció A: mitjançant la combinació de paraules instruccions veu l’usuari demandarà una explicació bàsica de la part del procés de producció a la qual es troba. Aquesta explicació la farà l’avatar mitjançant la reproducció d’un missatge de so i indicant les peces o botons de la maquina a que fa referència. El missatge de so podrà ser interromput a qualsevol moment per l’usuari a través de la paraula stop.
Opció B: mitjançant la combinació de paraules instruccions manipulació l’usuari demandarà una explicació extensa del procediment, a la qual l’avatar farà una demostració pràctica de la part del procés de producció a la qual es troba. L’avatar manipularà la maquina de forma virtual i realitzarà les accions pròpies d’aquesta part del procés de fabricació. La demostració de l’avatar es combinarà amb la maquina real per il·lustrar les seves accions (virtualitat augmentada). De la mateixa manera aquest apartat anirà acompanyat d’un missatge de so que juntament amb la demostració podrà ser interromput per l’usuari en qualsevol moment mitjançant de la paraula stop.
Manual
Si la paraula pronunciada és manual, un missatge de so explicarà la manipulació a realitzar per l’operari a aquesta part del procés.
Si l’usuari pronuncia la paraula manipular es desplegarà un escenari virtual que permetrà realitzar les accions pròpies del procediment mentre prossegueix la locució. Mentre es realitza la manipulació apareixeran una sèrie de paraules a l’entorn virtual que l’usuari podrà pronunciar per ampliar o aprofundir en el procés de manipulació. Si la manipulació es realitza correctament es visualitzarà la paraula OK en verd.
Aquest apartat anirà acompanyat d’un missatge de so que juntament amb la demostració podrà ser interromput per l’usuari en qualsevol moment mitjançant de la paraula stop.
Casc
Si la paraula pronunciada és casc, un missatge de so explicarà les instruccions de seguretat d’aquesta part del procés.
Si l’usuari pronuncia la paraula manipular es desplegarà un escenari virtual que permetrà realitzar les accions pròpies del procediment relacionades amb la seguretat mentre prossegueix la locució. Al igual que en el cas del manual, mentre es realitza la manipulació apareixeran una sèrie de paraules a l’entorn virtual que l’usuari podrà pronunciar per ampliar o aprofundir en el procés de manipulació. Si la manipulació es realitza correctament es visualitzarà la paraula OK en verd.
Aquest apartat anirà acompanyat d’un missatge de so que juntament amb la demostració podrà ser interromput per l’usuari en qualsevol moment mitjançant de la paraula stop.
FUNCIONALITATS BÀSIQUES I REQUERIMENTS TÈCNICS DE L’APLICACIÓ
Les funcionalitat bàsiques del projecte serien:
- Generació d’entorns virtuals en 3D.
- Interacció per reconeixement de veu.
- Reproducció de so.
- Manipulació d’objectes reals i virtuals.
Maquinari
Per a la realització del mapatge s’utilitzarà un ordinador amb suficient capacitat de procés per realitzar totes les operacions matemàtiques necessàries per generar l’entorn virtual i traduir les tant les comandes de veu com els moviments en temps real de l’operador a l’entorn virtual.
Com perifèrics d’entrada o sensors s’utilitzaran uns guants sensitius tipus GloveOne que a part de realitzar accions permet sentir-les mitjançant sensors de calor i humitat. Aquests sensors poden ser de gran utilitat en entorns de fabricació als qual, per exemple, es pot escalfar una determinada màquina o perdre algun tipus de líquid.
Guants sensitius tipus GloveOne
Com perifèrics d’entrada-sortida s’utilitzarà un dispositiu HMD (head-mounted display). Aquest dispositiu com perifèric d’entrada incorpora un micròfon per a donar les instruccions de veu, i com perifèric de sortida permet la visualització de l’entorn virtual i sentir a través d’uns auriculars les explicacions de fabricació. Aquest dispositiu pot ser tipus HoloLens de Microsoft que permet barrejar l’entorn real amb el digital gràcies a la detecció de l’espai on es troba l’usuari.
Dispositiu HMD (Head-Mounted Display) HoloLens de Microsoft
Programari
Per la creació de l’entorn virtual s’utilitzarà el programari Delmia Virtual Built de Dassault Systemes.
Pel reconeixement de veu s’utilitzarà l’aplicació AMR Voice que interactua amb Arduino. Aquesta aplicació ja es va utilitzar a l’assignatura de Disseny d’Interacció a la qual es realitzava una pràctica que consistia en la creació d’un sistema domòtic controlat mitjançant comandaments de veu.
Per a la resta de programació s’utilitzarà HTML (HyperText Markup Language) i el full d’estils CSS.
DISSENY DE L’ENTORN VIRTUAL I DEL SUBJECTE VIRTUAL
Entorn virtual
Tal com s’ha comentat l’entorn virtual es crearà amb el programari Delmia Virtual Built de Dassault Systemes. Aquesta eina permet:
- Crear i importar plans de processos de fabricació en 3D
- Visualitzar la construcció del producte
- Comprovar les operacions d’acoblament
- Corregir errors de muntatge
- Entendre les limitacions del procés
Amb aquesta aplicació es podrà generar tant l’avatar com els objectes 3D interactius (casc i manual), així com tot l’entorn virtual que ha de simular el procés de fabricació amb el qual interactuarà l’usuari com mètode d’ajuda i aprenentatge.
El sistema de so també formarà part de l’entorn virtual i es disposarà de tal manera que no desvirtuï l’experiència de l’usuari, és a dir, quan parli l’avatar haurà de semblar què és ell el que parla i no una veu en off, com és el cas de les instruccions de manipulació i seguretat.
Subjecte o subjectivitat virtual
L’experiència o la interacció en temps real relaciona l’usuari amb l’entorn virtual, de manera que s’ha de definir un model de subjecte virtual mitjançant el qual l’usuari pot experimentar l’entorn segons unes regles de comportament i unes interfícies.
En el nostre cas, tal com s’ha comentat anteriorment, en funció de l’opció escollida per l’operador a l’escena es podria parlar d’una doble subjectivitat a l’aplicació: l’avatar actua com subjecte virtual quan es utilitzat per l’operador per realitzar les actuacions; mentre que si aquestes actuacions són realitzades directament per l’operador aquest és el subjecte real de l’aplicació.
REFERENTS
Com principal referent del present treball recollit a la PAC1 de l’assignatura destaca el programari Delmia de Dassault Systemes.
http://www.3ds.com/es/productos-y-servicios/delmia/
Delmia és un producte de realitat virtual basat en la plataforma 3Dexperience, la finalitat de la qual és convertir-se en una eina d’ajuda a les empreses globals per reimaginar la planificació, gestió i optimització de les operacions industrials. Per millorar les operacions és necessària una harmonia en la globalitat del disseny, la producció, la distribució, les persones i els processos.
Amb Delmia es pot dissenyar i realitzar proves en un entorn de producció simulat. Un cop finalitzat el procés, es pot planificar, produir i gestionar de forma eficient tots els recursos, des del personal i la producció fins al lliurament al client. A més possibilita que totes les parts involucrades poden formar part d’una comunitat en la qual tots els membres i els actius treballen perseguint els mateixos objectius de millora en les operacions.
Encara que Delmia és un producte de RV no immersiva en el qual l’usuari es manté fora de l’escena i la interacció utilitza com interfície física mitjans clàssics (ratolí i pantalla), crec que és interessant destacar les possibilitats que ofereix 3Dexperience com interfície lògica per realitzar el mapatge i d’aquesta manera generar entorns viduals del sector industrial. De la mateixa manera crec que és interessant destacar les possibilitats que ofereix la interacció en temps real com eina de simulació de processos a nivell global.
Les funcionalitats de Delmia es desenvolupen en 3 apartats diferenciats:
Fabricació digital
Els usuaris de les solucions de fabricació digital de Delmia poden simular, amb eines per definir i optimitzar virtualment els actius de fabricació juntament amb la planificació de la fabricació, així com utilitzar un sistema de producció virtual precís per rastrejar les activitats de producció en temps real, realitzar canvis en la planificació, llançar nous programes i introduir canvis en el model, així com planificar les operacions de manteniment.
Les eines de fabricació digital són: ergonomics, planificació de processos, robotics, fabricació i fabricació col·laborativa.
En aquest punt és especialment útil l’eina Delmia Virtual Built que permet la creació i interacció amb entorns virtuals de fabricació per a la simulació i posterior millora de sistemes de producció:
https://www.youtube.com/watch?v=NsdWtd3ckIY
Gestió de les operacions de fabricació
Els usuaris de les solucions de gestió d’operacions de fabricació de Delmia poden a través de la simulació organitzar processos de personal, plantes i equips per millorar la col·laboració, aconseguir la visibilitat en temps real, el control i la sincronització dels processos empresarials que abastin operacions globals per assolir i mantenir l’excel·lència operativa i extreure la intel·ligència de fabricació en temps real per donar suport a la millora contínua del procés global.
Planificació i optimització de les operacions
El programari Quintiq s’utilitza per planificar els lliuraments interactuant amb el sistema amb temps real, aquest fet permet obtenir informació immediata per minimitzar les conseqüències i les interrupcions, així com rebre informació instantània d’indicadors clau de rendiment sobre la qualitat de les decisions.
RESULTAT FINAL
El resultat final de l’aplicació Produce MR es presenta a la maqueta de l’aplicació realitzada amb el programa Adobe Premiere i allotjada a Vimeo, l’enllaç de la qual és el següent: