Autor: Jaime Millán estudiante del Grado Multimedia de la UOC
Produce MR es un sistema de ayuda de realidad mixta por ordenes de voz que complementa todos los aspectos de fabricación de un producto, así como de las medidas de seguridad y emergencia del entorno industrial.
LISTADO DE ESPECIFICACIONES DE LA APLICACIÓN
La aplicación de realidad virtual planteada se orienta a la estrategia de realzar las percepciones del operador o usuario respecto al mundo real como método de ayuda en el proceso de producción, así como conseguir que el operador experimente de forma práctica los aspectos concretos de la fabricación del producto, a través de la interacción con objetos 3D con el objetivo de facilitar el aprendizaje de una forma práctica.
La aplicación constará de dos niveles de ayuda en función de la preferencia del operador:
Nivel A
Un avatar, es decir, la representación de una persona virtual guiará al usuario en caso de que su presencia sea solicitada. En este caso será el avatar el que explique a través de la voz y con sus acciones las diferentes máquinas empleadas en el proceso de fabricación, así como las instrucciones de seguridad y emergencia.
Nivel B
Será el mismo usuario el que experimentará con sus acciones el aprendizaje del proceso de fabricación del producto, así como con las instrucciones de producción y seguridad. Las instrucciones de seguridad estarán representadas por un casco mientras que las de producción figurarán en un libro.
La selección de los diversos objetos 3D virtuales situados en el entorno industrial de fabricación se realizará a través de la voz. Las acciones de manipulación del operario en el entorno virtual se realizarán mediante unos guantes sensitivos que permitirán al usuario manipular las herramientas de los escenarios virtuales para practicar las operaciones de fabricación.
FUNCIONAMIENTO DE LA APLICACIÓN
El operador de forma contextual, es decir, en función de la parte del proceso de fabricación donde se encuentre pedirá ayuda mediante la voz y esa es contextualizará a esta parte de la producción. Este apoyo se pedirá mediante un micrófono utilizando las palabras clave: avatar, manual o casco.
Avatar
Si la palabra pronunciada es avatar, un personaje vestido de operario se presentará como guía en el proceso de aprendizaje. Una vez presentado el avatar, el usuario tendrá dos opciones:
Opción A: mediante la combinación de palabras instrucciones voz el usuario pedirá una explicación básica de la parte del proceso de producción en la que se encuentra. Esta explicación la hará el avatar mediante la reproducción de un mensaje de sonido e indicando las piezas o botones de la máquina a que hace referencia. El mensaje de sonido podrá ser interrumpido en cualquier momento por el usuario a través de la palabra stop.
Opción B: mediante la combinación de palabras instrucciones manipulación el usuario demandará una explicación extensa del procedimiento, en la que el avatar hará una demostración práctica de la parte del proceso de producción en la que se encuentra. El avatar manipulará la máquina de forma virtual y realizará las acciones propias de esta parte del proceso de fabricación. La demostración del avatar se combinará con la máquina real para ilustrar sus acciones (virtualidad aumentada). Del mismo modo este apartado irá acompañado de un mensaje de sonido que junto con la demostración podrá ser interrumpido por el usuario en cualquier momento mediante la palabra stop.
Manual
Si la palabra pronunciada es manual, un mensaje de sonido explicará la manipulación a realizar por el operario en esta parte del proceso.
Si el usuario pronuncia la palabra manipular se desplegará un escenario virtual que permitirá realizar las acciones propias del procedimiento mientras prosigue la locución. Mientras se realiza la manipulación aparecerán una serie de palabras en el entorno virtual que el usuario podrá pronunciar para ampliar o profundizar en el proceso de manipulación. Si la manipulación se realiza correctamente se visualizará la palabra OK en verde.
Este apartado irá acompañado de un mensaje de sonido que junto con la demostración podrá ser interrumpido por el usuario en cualquier momento mediante la palabra stop.
Casco
Si la palabra pronunciada es casco, un mensaje de sonido explicará las instrucciones de seguridad de esta parte del proceso.
Si el usuario pronuncia la palabra manipular se desplegará un escenario virtual que permitirá realizar las acciones propias del procedimiento relacionadas con la seguridad mientras prosigue la locución. Al igual que en el caso del manual, mientras se realiza la manipulación aparecerán una serie de palabras en el entorno virtual que el usuario podrá pronunciar para ampliar o profundizar en el proceso de manipulación. Si la manipulación se realiza correctamente se visualizará la palabra OK en verde.
Este apartado irá acompañado de un mensaje de sonido que junto con la demostración podrá ser interrumpido por el usuario en cualquier momento mediante la palabra stop.
FUNCIONALIDADES BÁSICAS Y REQUISITOS TÉCNICOS DE LA APLICACIÓN
Las funcionalidad básicas del proyecto serían:
- Generación de entornos virtuales en 3D.
- Interacción por reconocimiento de voz.
- Reproducción de sonido.
- Manipulación de objetos reales y virtuales.
Hardware
Para la realización del mapeo se utilizará un ordenador con suficiente capacidad de proceso para realizar todas las operaciones matemáticas necesarias para generar el entorno virtual y traducir las tanto los pedidos de voz como los movimientos en tiempo real del operador a la entorno virtual.
Como periféricos de entrada o sensores utilizarán unos guantes sensitivos tipo GloveOne que aparte de realizar acciones permite escucharlas mediante sensores de calor y humedad. Estos sensores pueden ser de gran utilidad en entornos de fabricación en los que, por ejemplo, se puede calentar una determinada máquina o perder algún tipo de líquido.
Guantes sensitivos tipo GloveOne
Como periféricos de entrada-salida se utilizará un dispositivo HMD (head-mounted display). Este dispositivo como periférico de entrada incorpora un micrófono para dar las instrucciones de voz, y como periférico de salida permite la visualización del entorno virtual y sentir a través de unos auriculares las explicaciones de fabricación. Este dispositivo puede ser tipo HoloLens de Microsoft que permite mezclar el entorno real con el digital gracias a la detección del espacio donde se encuentra el usuario.
hololens2Dispositiu HMD (Head-Mounted Display) HoloLens de Microsoft
Software
Para la creación del entorno virtual se utilizará el software Delmia Virtual Built de Dassault Systemes.
Por el reconocimiento de voz se utilizará la aplicación AMR Voice que interactúa con Arduino. Esta aplicación ya se utilizó en la asignatura de Diseño de Interacción en la que se realizaba una práctica que consistía en la creación de un sistema domótico controlado mediante comandos de voz.
Para el resto de programación utilizará HTML (HyperText Markup Language) y la hoja de estilos CSS.
DISEÑO DEL ENTORNO VIRTUAL Y DEL SUJETO VIRTUAL
Entorno virtual
Tal como se ha comentado el entorno virtual se creará con el software Delmia Virtual Built de Dassault Systemes. Esta herramienta permite:
- Crear e importar planes de procesos de fabricación en 3D
- Visualizar la construcción del producto
- Comprobar las operaciones de ensamblaje
- Corregir errores de montaje
- Entender las limitaciones del proceso
Con esta aplicación se podrá generar tanto el avatar como los objetos 3D interactivos (casco y manual), así como todo el entorno virtual que debe simular el proceso de fabricación con el que interactuará el usuario como método de ayuda y aprendizaje .
El sistema de sonido también formará parte del entorno virtual y se dispondrá de tal manera que no desvirtúe la experiencia del usuario, es decir, cuando hable el avatar deberá parecer que es él el que habla y no una voz en off, como es el caso de las instrucciones de manipulación y seguridad.
Sujeto o subjetividad virtual
La experiencia o la interacción en tiempo real relaciona el usuario con el entorno virtual, por lo que se debe definir un modelo de sujeto virtual mediante el cual el usuario puede experimentar el entorno según unas reglas de comportamiento y unas interfaces.
En nuestro caso, como se ha comentado anteriormente, en función de la opción elegida por el operador en la escena se podría hablar de una doble subjetividad en la aplicación: el avatar actúa como sujeto virtual cuando se utilizado por el operador para realizar las actuaciones; mientras que si estas actuaciones son realizadas directamente por el operador este es el sujeto real de la aplicación.
REFERENTES
Como principal referente del presente trabajo recogido en la PEC1 de la asignatura destaca el software Delmar de Dassault Systemes.
http://www.3ds.com/es/productos-y-servicios/delmia/
Delmar es un producto de realidad virtual basado en la plataforma 3Dexperience, cuya finalidad es convertirse en una herramienta de ayuda a las empresas globales para reimaginar la planificación, gestión y optimización de las operaciones industriales. Para mejorar las operaciones es necesaria una armonía en la globalidad del diseño, la producción, la distribución, las personas y los procesos.
Con Delmia se puede diseñar y realizar pruebas en un entorno de producción simulado. Una vez finalizado el proceso, se puede planificar, producir y gestionar de forma eficiente todos los recursos, desde el personal y la producción hasta la entrega al cliente. Además posibilita que todas las partes involucradas pueden formar parte de una comunidad en la que todos los miembros y los activos trabajan persiguiendo los mismos objetivos de mejora en las operaciones.
Aunque Delmia es un producto de RV no inmersiva en el que el usuario se mantiene fuera de la escena y la interacción utiliza como interfaz física medios clásicos (ratón y pantalla), creo que es interesante destacar las posibilidades que ofrece 3Dexperience como interfaz lógica para realizar el mapeo y de esta manera generar entornos individuales del sector industrial. Del mismo modo creo que es interesante destacar las posibilidades que ofrece la interacción en tiempo real como herramienta de simulación de procesos a nivel global.
Las funcionalidades de Delmia se desarrollan en 3 apartados diferenciados:
Fabricación digital
Los usuarios de las soluciones de fabricación digital de Delmia pueden simular, con herramientas para definir y optimizar virtualmente los activos de fabricación junto con la planificación de la fabricación, así como utilizar un sistema de producción virtual preciso para rastrear las actividades de producción en tiempo real , realizar cambios en la planificación, lanzar nuevos programas e introducir cambios en el modelo, así como planificar las operaciones de mantenimiento.
Las herramientas de fabricación digital son: ergonómics, planificación de procesos, robotics, fabricación y fabricación colaborativa.
En este punto es especialmente útil la herramienta Delmia Virtual Built que permite la creación e interacción con entornos virtuales de fabricación para la simulación y posterior mejora de los sistemas de producción:
https://www.youtube.com/watch?v=NsdWtd3ckIY
Gestión de las operaciones de fabricación
Los usuarios de las soluciones de gestión de operaciones de fabricación de Delmia pueden a través de la simulación organizar procesos de personal, plantas y equipos para mejorar la colaboración, conseguir visualitzación en tiempo real, el control y la sincronización de los procesos empresariales que abarquen operaciones globales para alcanzar y mantener la excelencia operativa y extraer la inteligencia de fabricación en tiempo real para apoyar la mejora continua del proceso global.
Planificación y optimización de las operaciones
El software Quintiq utiliza para planificar las entregas interactuando con el sistema en tiempo real, este hecho permite obtener información inmediata para minimizar las consecuencias y las interrupciones, así como recibir información instantánea de indicadores clave de rendimiento sobre la calidad de las decisiones.
RESULTADO FINAL
El resultado final de la aplicación Produce MR se presenta en la maqueta de la aplicación realizada con el programa Adobe Premiere y alojada en Vimeo, el enlace es el siguiente: