Título: Manofón
Autor: Paco Durán
Tecnologías:
- Arduino
- Ordenador con Processing
- Módulo con giroscopio y acelerómetro
- Módulo Bluetooth
- Sensores capacitivos
- Altavoces
- Proyector
Descripción
Manofón es una aplicación musical de realidad mixta. El usuario puede crear música con los gestos de una mano mientras controla el movimiento de un objeto virtual que se muestra en pantalla. El objeto virtual representa las características del sonido y el sonido las del objeto virtual, y estas características pueden ser cambiadas por el usuario mientras crea la música.
El sonido está generado por dos osciladores: el primero puede tener forma de onda sinusoidal, cuadrada o triangular; y el segundo forma de onda cuadrada, de diente de sierra, o pulso. Las dos ondas están separadas por un rango de dos octavas cuando suenan en la misma nota, pero el usuario puede escoger también que suenen en un intervalo de quinta, de cuarta o de tercera. También se pueden aplicar varios efectos al sonido (aunque no a la vez): filtro pasa-bajos, delay y flanger. El rango de frecuencias en que el usuario puede “tocar” es también de dos octavas.
Para controlar Manofón el usuario dispone de un guante con varios sensores. Con el movimiento de su dedo índice controla la frecuencia del sonido (movimiento horizontal) y la amplitud (vertical), y girando la muñeca a izquierda o derecha controla la intensidad del efecto que se haya aplicado.
Además, el guante deja el dedo pulgar del usuario al descubierto para que este pueda pulsar los diferentes sensores capacitivos que hay repartidos en los otros dedos. Cada vez que toque el sensor del dedo índice cambiará la forma de onda del oscilador principal, con el dedo corazón la forma de onda del oscilador secundario, con el dedo anular cambiará de efecto y con el meñique cambiará de intervalo.
Por otra parte, el programa muestra en pantalla un objeto virtual que cambia de forma dependiendo de la forma de onda del oscilador principal (esfera, cubo y pirámide). Este objeto rota en tres dimensiones de manera análoga al movimiento del dedo del usuario, como si manejara un trackball, y cambia de color paralelamente a la frecuencia del sonido. Además, como apoyo al usuario se muestran también en pantalla las opciones activas (tipos de onda, intervalos y efecto aplicado).
Manofón está pensado principalmente para ser utilizado en salas o centros culturales por usuarios que no saben qué se van a encontrar ni cómo pueden utilizarlo. La intención de Manofón no es que el usuario llegue a controlar sus funciones hasta el punto de convertirlo en una herramienta o un instrumento, sino que disfrute del proceso de aprendizaje autodidacta de sus funciones, y aprovechar ese proceso como una reflexión sobre la relación entre nuestros actos y nuestros sentidos.
Referentes
La idea del proyecto es continuar con el trabajo realizado para la PR de la asignatura Disseny d’Interacció. El ejercicio realizado consistía también en un instrumento musical programado en Processing que se controlaba con los movimientos del usuario y que mostraba una imagen que reaccionaba a los movimientos del usuario y al sonido creado por este, solo que en aquel ejercicio las técnicas utilizadas eran Kinect y un mando DualShock para cambiar los filtros y las formas de onda, y para modificar la profundidad captada por Kinect y todas las características del sonido excepto la frecuencia y la amplitud. En el trabajo de Disseny d’Interacció utilizaba un solo oscilador. Se puede ver un ejemplo de su funcionamiento en Vimeo: https://vimeo.com/169018190.
Por otra parte, he utilizado también como referencia dos de los proyectos analizados en la PAC 1: Oblique Theorem y Playthings VR, de George Michael Brower (Always & Forever Computer Entertainment), y otras aplicaciones como Lady’s Glove, de Laetitia Sonami; The Music Room, de la empresa Chroma Coda; y especialmente Sound-Self, de Robin Arnott, y MikroControlleur, de Katharina Hauke y Dominik Hildebrand Marques Lopes. Todos estos proyectos están centrados en la creación o modificación de sonidos con el cuerpo, o de imágenes mediante el sonido.
Playthings VR es un entorno de realidad virtual programado para el set HTC Vive en el que el usuario puede tocar cualquier objeto –siempre alimentos– con unas baquetas virtuales gracias a los controladores del set, haciéndolo sonar como si se tratara de un instrumento musical, o modificar el entorno del juego con los mismos controladores a modo de pinzas de cocina. Más información en http://playthingsvr.com/.
Oblique Theorem es una experiencia de realidad virtual en el entorno del baile. En lugar de seguir un tiempo marcado por una grabación o por una orquesta y una coreografía dependiente de la música, es el sonido el que sigue al bailarín, generándose en tiempo real siguiendo los movimientos y el ritmo de este. De esta forma el bailarín también es, como sujeto virtual, su propia orquesta. Más información en http://www.junginjung.com/blank-6.
The Music Room, de la empresa Chroma Coda, hace uso del sistema HTC Vive para crear un estudio de grabación en un entorno de realidad virtual en el que el usuario puede grabar y tocar diferentes instrumentos. Más información en http://www.musicroomvr.com/.
SoundSelf es, según palabras de su propio autor, “una experiencia psicodélica, o tecnodélica” que trata de conseguir que el usuario llegue a un estado de meditación mediante una relación sinestésica de sonido e imagen. Más información en http://soundselfgame.com/.
MikroControlleur se centra en la exploración de la propia voz del usuario mediante un sistema de cuerdas unidas a un micrófono que modifica el sonido de la voz hasta hacerla irreconocible. Así, une los actos del usuario con el resultado y a la vez hace que el usuario vea (u oiga en este caso) el resultado de sus actos como como algo ajeno. Más información en https://www.behance.net/gallery/34408523/MikroKontrolleur.