RESUMEN
El presente trabajo tiene por objetivo explorar las interfaces de un sistema autónomo Brain Computer Interface (BCI) para la expresión visual alterada por los estímulos cerebrales. Se exploran dimensiones posibles de captura de datos eléctricos cerebrales, correspondientes a diferentes estados mentales y físicos. Una vez obtenidos los datos se capturan con programación y se reinterpretan de acuerdo con las frecuencias cerebrales derivadas de la obra Desfases de Néstor Olhagaray.
Si estas frecuencias cerebrales alteran estos elementos digitales, podrían ser utilizadas para desentramar y crear una narrativa audiovisual generativa, que consuma el mismo estímulo por el cual fue generada. En esta línea, se propone la creación de una interfaz intrainteractiva que, sin mediar intención directa y consciente del espectador o espectadora, logre y provoque con la estimulación visual un nivel mayor a las BCI activas y anclarlas con el proceso de creación y resignificación de obra audiovisual.
ABSTRACT
The present work aims at exploring the interfaces of an autonomous Brain Computer Interface (BCI) for the visual expression altered by brain stimuli. It explores possible dimensions of brain electrical data capture, corresponding to different mental and physical states. Once collected, data are captured using programming and are reinterpreted according to the brain frequencies derived from the work Desfases by Néstor Olhagaray.
If these brain frequencies alter these digital elements, they could be used to unravel and create a generative audiovisual narrative consuming the same stimulus for which it was generated. In this line of thought, the work suggests the creation of an intra-interactive interface that, without direct and conscious intention of the viewer but through visual stimulation, reaches and causes a higher level of active BCIs and anchors them with the process of creation and resignification of audiovisual artwork.
1. HACKEAR EL CEREBRO
1.1. Cómo funciona el cerebro y su recepción de estímulos
El cerebro produce permanentemente estímulos eléctricos. Con la tecnología actual resulta posible saber a qué corresponde cada uno de estos estímulos eléctricos, definiéndose en parámetros sensoriales, visuales, auditivos, táctiles y su comportamiento respecto de distintas actividades en relación con diferentes estados mentales.
Este órgano está compuesto por dos hemisferios, izquierdo y derecho. Los cuales representan el 85% del peso total de este (1,5kg). No hay mayor diferencia en el trabajo que realiza cada uno de los hemisferios, solamente en la manera de procesar la información.
El hemisferio izquierdo procesa información analítica y secuencial, por ende, lógica y lineal. Abstrae, articula palabras y números. Se califica como pensamiento convergente, el cual logra obtener nueva información al usar datos ya disponibles para crear nuevas ideas. El derecho está determinado por la percepción global y sintetiza la información compleja que llega a través de los estímulos sensoriales. Es por este hemisferio que entendemos metáforas y combinamos ideas.
Una de las formas utilizadas para representar visualmente la actividad eléctrica del cerebro es el electroencefalograma o EEG, que es la interpretación gráfica de actividad eléctrica generada por las neuronas, posibilita la obtención de datos numéricos respecto de la actividad cerebral eléctrica en el cerebro, definiendo distintos tipos de frecuencias, las cuales se detonan bajo distintos estímulos mentales y situaciones.
Las señales EEG son divididas en grupos de acuerdo con su frecuencia en ondas Hertz (ciclo por cada segundo), y su correlación con situaciones sicológicas y físicas asociadas a la actividad del cerebro. Cada frecuencia tiene sus propias características de acuerdo con el estado en el cual la persona se encuentra al momento de la lectura. Los rangos de frecuencia de las ondas EEG son clasificados según se indica en la siguiente Tabla, propuesta por Villegas y Rojas (2019).
Tabla 1. Onda EEG, frecuencia y estado de persona
Los avances tecnológicos han contribuido a mejorar la distribución e implementación de tecnología EEG en diferentes espacios de investigación, lo cual ha permitido medir la actividad cerebral de las personas de manera portable y a bajo costo.
1.2. Rescate de estímulos cerebrales
El encefalograma se refiere al registro de actividad eléctrica del cerebro utilizando electrodos aplicados sobre el cuero cabelludo. Los electrodos van en lugares específicos correspondientes a diferentes áreas del cerebro (ver Imagen 1) con el objetivo de detectar patrones de actividad eléctrica. Aún con tecnología de alta gama es complejo medir la actividad cerebral, ya que el cerebro de una persona se compone de millones de neuronas las cuales están interconectadas en no más de un milímetro de diámetro, de esta forma la localización de electrodos y las características de cada persona a la cual se leen los datos son determinantes.
Imagen 1. Sistema internacional 10-20
Fuente: Castillo et al. (2015).
Para la lectura de datos eléctricos cerebrales existen tres tipos de métodos:
- Captación profunda: disponer electrodos directamente en el tejido nervioso del cerebro para recoger datos.
- Electrocorticograma (ECoG): los electrodos se colocan en la superficie del cerebro para recoger datos de la corteza.
- Electroencefalograma (EEG): disponer los electrodos de superficie en el cráneo de manera fija en la lectura.
Con fines de este trabajo de experimentación visual, definiremos un dispositivo EEG diadema que sea de fácil acceso en el mercado, este se encargará de la captación de la información requerida, permitiéndonos la posibilidad de una lectura clara de las ondas EEG de frecuencia Delta, Theta, Alfa, Beta y Gamma. Además, es necesario que estos dispositivos puedan intervenirse con software de código abierto; es decir, que los datos del dispositivo no deben ser privativo para el fabricante y necesariamente debe ser moldeable de acuerdo con la programación en Processing que utilizaremos. De los dispositivos encontrados en el mercado que cumplan con las características señaladas, hemos seleccionado los siguientes:
Tabla 2. Comparativa entre dispositivos EEG
En este experimento, de acuerdo con los requerimientos técnicos para la intervención de datos, trabajaremos con Neurosky Mindwave, por la versatilidad de uso y la compatibilidad con software de código abierto y protocolo OCS.
1.3. Brain Computer Interfaces, BCI (Interfaz Cerebro Computador)
Según Cabestaing y Derambure (2016), BCI es un sistema que traduce la actividad eléctrica del cerebro en contenido numérico, con el objetivo de representarlo de formas que a la medicina o investigación le sean útiles. Se compone de:
Esquema 1. Proceso base BCI
- Adquisición de señal: los electrodos se encargan de recibir la señal al hacer contacto con la cabeza.
- Procesamiento: una vez el hardware adquiere la señal, realiza un procesamiento donde se filtra el dato y se elimina el ruido.
- Clasificación: en esta parte, el hardware es capaz de segmentar la señal de acuerdo con su frecuencia para enviarla ya clasificada en Hertz.
- Traducción en un comando: luego del procesamiento el computador traduce las señales para realizar alguna acción programada, tales como la creación de un gráfico o permitir el movimiento de una mano robótica.
- Retroalimentación: esto se genera respecto de la actividad cerebral, esto permite ser consciente del control del estímulo con el objetivo de regular y controlar de mejor forma el BCI.
Las brain computer interfaces se pueden clasificar en tres grandes áreas de acuerdo con su funcionamiento y nivel de interacción consciente con la persona a la cual se le toman las muestras y también con quién investiga el comportamiento.
1.3.1. BCI Activas
Cuando la persona participa con la captura de datos llevando a cabo estímulos voluntarios. Así la interfaz funciona para que el usuario produzca una acción definida. Por ejemplo, mover un brazo robótico, donde el cerebro genera una señal numérica, el EEG y computador la capta, para transformarla en la acción del movimiento y la retroalimentación tiene sentido en la medida que la persona observa lo que ocurre con el brazo robótico y puede puntualizar su acción cerebral, para aprender a controlarlo de mejor manera por ejemplo, concentrándose o desconcentrándose, para volver a comenzar el ciclo.
Esquema 2. Proceso de BCI activas
1.3.2. BCI Reactivas
Utilizan las reacciones del cerebro solo como lectura respecto de estímulos que se sabrán que detonarán resultados. Por ejemplo, estudiar la reacción cerebral que una persona pueda tener de acuerdo con diferentes estímulos visuales; es decir, presentándole distintas fotografías y capturando lo que ocurre en el cerebro con cada una de ellas.
Esquema 3. Proceso BCI Reactivas
1.3.3. BCI Pasivas
Son aquellas que monitorean el estado mental pero que no controlan ni producen estímulos al usuario. Como tampoco el usuario ejerce control directo en su envío de señal. Por ejemplo, un electroencefalograma que se toma a una persona, esta se dispone en el dispositivo, sin hacer nada la máquina recoge datos que luego son entregados en formato numérico y visual.
Esquema 4. Proceso BCI pasivas
1.3.4. Propuesta BCI Intrainteractiva
En este capítulo se busca desarrollar un cuarto espectro, un sistema BCI intrainteractivo, que correspondería al intercambio de información del sistema activo, pero con otro espacio de recepción de escucha y emisión, como lo es la alimentación de datos a través de estímulos generados por aquellos datos procesados por el sistema BCI.
En este caso el sistema propuesto muestra al usuario el resultado de la operación con el propósito de alterar el proceso, creando un estímulo nuevo a raíz de la interpretación cognitiva de las entradas de información.
Lo que se pretende es que la persona pueda, mientras visualiza una pieza audiovisual enviar datos al ordenador los cuales estarán anclados a la modificación de tiempo, ritmo, visualidad, sonoridad, entre otros. En este sentido, la atención, interés o desinterés, tendrá una traducción inmediata sin mediar en condicionamiento o esfuerzo intencional del usuario para lograr una interactividad. Se denomina intrainteractividad, porque responde a una escala superior e inconsciente de interactividad, donde la lectura de sus estímulos cerebrales condicionase su experiencia en un bucle permanente.
Esquema 5. Proceso BCI intra-interactiva
2. BCI Y CREACIÓN ARTÍSTICA
2.1. Primeras aproximaciones
En 1973 Jacques Vidal, investigador de ciencias de la computación, desarrolló un trabajo titulado Toward Direct Brain-Computer Communications (Fotografía 1) donde su interfaz proponía un controlador EEG para la ejecución de piezas musicales experimentales, asignando notas musicales a estímulos eléctricos cerebrales. Producto de este trabajo se fundó el Laboratorio de Estética Experimental en la Universidad de York, en Toronto (Canadá), donde se exploró la relación entre la experiencia estética y las realizaciones musicales producidas. Músicos tales como John Cage, David Behrman, La Monte Young y Marian Zazeela visitaron o trabajaron en este laboratorio (Theoreticalplayground, 2008).
Fotografía 1. Jacques Vidal trabajando en piezas musicales
Fuente: Theoreticalplayground, 2008.
2.2. Más allá de lo lineal Biomuse y Sensorband
Entre 1990 y 1992 Benjamin Knapp y Hugh Lusted crearon BioMuse, un biocontrolador de 8 canales que analiza: el movimiento muscular (EMG), el movimiento ocular (EOG), el corazón (EKG) y señales de ondas cerebrales (EEG). Atau Tanaka utilizó BioMuse para crear composiciones y colaborar con actuaciones creando con Zbigniew Karkowski y Edwin van der Heide, el Sensorband (Fotografía 2), un sistema que proporciona el control interactivo de la actividad de ondas cerebrales, lo que permite activar audio, imágenes, software y dispositivos de hardware. Finalmente, el proyecto por su alto costo para la época y el deficitario avance en la performance quedó paralizado.
Fotografía 2. Sensorband
Fuente: Sensorband Performance (1994 y 1996).
2.3. EyeTap Personal Imaging Lab
EyeTap es un laboratorio1 creado en 1998 en la Universidad de Toronto, el cual investiga el procesamiento de visuales dividido en las áreas de imágenes, realidad mediada y computadores portátiles. La investigación llevó a que, en 2003, se iniciaran proyectos que trabajan la música y las ondas cerebrales, tales como Regenerative Brain Wave Music Project de James Fung, el cual explora interfaces fisiológicas para instrumentos musicales. Llevando el trabajo a una performance DECONcert1, donde participaron cuarenta y ocho personas con sensores EEG, los cuales controlaban el sonido. Esta obra de arte sonoro consistía en un bucle de biofeedback con la audiencia, la cual reaccionaba a lo que escuchaban en tiempo real.
Fotografía 3. Brain wave music in the key of EEG2
2.4. El punto de partida
Las obras mostradas relativas a la experiencia sonora abren el primer espectro posible entre la neurociencia y el arte, de esta manera el desafío que plantea en la reflexión, respecto de la creación de contenido medial directo desde los estímulos eléctricos. Todas las obras presentadas tienen asignadas frecuencias sonoras a los estímulos eléctricos cerebrales; es decir, existe un correlato sensitivo y emocional a una biblioteca de sonidos.
Desde esta perspectiva es que esta investigación exploratoria se basa en los principios autorales antes descritos, para generar esta cocreación entre la interfaz y el estímulo eléctrico del cerebro. Añadiendo entonces, la idea de crear esta cuarta categoría de BCI, pero esta vez en términos audiovisuales, donde la imagen, tiempo y sonoridad sirvan como provocación y evocación al mismo tiempo para el estímulo eléctrico del cerebro que detonará la obra.
3. RESIGNIFICACIÓN INTRAINTERACTIVA
3.1. Definición de obra que se resignificará
Con el objetivo de crear un sistema intrainteractivo, se propone desarrollar una experiencia de reinterpretación generativa de la obra de Néstor Olhagaray, Desfases. Se captura con una primera lectura de datos de los estímulos al verla. Posteriormente se procesa con un movimiento de parámetros de atención, los cuales alterarán el tiempo y visualidad generando así en contraste una nueva obra, Desfases, esta vez reinterpretada y se generará una reinterpretación posterior permanentemente.
Esta obra es seleccionada entre una serie de referentes nacionales que exploran las artes mediales, ya que permite, gracias a su formato, su visualidad y sonoridad, una gama de modificación de estos parámetros de manera acotada y sutil, lo que determinará no solo una absoluta nueva obra, sino que también permitirá una transición entre ambas, logrando también limitantes y resignificaciones personales de acuerdo con el espectador.
En este periodo comprobé que la vocación de la imagen video no era la alta incondicionalidad solicitada por la lógica de la representación con su respectiva transparencia (anulación del soporte y no delación de las instancias de producción), porque simplemente no podía ocultar su significante (incluso J.P. Farigier hablaba de una imagen sin fuera de campo, sin la capacidad de producir la ilusión de un espacio contiguo más allá de su encuadre, como si lo puede hacer el cine). Recuerdo además que en aquel entonces el tamaño del pixel no podía competir con la resolución del cine.
Por tanto, su vocación estaba más bien en alejarse del dato real, en instalarse más en la abstracción, y preferí dotarle de poder de escanear, radiografiar o descomponer una imagen. Era el mejor soporte para hablar de imagen a imagen, para problematizar con la imagen, la visualidad, el tiempo y el movimiento (Olhagaray, 2014, p. 139).
Fotografía 4. Desfases3
3.2. Exploración y experimentación
De acuerdo con lo planteado por Olhagaray en la distinción de los conceptos imagen, visualidad, tiempo y movimiento en su obra, se profundizarán los estímulos eléctricos del cerebro del usuario, modificando aquellas categorías audiovisuales. Se conectará el EEG Neurosky, por bluetooth al computador a través de ThinkGear y con el software de código abierto Processing con la librería MindSet Processing, y el ejecutable del desarrollador de Neurosky, ThinkGear_Connector. Se logró conectar los estímulos cerebrales e imprimirlos en la consola como datos. En esta oportunidad capturaré los datos de Atención y Meditación, junto con la gráfica de los datos de Beta, Theta, Gamma y Alpha.
Fotografía 5. Alfredo Mora en la experimentación y conexión BCI
Al realizar una primera lectura de datos, se envían las frecuencias en buena calidad, se captura el dato de meditación y atención, logrando conectarlo con el protocolo OSC. Depurando el código, se logró agilizar el envío con una latencia mínima, lo que generará un delay de 0,5 segundos según el fabricante entre envío de estímulo eléctrico y reinterpretación en línea.
La resignificación de obra estará determinada bajo los siguientes patrones, los cuales responden al análisis de experiencia que propone Olhagaray y la sumatoria de experiencias que podrán modificarse de acuerdo con que el usuario logre materializar en relación con su intensidad cerebral.
La conexión determinada por OSC envía el dato numérico rescatado por Processing a Modul8, programa VJ para controlar video en tiempo real, donde estos datos se controlarán y reinterpretarán de la siguiente manera:
Tabla 3. Asignación de conceptos y alteraciones a frecuencias eléctricas cerebrales
El montaje del sistema funciona de la siguiente manera:
Esquema 6. Sistema BCI intra-interactivo para la resignificación de video arte
Gráfico 1. Registro de estímulos con Desfases
La siguiente imagen (Gráfico 2), si bien a simple vista es similar, es la lectura de los estímulos cerebrales con Desfases intrainteractivo y resignificado, los datos de Delta, Theta y todas las variables de Alpha están invertidas respecto de la lectura anterior.
Los niveles de meditación o relajación aumentaron, pero sin disminuir la atención. Esto es importante ya que en la medida que la observación es agradable y relajante, no deja de ser interesante para el usuario.
Gráfico 2. Registro de estímulos con Desfases resignificado
En las siguientes imágenes se contrasta la escena de la resignificación de Desfases junto con la de la obra4.
Fotografía 6. Escena resignificada de Desfases y original
Fotografía 7. Escena resignificada de Desfases y original
CONCLUSIÓN
Respecto de la secuencia y distorsión de la imagen es posible llegar a un espacio rítmico que con estas alteraciones visuales pareciese que vibran por cualquier otro motivo; sin embargo, en su sumatoria se amplifican, hasta que la escena o música de la obra original cambia drásticamente. Es posible apreciar que el usuario percibe elementos visuales y sonoros que le agradan, estos se mantienen, amplifican y reiteran. Creando esta interfaz un propósito para ella que es entregar hedonismo; es decir, buscar llegar a altos niveles de estímulos eléctricos y mantenerlos. Pero esta interfaz produce aquello únicamente por la conexión realizada en este proyecto entre cada dato numérico y su representación programada en visualidad, si hubiese preferido conectar los mismos datos a otras representaciones o representaciones contrarias a las planteadas, esta característica no ocurriría.
La cuarta fase del BCI puede establecer una interfaz que promueva el placer, al saber directamente desde el cerebro qué está ocurriendo en esta persona, también puede ser todo lo contrario, provocar desagrado profundo. Todo depende de la experiencia del usuario, de lo que suceda en sus recuerdos, en sus percepciones, que los estímulos sonoros y visuales promuevan una nueva obra Desfases una y otra vez, donde cada una de ellas es distinta a la anterior.
Al cruzar los datos entre la visualización con la interfaz y sin la interfaz, resulta interesante que muchos de los parámetros se invirtieron, todos relativos a la relajación y atención. Esto se puede interpretar que a mayor atención mayor relajación, por ende, generación de atención y meditación producen un estado de bienestar. Esto en lo objetivo, sin embargo, en lo subjetivo la experiencia fue significativa en la medida que el impacto de la visualidad no fue el esperado, la mediación entre número y ganancia en la alteración de los parámetros visuales en sus combinaciones no generó agote del recurso ni menos duplicación de elementos.
La reflexión sobre la coautoría de la obra, solo con observar y asimilar, resulta una posibilidad extensa de obra, donde no necesariamente la resignificación de una pieza audiovisual existente se utilice, sino, que es posible explorar con video en vivo y sistemas cruzados de datos en distintos lugares, tiempos y personas.
REFERENCIAS BIBLIOGRÁFICAS
Brea, J. L. (2007). Cultura_RAM, mutaciones de la cultura en la era de su distribución electrónica. Barcelona, España: Gedisa.
Cabestaing, F. y Derambure, P. (2016). Physiological Markers for Controlling Active and Reactive BCIs. En M. Clerc, L. Bougrain and F. Lotte (Eds.). Brain-Computer Interfaces 1: Foundations and Methods. Hoboken, Estados Unidos: John Wiley & Sons, Inc. DOI: 10.1002/9781119144977.ch4
Castillo, O.; Díaz, G., Gutiérrez, D., Montiel, O. y Sepúlveda, R. (2015). Clasificación de señales encefalográficas mediante redes neuronales artificiales. Computación y Sistemas, 19(1), 69-88. DOI: 10.13053/CyS-19-1-1570
Hall, D. (1976). British Video Art: Towards an Autonomous Practice. Estados Unidos: Studio International.
Katona, J.; Farkas, I., Ujbanyi, T., Dukan, P. y Kovari, A. (2014). Evaluation of the NeuroSky MindFlex EEG headset brain waves data. IEEE, 12th International Symposium on Applied Machine Intelligence and Informatics.
Lanier, J. (2017). El futuro es ahora, un viaje a través de la realidad virtual. Nueva York, Estados Unidos: Random House.
Mitchell, W. J. T. (2005). What Do Pictures Want? Chicago, Estados Unidos: Universidad de Chicago.
Mora, Alfredo (21 de mayo del 2021). La resignificación audiovisual controlada por estímulos eléctricos cerebrales Recuperado en: https://youtu.be/7kiSEwOEnZU
Olhagaray, N. (2014). Sobre video & artes mediales. Santiago de Chile: Metales Pesados.
Pepperell, R. y Punt, M. (2000). The Postdigital Membrane, Imagination, Technology and Desire. Bristol, Reino Unido: Intellect.
Vidal, J. J. (1973). Toward Direct Brain-Computer Communications. Universidad de California. Recuperado de:https://www.annualreviews.org/doi/abs/10.1146/annurev.bb.02.060173.001105
Sensorband Performance (DEAF96) (12 de noviembre del 2010). V2 Lab for the Unstables Media [Youtube]. Recuperado de:https://www.youtube.com/watch?v=XLSoPmY6jGM&list=PLBB3546E7A7A82916&index=2
Sensorband Performance (1994). Atau Tanaka. [Youtube]. Recuperado de:https://www.youtube.com/watch?v=o-ZcsAHVn6A
Theoreticalplayground (2008). Brain Computer Music Interfaces. Recuperado de: https://theoreticalplayground.co.uk/2008/03/brain-computer-music-interfaces/
Villegas B. M. y Rojas, M. G. (2019). Interfaz cerebro ordenador BCI mediante el uso de Emotiv Insight. Acta Nova, 9(1), marzo, 3-31. Recuperado de: http://www.scielo.org.bo/pdf/ran/v9n1/v9n1_a02.pdf [12/2020].
- EyeTap Personal Imaging Lab. Recuperado en http://www.eyetap.org/
- Brain wave music in the key of EEG.(27 de Agosto 2007). En: Daniel Chen [Youtbe]. Recuperado de https://youtu.be/Ff-Dmlreg4I
- Video, 7 minutos, 1985.
- Mora, Alfredo (21 de mayo del 2021). La resignificación audiovisual controlada por estímulos eléctricos cerebrales Recuperado en: https://youtu.be/7kiSEwOEnZU