177Cátedra Villarreal | Lima, perú | V. 8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Control de un brazo robótico con un sistema BCI
empleando procesamiento de señales cerebrales
Control of a robotic arm with a BCI system using brain signal processing
ABSTRACT
the control of a robotic arm in Peru arises from the possibility
function. Brain Computer Interface (BCI) is a communication
Keywords: Brain Computer Interface, Human Machine Interface,
electroencephalogram, robotic, Fast Fourier Transform (FFT),
RESUMEN
Palabras clave:
@gmail.com
178 Cátedra Villarreal | Lima, perú | V.8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Introducción
Brain Computer Interface (BCI) es un sistema
de comunicación basado en el registro de señales
cerebrales (EEG). El electroencefalograma es la base y
soporte de dicha tecnología. Fue en el año 1929 que el
neurólogo alemán Hans Beger logró, por primera vez,
observar y registrar la actividad cerebral (variación de
señales eléctricas) de un paciente en un galvanómetro,
construyendo así los cimientos del estudio de la
electroencefalografía.
BCI es una novedosa tecnología que permite la
interacción del hombre con la máquina en un entorno
virtual o físico mediante un canal de comunicación
entre el sistema nervioso central y un dispositivo. En
los últimos años, dichos sistemas han suscitado el
interés de los importantes centros de investigación a
nivel mundial. Actualmente, en diversos campos de la
ciencia como la medicina, robótica, industria militar, y
y proyectos enfocados en el desarrollo de la tecnología
BCI.
neuromusculares que afectan el sistema nervioso
periférico que con el tiempo dejan a las personas en un
estado vegetativo, es decir, pierden la capacidad motora
posibilidad de recuperarlas mediante la creación de un
canal de comunicación entre el cerebro y el ordenador.
BCI es también una tecnología prometedora para
las tecnologías de prótesis de miembros, un área de
particular interés para el ejército de EE. UU., debido al
las tropas que regresan de Irak y Afganistán. (Graham,
2014).
de las más discriminativas es imprescindible a la hora de
diseñar BCI funcionales.
En la presente investigación se implementaron y
ampliaron los métodos empleados en trabajos previos,
obtenidos hasta la fecha. Para ello, se implementó
un sistema basado en algoritmos genéticos (AG) que
permitió realizar la selección de las características
correspondientes a dos estados mentales distintos. Este
dos clases, formadas por los estados mentales de los
eventos de reposo y movimiento de la mano derecha.
(Lobera & Ignacio, 2012).
personas con enfermedades neuromusculares severas
y discapacidades físicas, siendo la tecnología BCI una
alternativa prometedora para mejorar su calidad de vida.
Según la Comisión Especial de Estudio sobre
Discapacidades de enfermedades de tipo degenerativo
del Perú y de acuerdo a las estadísticas realizadas, las
enfermedades neuromusculares afectan a una de cada
1 000 personas. En el Perú, debe haber entre 25 000 y
30 000 personas afectadas, encontrándose que la tercera
parte de ellas reside en Lima. Asimismo, las personas
afectadas de estos males se ven obligadas a viajar fuera
del país para obtener un diagnóstico y tratamiento
adecuado (Zevallos & Fernández, 2004).
Recuperar o sustituir funciones motoras ha sido
una de las áreas más fascinantes pero frustrantes de
las investigaciones del último siglo. La posibilidad
de interconectar el sistema nervioso humano con un
sistema robótico o mecatrónico y usar este concepto
para recuperar alguna función motora ha fascinado
paradigma típico de trabajo en un paciente con una
lesión medular grave o una enfermedad neuromuscular
del cuerpo. Uno de los aspectos que ha permitido
estos desarrollos ha sido el avance en tecnología
BCI dado que son sistemas que permiten traducir,
resultado del pensamiento en órdenes para controlar
directamente dispositivos robóticos mediante un canal
de comunicación directa desde el sistema nervioso
central con los dispositivos, evitando el uso de los
caminos neuronales que ya no cumplen su función
trasmisora debido a la presencia de enfermedades
cerebral, parálisis cerebrales o lesiones en la columna
vertebral (Minguez, 2011).
El desarrollo del sistema de control de un brazo
robótico se basa en el monitoreo de las ondas Beta y
Mu, principalmente, debido a que estas se relacionan
con la acción e imaginación de los movimientos de la
Cátedra Villarreal | Lima, perú | V. 8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
estudios que describen similitud en los patrones de
señales EEG de seres humanos cuando realizan un MR
(Movimiento Real) y la realización de IM (Imaginación
de Movimientos); además las personas pueden aprender
a controlar su amplitud realizando tareas mentales
apropiadas.
Al usar una BCI no invasiva para controlar un brazo
robótico que sigue un cursor en la pantalla de una
computadora, por primera vez en la historia, se demostró
en sujetos humanos que un brazo robótico ahora puede
seguir el cursor en forma continua. Mientras que ahora
manera no invasiva que pudieron seguir un cursor en
movimiento con movimientos bruscos y entrecortados
—como si el brazo robótico estuviera tratando de
"alcanzar" las órdenes del cerebro— ahora el brazo
(Pittsburgh, 2019).
Por lo señalado, el objetivo del trabajo fue
implementar un sistema de control para un brazo
robótico empleando la tecnología BCI.
Método
La transformada wavelet es particularmente
efectiva para representar varios aspectos de señales
no estacionarias, como tendencias, discontinuidades
y patrones repetidos donde otros enfoques de
procesamiento de señales fallan o no son tan efectivos.
En esta investigación, se indagan Daubechies discretos
y ondículas armónicas para el análisis de registros de
EEG epilépticos. (Adeli et al., 2003).
Las redes neuronales (también conocidas
computacional basado en un gran conjunto de unidades
biológicos. Cada unidad neuronal está conectada
con muchas otras y los enlaces entre ellas pueden
incrementar o inhibir el estado de activación de las
neuronas adyacentes. Cada unidad neuronal, de forma
individual, opera empleando funciones de suma.
Para cumplir con los objetivos planteados se ha
desarrollado una tarjeta electrónica avanzada, en la
cual se implementaron los algoritmos de adquisición,
permite traducir los pensamientos de imaginación
motora en comandos de control que se asociarán al
controlador del brazo robótico para realizar una función
La tarjeta electrónica consta de dos partes: analógica
y digital. La analógica presenta un circuito integrado
conversor análogo digital ADS1299 diseñado para captar
escalas de microvoltios para luego digitalizarlas. Este
circuito integrado cuenta con ocho canales que se han
objetivos de esta investigación.
La parte digital consta de dos microcontroladores:
el Atmega 128RFA1 de 8 bits y el ARM CORTEX M3
la data digitalizada de las señales EEG previamente
mediante un protocolo de comunicación inalámbrica.
El ADS1299 posee un protocolo de comunicación
SPI (Serial Peripheral Interface) que se utiliza para
Atmega128RFA1.
se seleccionó para realizar las funciones de procesado
el algoritmo Fast Fourier Transform(FFT) que realiza
un análisis de la densidad espectral en potencia de los
ritmos sensoriomotoras correspondientes a la tarea
mental de reposo e imaginación de movimiento. Con
(CMSIS).
Para el análisis espectral de Potencia de la data EEG
Online se implementó el algoritmo FFT desarrollado
en lenguaje C. Para ello, se usó un microcontrolador
ARM CORTEX M3 con arquitectura pipeline de 32 bits
de Procesamiento de Señales Digitales (DSP).
Esta investigación es aplicada y cuantitativa en
función a las variables de tipo continuo y objetivos
planteados. Se desarrolló en los ambientes de la
Universidad Nacional Federico Villarreal y Universidad
Cátedra Villarreal | Lima, perú | V.8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Nacional de Ingeniería, ambas situadas en la ciudad
de Lima, Perú y también se llevó a cabo en los laboratorios
de la Universidad de Málaga, España. Se efectuó en un
periodo de ocho meses y contó con la participación de
docentes de centros de investigación para tal efecto.
Las variables de la investigación que se emplearon
fueron las siguientes:
• Tarea mental de reposo, T0<= T1<=T2
• Tarea mental de movimiento, T2<=T3<=T4
• Frecuencia de muestreo 0< fs<2fs, fs=256Hz
• El tiempo 0 <T<9s, T=8s
• Ángulo de articulación del Brazo Robótico
• Volumen de trabajo V1 del Brazo Robótico
•
Robótico
• Coordenada Py del efector del Brazo Robótico
• Coordenada Py del efector del Brazo Robótico
La población seleccionada para el desarrollo del
proyecto de investigación fue de 40 datas de EEG que
corresponden a cuarenta sujetos que se registraron en la
Universidad de Málaga, y 10 datas EEG de 10 alumnos de
la Universidad Nacional de Ingeniería.
La técnica de muestreo seleccionada para
esta investigación fue la no probabilística de tipo
conveniencia (Otzen & Manterola, 2017). Son diez datas
de EEG que corresponden a diez sujetos con los cuales se
realizaron los estudios y pruebas correspondientes para
cumplir con los objetivos propuestos.
Los instrumentos y dispositivos electrónicos que se
emplearon para desarrollar la investigación, se detallan
a continuación.
• Una tarjeta de adquisición de datos de National
Instruments el NI USB 6210.
• Electrodos activos de baja impedancia (AgCl)
• Ordenador portátil Toshiba
•
diferenciales
• Arduino Nano de procesador Atmega 328
• Un módulo L298n
• Un módulo relé de 5vdc
• Un motor Pololu con encoders, de 12 VDC (37D
Metal Gearmotors).
• Un osciloscopio digital de dos canales marca
Hameg.
• Tarjeta electrónica de adquisición y control
desarrollada
Los sensores empleados para la adquisición de
señales cerebrales fueron los electrodos de plata (Ag) y el
cloruro de plata (AgCl).
Para el registro de las señales eléctricas del
cerebro (ritmos sensorio motoras) durante la acción
de una determinada tarea mental relacionada con la
imaginación del movimiento, empleamos electrodos
que se ubican de acuerdo al sistema internacional 10/20
Arduino Nano
El Arduino Nano es un módulo de control que tiene
un procesador de la gama Atmega 328, ideal para realizar
pruebas e implementación de prototipos.
Osciloscopio
El osciloscopio es un dispositivo electrónico que se
emplea para realizar las mediciones de los parámetros
de voltaje y corriente en un circuito electrónico y
eléctrico.
El NI USB 6210 es un dispositivo de adquisición
de datos de la empresa National Instrument, que se
empleó durante el desarrollo del presente estudio para
la validación de la data EEG registrada por la tarjeta
electrónica desarrollada.
Análisis de datos EEG
Se registraron datos de EEG correspondiente a 10
sujetos con una frecuencia de muestreo de 256Hz. Cada
sujeto se sometió a cuatro sesiones con un periodo
de duración de ocho segundos en cada sesión y con
un descanso de 0.5s por cada dos pruebas, además
se empleó señales de EEG de la Universidad Graz de
Austria para validar las señales adquiridas para la
presente investigación.
Las oscilaciones en la banda alfa y beta (<35 Hz)
muestran patrones espaciotemporales característicos
durante el procesamiento sensoriomotor. Mientras
que la desincronización relacionada con eventos
(ERD) durante la preparación motora, la ejecución
y las imágenes puede verse como un correlato de un
área cortical activada, la sincronización relacionada
con eventos (ERS) de componentes de frecuencia
entre 10 y 13 Hz puede representar un área cortical
desactivada o red cortical inhibida, al menos bajo ciertas
181Cátedra Villarreal | Lima, perú | V. 8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Tabla 1
Resultados de la extracción de características de la data EEG, en el dominio de la frecuencia y tiempo.
Sujetos S 1 S 4 S 5 S 6 S 7 S 8
Banda
Reactive
(Hz)
8 1 7 8 7 7 9 1 8 9
0 0 1
2 3 2 1 2 3 1 2 2
2 2
ERS) se pueden encontrar en las áreas sensoriomotoras
después del movimiento voluntario y la estimulación
somatosensorial. (Neuper et al., 2006)
Para el EEG de imágenes motoras, se presentó un
nuevo algoritmo de reconocimiento de EEG (algoritmo
se estableció una ventana de tiempo racional mediante
el cálculo de la potencia promedio de las imágenes del
motor EEG en los electrodos C3 y C4, y luego se tomó
la potencia promedio durante la ventana de tiempo en
Resultados
El primer resultado fue el desarrollo de una tarjeta
electrónica integrada, de adquisición, procesada y
con dispositivos electrónicos de instrumentación de
las pruebas de testeo de la tarjeta electrónica integrada
hubo un poco de complicaciones con el primer diseño.
Se subsanó el error y diseñó otra segunda tarjeta
electrónica integrada que pasó la prueba de testeo y con
ello se trabajó en la pruebas y sesiones correspondientes.
Resultados de la adquisición de ritmos sensorio
motoras Beta y Mu mediante la tarjeta electrónica
desarrollada correspondiente a dos tareas mentales.
La adquisición de señales EEG se realizó en modo
bipolar, empleando el sistema internacional 10/20,
priorizando los canales C3, C4 y CZ que corresponden a
áreas del cerebro, que están asociadas a la parte motora.
En la Tabla 1, observamos los datos adquiridos durante
una sesión de prueba de ocho segundos. Podemos ver,
claramente, a la variable tarea mental dependiente de
2048 muestras.
Resultados de la extracción de características de la data
EEG, en el dominio de la frecuencia y tiempo
En esta sección, se aprecian los resultados que
se obtuvieron durante el proceso de análisis de
datos correspondientes a las dos tareas mentales: de
imaginación, de movimiento y reposo.
El procedimiento se siguió una vez adquirido el banco
de datos EEG. Durante las cuatro sesiones se procedió
a etiquetar después de realizar un análisis espectral de
las señales EEG. En la Figura 1, podemos observar el
proceso de etiquetado, las muestras correspondientes
a t=0 a t=2s. Se etiquetó como tarea mental de reposo,
t=2 a t=6, se etiquetó como tarea mental de imaginación
movimiento mano derecha, t=6s a t=8s, se etiquetó
como tarea mental de imaginación de movimiento
mano derecha.
Figura 1
características en la señal EEG
Cátedra Villarreal | Lima, perú | V.8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
el sujeto 1.
En la Figura 3, los resultados estadísticos muestran
la distribución porcentual de dos tareas mentales
(reposo y movimiento mano derecha), así como la media
de cada tarea mental correspondiente a derecha, reposo
e izquierda. El tamaño de la muestra correspondiente
a los ocho sujetos de prueba es de 16384 datos (tareas
mentales), distribuidos de la siguiente manera Derecha
(8192), Izquierda (4096), Reposo (4096) por cada canal, es
decir canal 1 y canal 2.
Cátedra Villarreal | Lima, perú | V. 8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Figura 4
Figura 5
184 Cátedra Villarreal | Lima, perú | V.8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Figura 6
Figura 7
185Cátedra Villarreal | Lima, perú | V. 8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Figura 8
En la Figura 9, observamos los resultados de la prueba
de normalidad de nuestro dato EEG correspondiente a
2048 muestras. Apreciamos los valores estadísticos de
la variable tarea mental (reposo, derecha e izquierda).
Por ejemplo, vemos en el canal 1 el valor estadístico de
0.5 correspondiente a la tarea mental de imaginación de
movimiento de la mano izquierda. Este valor nos indica
que el sujeto logró discriminar su curva ERD/ERS.
Resultados del control del brazo robótico
En la fase inicial, se realizó el diseño, la
implementación de una tarjeta electrónica integrada
portable de bajo coste, para los procesos de adquisición,
sensorio motoras Beta y Mu, correspondientes a
dos tareas mentales. En la fase 2 se logró realizar la
implementación de los algoritmos de adquisición,
186 Cátedra Villarreal | Lima, perú | V.8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
En la Figura 10, se pueden apreciar dos segmentos:
el primero corresponde a la tarea mental de reposo y el
segundo a la imaginación de movimiento con las curvas
ERS/ERD. Asimismo, se observa Q1, Q2, Q3, salidas en
PWM para cada servo motor.
En la sección de análisis de datos, visualizamos las
muestras correspondientes a los tres canales (C3, C4,
Cz). Las muestras de 0 a 512 corresponden a la tarea
mental de reposo, de la muestra 512 a 1538 corresponde a
la tarea mental de imaginación mano derecha y de 1538
a 2048 corresponde a tarea mental de imaginación de
mano izquierda como está representada en la Figura 7.
Durante las sesiones, los sujetos presentaron la
banda reactiva en torno a Mu por debajo de los 10 Hz,
como se muestra en la Tabla1.
Hartenberg para el modelado de la cinemática directa del
brazo robótico de tres grados de libertad, se determinó
El costo del dispositivo integrado portable
desarrollado para cumplir con el objetivo de la
investigación es económico en comparación con los
instrumentación y sensores para desarrolla la tecnología
BCI.
La tarjeta electrónica integrada desarrollada a nivel
hardware se empleó como un instrumento de medición,
adquisición y procesado de las señales EEG.
Durante las sesiones de registro de curvas ERD/ERS,
se obtuvieron resultados negativos en seis sujetos, ya que
no lograron desincronizar sus señales EEG debido al tipo
de feedback presentado a los sujetos de prueba. Angevin
(2005) sostiene que se obtienen mejores resultados en el
entrenamiento con un feedback en realidad virtual ya que
se logra mayor inmersión en la prueba.
Las limitaciones que se tuvieron durante el proceso
de implementación de esta investigación se relacionan
con aspectos económicos y técnicos. Sin embargo, se
lograron subsanar contactando con especialistas de las
universidades peruanas y europeas.
robótico en la tarjeta integrada desarrollada con esos
controlar el sentido de giro de dos servomotores,
asociando los datos de EEG de dos tareas mentales,
previamente adquiridas en las sesiones de adquisición.
187Cátedra Villarreal | Lima, perú | V. 8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Figura 11
Representación del diagrama de control propuesto y desarrollado.
Resultado de acciones de control del brazo robótico
En la Figura 10, observamos los resultados de las
curvas ERD/ERS de los canales C3, C4 y Cz, asociadas con
las salidas PWM para cada servomotor. Es importante
resaltar que para obtener el resultado de la Figura 7,
se integró el algoritmo de adquisición, procesado,
control del brazo robótico.
En la Figura 11, observamos la integración de los
elementos que permitió asociar la tecnología BCI y el
sistema de control de brazo robótico.
Discusión
El método empleado para el desarrollo de un
sistema de control del brazo robótico, con un sistema
BCI, utilizando la tarjeta electrónica integrada para su
implementación nos proporciona un sistema innovador
para poder desarrollar este tipo de tecnologías y que
sean más accesibles a las personas por su bajo coste, en
El estudio de los ritmos sensorio motoras Beta y
Mu y las Curvas ERD/ERS, correspondientes a los 10
la capacidad que tuvieron en controlar sus ondas
cerebrales ante un feedback presentado, la capacidad de
discriminar entre dos tareas mentales, siendo de mucha
importancia para cumplir con el objetivo principal, en
ese sentido se concluye que el tipo de Feedback es muy
importante en el entrenamiento de este tipo de trabajos
de investigación.
Además, se tendrá que desarrollar un feedback
en realidad virtual para el entrenamiento de futuros
trabajos porque mejora la inmersión de los sujetos
de prueba y con ello mejoran las curvas ERD/ERS
(Angevin,2005).
De acuerdo con los resultados obtenidos durante el
desarrollo de esta investigación, así como del análisis
estadístico en función a los objetivos planteados y los
resultados estadísticos obtenidos que muestran la
control para el brazo robótico con la tecnología BCI en
el Perú y que esta pueda mejorar la calidad de vida de las
personas con enfermedades neuromusculares, así como
intervenir en el desarrollo de prótesis robóticas para
aplicaciones en rehabilitación médica.
188 Cátedra Villarreal | Lima, perú | V.8 | N. 2 |julio - diciembre| 2020 | e- issn 2311-2212
Esta investigación aplicada
en un concurso de tesis realizado en la Universidad
Nacional Federico Villarreal de Lima, Perú
El autor de este artículo declara
Agradezco al grupo de investigación
Universidad Málaga (España), quienes me brindaron
su apoyo incondicional para el uso de su laboratorio y
equipos y así desarrollar esta investigación. Ello fue
posible por la gestión de los doctores Ricardo Ron
Angevin y Gonzalo Joya Caparrós a quienes reconozco
su valioso respaldo durante mi estancia en Europa.
También agradecer al ingeniero Ricardo Rodríguez
Bustinza por facilitarme el acceso al Laboratorio de
Control y Automatización y a los equipos biomédicos
de la Facultad de Ingeniería Mecánica de la Universidad
Nacional de Ingeniería de Lima, Perú.
Referencias
Adeli, H., Zhou, Z. & Dadmehr, N. (2003). Analysis
of EEG records in an epileptic patient using
wavelet transform. ,
Angevin, R. (2005). Retroalimentación en el entrenamiento
[Tesis de doctorado].
Universidad de Málaga.
wireless device for biopotential [Tesis de Maestría,
Universidad de Virginia Commonwealth]. https://
scholarscompass.vcu.edu/cgi/viewcontent.
Lobera, M. & Ignacio, D. (2012). Extracción y selección
[Tesis de Maestría, Universidad de Zaragoza].
Repositorio de la Universidad de Zaragoza.
[conferencia].
, Tianjian, China. https://
doi.org/10.1109/ICNC.2009.220
Mínguez, J. (2011).
computador. Servidor web secundario del DIIS
del CPS. https://webdiis.unizar.es/~jminguez/
Sesion001_UJI.pdf
Neuper, C., Wörtz, M. & Pfurtscheller, G. (2006). ERD/
and deactivation.
Ortega, A. (2005). Diseño de mecanismos de
procesamiento interactivos para el análisis
de ondas cerebrales. [Tesis de pregrado,
Universidad de Chile]. https://docplayer.
Otzen, T. & Manterola, C. (2017). Técnicas de Muestreo
sobre una Población a Estudio.
Pittsburgh (19 de junio 2019). Primer brazo robótico
controlado por la mente sin implante cerebral.
. https://www.prnewswire.com/
Zevallos, M. & Fernández, G. (2004). Nota informativa
de la Comisión Especial de Estudio sobre
Discapacidad.
