Clasificación de dos tareas mentales haciendo uso
de mapas autoorganizativos de Kohonen (SOM)
Classification of two mental tasks based on kohonen’s self-organizing map
Recibido: abril 18 de 2016 | Revisado: mayo 19 de 2016 |
Aceptado: junio 06 de 2016
Wilber Diaz Sotelo1
Gonzalo Joya2
Ricardo Ron2
Francisco García-Lagos2
1 Estudiante de Ing. Mecatrónica de la Universidad
Nacio-nal Federico Villarreal.
E-mail: josd_ds@hotmail.com
2 Dpto. de Tecnología Electrónica. Universidad de Málaga.
Ab s t r act
In this paper we carry out the classification of patterns
corresponding to two mental tasks, which has been
obtained by means a Brain Computer Interface (BCI).
For this objective, the Kohonen’s Self-Organizing Map
paradigm (SOM) is used. The patterns used are obtained
by applying the Fast Fourier Transform to the EEG
signals directly delivered by two channels of the BCI. In
a first phase, the patterns are captured along 8 seconds,
but a specific SOM is implemented and trained for each
second. The SOM with the best performance will be
used in the second phase (work phase), to classify all
seconds. The obtained results in the validation tests give
error percentages between 3.75% (for 5th and 6th
seconds) and 11.25% (for the 8th one). These errors are
minor or similar than the obtained in other reported
works.
Keywords: Brain Computer Interface BCI,
Self-Organizing Maps SOM, Fast Fourier
Transform FFT, Electroencephalograph EEG,
Mental task classification
Re su m e n
En este trabajo se llevó a cabo la clasificación de
patrones correspondientes a dos tareas mentales,
obtenidos mediante un sistema BCI (Brain Computer
Interface). Para ello se utilizó el paradigma neuronal
de los Mapas Autorganizativos de Kohonen (SOM,
por Self-Organizing Maps). Los patrones utilizados
en cada clasificador se obtuvieron mediante la
aplicación de la Transformada Rápida de Fourier a
las señales EEG directamente proporcionadas por el
sistema BCI. En una primera fase, las capturas de los
patrones se realizaron a lo largo de ocho segundos,
pero una red SOM es implementada y entrenada de
manera independiente para cada segundo. La SOM
con el mejor rendimiento se usó en la segunda fase
(fase de trabajo), para clasificar todos los segundos.
Los resultados obtenidos en las pruebas de
validación proporcionan un porcentaje de error entre
3.75%, (para los segundos 5° y 6°), y 11.25% para el
8°. Estos errores son menores o similares a los
resultados obtenidos en otros trabajos de referencia.
Palabras claves: Interfaz Cerebro Computadora
BCI, Mapas Autorganizativos de Kohonen, Fast
Fourier Transform FFT, electroencefalograma EEG,
Clasificación de tareas mentales
| Cátedra Villarreal | Lima, perú | V. 4 | N. 1 | 115-124 | enero -junio | 2016 | issn 2310-4767 115
Wilber Diaz Sotelo, Gonzalo Joya, Ricardo Ron, Francisco García-Lagos
INTRODUCCIÓN
Los sistemas BCI (Interfaz Cerebro-
Computadora) proporcionan una nueva
manera de comunicación entre el cerebro
y la computadora basada en el análisis e
identificación de señales cerebrales
(EEG), captadas mientras el sujeto de
prueba realiza tareas mentales
establecidas. Estas señales son
capturadas mediante electrodos
distribuidos en distintas áreas del
cerebro basándonos en el Sistema 10-20
(Pascau et al., 2000). La identificación
de estas señales permitirá asociarlas a
una tarea física particular que podrá ser
realizada mediante algún automatismo.
En (Ron Angevin, 2005), trabajo que
se usó como principal referente, se lleva
a cabo la clasificación de dos tareas
mentales a partir de señales EEG
captadas en dos canales. Estas señales
tienen una duración de ocho segundos y
se subdividen en periodos de un
segundo. El procesado, es decir, la
clasificación, se hace para cada segundo
de manera independiente. En primer
lugar, se estima la potencia de las
señales EEG en la banda de frecuencia
de interés; para ello se llevan
a cabo los siguientes pasos: filtrado de la
traza, cálculo del cuadrado de cada
muestra y la estimación de la potencia en
cada muestra promediando entre
muestras consecutivas para una longitud
de ventana dada. En segundo lugar, se
lleva a cabo la clasificación de los
patrones obtenidos mediante un Análisis
Discriminante Lineal (LDA, por Linear
Discriminant Analysis). En tercer lugar,
se obtiene la curva de error para los ocho
segundos de cada prueba.
En este trabajo, se reproduce
la experiencia anteriormente
descrita introduciendo importantes
modificaciones (Figura 1). Así, en la
fase de pre-procesado y extracción de
características, se obtiene la
Transformada Rápida de Fourier (FFT,
por Fast Fourier Transform) para cada
segundo de la señal y selecciona los
valores para las bandas reactivas.
Nuestros patrones estarán constituidos
por el vector resultante de la unión de
los valores obtenidos para los dos
canales utilizados más la norma de
dicho vector. El paradigma clasificador
que nosotros usamos es un Mapa
Autoorganizativo de Kohonen (SOM,
por Self-Organizing Maps).
Figura 1. Diagrama de bloques en el proceso de clasificación de dos tareas mentales.
El resto de esta memoria está dedi-
cado a la descripción a la metodología
seguida en el experimento, la cual viene
descrita en la Figura 1. En la segunda
sección se describe el proceso de la ob-
tención de patrones: captación de las
señales EEG de ambos canales, prepro-
cesado de las mismas, y obtención del
patrón final. En la tercera, se explica el
sistema clasificador y su proceso de
entrenamiento. En la cuarta, se detal-la
el nuevo experimento de prueba del
clasificador mediante la presentación
de un nuevo lote de patrones y analiza
116 | Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 |
Clasificación de dos tareas mentales haciendo uso mapas autoorganizativos de kohonen (SOM)
los resultados obtenidos. Finalmente,
la quinta parte está dedicada a la ex-
posición de conclusiones y líneas de
trabajo futuro.
El objetivo del presente trabajo
fue la clasificación de dos tareas
mentales ha-ciendo uso del Mapa
Autoorganizativos de Kohonen.
Obtención de patrones
Adquisición de señales EEG
Los datos de EEG se capturaron ha-
ciendo uso de electrodos no invasivos,
basándose en el sistema 10-20 (Pascau
et al., 2000). Se captaron dos canales
Laplacianos del área sensomotor alred-
edor de los puntos C3 y C4 (F3/F4, Cz,
C3/C4, T7/T8 y P3/P4) (Figura 2, Ron
Angevin, 2005). Las señales son captur-
adas mientras el sujeto realiza dos tares
mentales: a) pensamiento de movimien-
to de mano derecha (la señal que indica
al sujeto de prueba que este tiene que re-
alizar esta tarea mental aparece en el 3er
segundo), y b) reposo. Las señales son
registradas a una frecuencia de 200hz,
durante un periodo de ocho segundos,
con un total de 80 periodos para cada
tarea mental. Adicionalmente, se cuen-ta
con un segundo lote de 80 periodos
registrados (40 para cada tarea) corre-
spondientes a una segunda sesión de
trabajo.
Figura 2. Referencia del sistema internacional 10-20.
Las Figuras 3a y 3c muestran un
caso particular de señal EEG captada
duran-te un segundo por un canal de
las tareas reposo y pensamiento de
mano derecha, respectivamente.
Preprocesado y extracción de caracteres
Una vez que la señal EEG corre-
spondiente a una tarea ha sido captada
durante ocho segundos es dividida
en intervalos de un segundo, cada
uno de los cuales es procesado de
manera inde-pendiente.
Existen dos tipos de procesados, los
realizados en el dominio del tiempo y
los realizados en el domino de la fre-
cuencia. En este trabajo se utilizó el se-
gundo, por lo cual, aplicamos la Trans-
| Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 | 117
Wilber Diaz Sotelo, Gonzalo Joya, Ricardo Ron, Francisco García-Lagos
formada de Rápida de Fourier (FFT)
(Abdul-Bary & Abdul-Hameed, 2013).
Una vez obtenida la FFT de la señal, se
puede observar que hay una mayor va-
riación en unas bandas de frecuencias
determinadas en función de la activada
mental del sujeto. A estas bandas se las
conoce como bandas reactivas, y pueden
variar para cada sujeto e incluso para el
mismo sujeto dependiendo del mo-
mento en que se registra su actividad.
Por tanto, en nuestra fase de prepro-
cesado, a cada uno de los intervalos de
un segundo se aplica la FFT, para la
cual se busca las bandas de frecuencia
reac-tiva. Para el sujeto experimental de
este trabajo, estas bandas corresponden
a frecuencias de 8 a 15Hz y de 20 a
30Hz (Figuras 3b y 3d).
Figura 3. Representación gráfica de las señales EEG capturadas durante un segundo para
la tarea mental de reposo (a), y para la tarea mental de pensamiento de movimiento de
mano derecha (c), y sus respectivas respuestas FFT (b y d).
118 | Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 |
Clasificación de dos tareas mentales haciendo uso mapas autoorganizativos de kohonen (SOM)
El patrón final que fue utiliza-do
como entrada al clasificador se con-
struye uniendo los valores de las bandas
reactivas obtenidas para los dos canales
y añadiéndole la norma del vector re-
sultante. Se tiene así un patrón final 37
componentes tal como se representa
en la Figura 4. Los componentes de
1 a 18 son los valores para el canal
1, los componentes del 19 a 36 son
los valores seleccionados para el
canal 2. Final-mente, el componente
37 es la norma de vector formando
por los 36 primeros componentes.
Figura 4. Representación esquemática de los patrones tras el preprocesado.
Clasificación mediante un Mapa
Au-toorganizativo
Los mapas autoorganizativos son un
paradigma de las redes neuronales arti-
ficiales con aprendizaje no supervisado.
Numerosas aplicaciones han demostra-do
su eficiencia en tareas de clasificación de
patrones complejos, permitiendo una
rápida visualización de las distintas clases
e incluso sacado a la luz criterios de
clasificación no evidentes. En esen-cia, un
mapa autoorganizativo realiza una
distribución desde un espacio con-tinuo n-
dimensional a un espacio dis-creto de
dimensión 2 (o 1), respetando la topología
del espacio original. De esta manera, la
adscripción de un determi-nado patrón a
una determinada clase (región), del
espacio original, obvia-mente imposible
de observar directa-mente en dicho
espacio, podrá ser fácil-mente observada
en el espacio imagen
bidimensional (Bueno & Pons, 2007).
Las neuronas de una SOM forman
una estructura basada en una relación de
vecindad espacial (Figura 5). Cada
neurona tiene asociado un vector de
pesos de la misma dimensión que el
espacio original. Durante el proceso de
aprendizaje, al presentar un patrón,
aquella neurona cuyo vector de pesos
este más cercano al patrón de entrada
(neurona ganadora), junto con sus veci-
nas, modificarán su vector peso en el
sentido de acercase más a dicho patrón.
Al final del entrenamiento, la red se
habrá autoorganizado de manera que dos
patrones cercanos entre sí activarán la
misma neurona o dos neuronas veci-nas
en la red, y a la inversa, dos neuro-nas
vecinas serán activadas por vectores
cercanos en el espacio n-dimensional
(Kohonen, 1990; Medrano-Marqués &
Martín-del-Brío, 1999).
Figura 5. Arquitectura de una red SOM.
| Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 | 119
Wilber Diaz Sotelo, Gonzalo Joya, Ricardo Ron, Francisco García-Lagos
Implementación y entrenamiento
de la red de Kohonen (SOM)
Los datos a presentar a la SOM fueron
descritos en la Figura 4. La prueba se
realiza con una red de 8x8 neuronas.
Tanto la estructura de la red como el al-
goritmo de aprendizaje utilizados apa-
recen descritos en García-Lagos (2003),
Joya, García-Lagos y Sandoval (2010) y
Marín, García-Lagos, Joya y Sando-val
(2002). Durante el entrenamien-to se
presenta a la red 144 patrones (72 de cada
clase), lo que constituye el 90% de los
patrones obtenidos. Para la fase de prueba
se utilizan 16 nuevos patrones ( ocho de
cada clase), lo que constituye el 10% del
total de patrones.
La Figura 6a muestra la distribu-
ción por neuronas de los patrones de
entrenamiento de ambas clases (rojo
para reposo y negro para pensamiento
movimiento de mano derecha). Se ob-
serva que la red ha quedado práctica-
mente dividida en dos zonas. Es decir,
las dos clases han quedado casi comple-
tamente separadas, ya que únicamente
aparecen tres neuronas (las 16, 48 y 56),
contienen vectores de ambas clases.
Ningún patrón correspondiente a la
actividad pensamiento de movimien-to
de mano derecha cae dentro de la región
asociada a reposo, y únicamente tres
patrones de la actividad reposo caen
dentro de la región correspondi-ente a
pensamiento de movimiento de mano
derecha. La Figura 6b muestra las
neuronas activadas por los patrones
reservados para la fase de prueba. Puede
observarse que los 16 patrones han sido
clasificados correctamente.
Figura 6. Representación gráfica de la SOM generada para el 5°segundo de la señal regis-
trada. Puntos rojos corresponden a la actividad reposo y los negros a la actividad pensa-
miento de movimiento de mano derecha. a) Distribución de los patrones de entrenamiento.
b) Distribución de los patrones de prueba.
El procedimiento de entrenamiento
y prueba descrito para la Figura 6 cor-
responde al 5°segundo de los ocho del
registro total. Una red diferente es
apli-cada para cada segundo, la cual es
en-trenada 10 veces.
Es decir, obtenemos diez redes difer-
entes para cada segundo. Los resultados
de error en la fase de prueba para cada
segundo son promediados, obteniendo la
curva de error de la Figura 7a. Los
resultados para los tres primeros se-
gundos son elevados (61.25%, 60% y
36.25%), lo cual se explica por el pro-
cedimiento seguido en el experimento:
120 | Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 |
Clasificación de dos tareas mentales haciendo uso mapas autoorganizativos de kohonen (SOM)
es en el 3° segundo cuando se le indica al
sujeto que realice la tarea mental de
pensamiento de movimiento de mano
derecha, por lo tanto, es en los segundos
4°, 5°, 6° y 7° cuando el sujeto desarrolla
un mejor desenvolvimiento de la tarea. La
Figura 7b muestra los resultados ob-
tenidos en (Ron Angevin, 2005), sigui-
endo el mismo procedimiento experi-
mental, pero cambiando el clasificador
SOM por un LDA. Se observa que du-
rante los segundos 4°, 5°, 6° y 7° la red
SOM rebaja considerablemente el error
respecto al método LDA.
Figura 7. a) Curva de error obtenida por red de Kohoen; b) curva de error obtenida por LDA.
RESULTADOS
Selección definitiva de las redes de clas-
ificación y prueba con patrones nuevos
A partir del proceso de entrenamiento
y prueba anterior seleccionamos la red
de mejor rendimiento, la cual será
utilizada para todos los patrones
obtenidos durante los 8 segundos del
registro. Utilizamos un nuevo conjunto
de patrones correspondientes a 40
registros de cada clase obtenidos con el
mismo sujeto, pero en una segunda
sesión realizada en un día diferente.
Los resultados de clasificación para
nuestra red definitiva correspondientes
a los segundos 4°, 5°, 6° 7° y 8° son
mostrados en las Figuras 8 al 10.
Figura 8. Resultados de clasificación de los nuevos patrones
presen-tados (4° segundo)
| Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 | 121
Wilber Diaz Sotelo, Gonzalo Joya, Ricardo Ron, Francisco García-Lagos
De los 80 patrones correspondientes al cuarto segundo fueron correctamente cla-
sificados 76, mientras que solo cuatro patrones fueron erróneamente clasificados.
Figura 9. a) Respuesta de la red para el 5° segundo. b) respuesta para el 6° segundo.
De los 80 patrones correspondientes al quinto segundo fueron correctamente
cla-sificados 77, mientras que solo tres patrones fueron erróneamente
clasificados. Idén-ticos resultados se obtuvieron para el sexto segundo.
Figura 10. a) Respuesta de la red para el 7° segundo; b) respuesta para el 8° segundo.
De los 80 patrones correspondientes al sétimo segundo fueron correctamente clas-
ificados 75, mientras que solo cinco patrones fueron erróneamente clasificados. Para el
octavo segundo fueron correctamente clasificados 70 (10 erróneamente clasificados).
122 | Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 |
Clasificación de dos tareas mentales haciendo uso mapas autoorganizativos de kohonen (SOM)
DISCUSIÓN
Los resultados relativos de error para la SOM y para el LDA aparecen en la
Figura 11. El comportamiento seguido por ambos clasificadores mantiene la
misma pauta que el observado para el primer conjunto de patrones.
Figura 11. a) Gráfica de error para la SOM b) Gráfica de error obtenida para el LDA.
A partir de la Figura 11 podemos
concluir que el clasificador SOM ha
conseguido diferenciar las dos clases de
tareas mentales con patrones nuevos que
no se usaron en la fase de
entrenamiento. En los segundos 1, 2 y 3
se observa que el porcentaje de error se
encuentra elevado, esto se debe a que al
sujeto de prueba solo se le indicó que
realizara la tarea de pensamiento de
movimiento de mano derecha a partir del
tercer segundo. Se observa que el error
disminuye hasta un 3.75% y este se
mantiene para dos segundos. Para los
dos últimos segundos los valores se
incrementan, esto puede deberse a
muchos factores, que no se consideraron
al momento de adquirir los datos EEG;
algunos de estos pueden ser cansancio
o desánimo.
CONCLUSIONES
En este trabajo se propone un modelo
alternativo para la clasificación de
dos tareas mentales: los Mapas
Autorgani-zativos de Kohonen.
Las tareas mentales clasificadas son
denominadas reposo y pensamiento de
movimiento de mano derecha. Mediante
un Interfaz Cerebro Computador las
señales EEG generadas para cada tarea
son registradas utilizando un sistema de
electrodos basado en el sistema 10-20;
se captan dos canales Laplacianos del
área sensomotor mientras el sujeto de
prueba realiza cada tarea mental en
sesiones de ocho segundos; estos
registros son segmentados en intervalos
de un segundo a los que se le aplica la
FFT para obtener la respuesta en
frecuencia; una vez obtenida la FFT se
seleccionan únicamente los valores de
las bandas reactivas (las de mayor
actividad). En nuestro caso, cada canal
proporciona 18 componentes. El patrón
que será presentado a la SOM constará
de un total 37 componentes: Las
componentes de 1 a 18 son los valores
para el canal 1, las componentes de 19 a
36 son los valores seleccionados para el
canal 2, finalmente la componente 37 es
la norma de vector formando por las 36
primeras componentes.
Para cada segundo se ha implementa
una SOM de 8x8 neuronas, a la cual se
| Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 | 123
Wilber Diaz Sotelo, Gonzalo Joya, Ricardo Ron, Francisco García-Lagos
le han presentado 144 patrones (72 por
cada tarea), durante el entrenamiento.
En la fase de prueba se hace uso de 16
patrones. Los mejores resultados para
los segundos 4° al 7° presentan unos
porcentajes de error de 5.25%, 6.25%,
6.25% y 7.5%, respectivamente.
Tras el entrenamiento, la red de
mejor rendimiento es seleccionada y
aplicada a la clasificación de todos los
segmentos. Una última prueba de
validación es realizada con 80 nuevos
patrones (40 de cada tarea), obtenidos
mediante nuevas sesiones con el
mismo sujeto, pero en un día diferente.
La red seleccionada presenta unos
porcentajes de error comprendidos
entre 6.25% y 3.75% para los segundos
cuarto al sétimo. Estos errores son
menores o similares a los obtenidos en
otros trabajos de referencia.
Como líneas de trabajo futuro nos
planteamos las siguientes: i) Aplicación
de los Mapas Autoorganizativos para la
clasificación de más de dos tareas
mentales. ii) Rediseño el proceso de
obtención de los patrones a partir de más
de dos canales de captura de señales
EEG. iii) Implementación hardware de
nuestro clasificador SOM.
Agradecimiento
El autor agradece al Dr. Gonzalo
Joya, Dr. Ricardo Ron y del Dr.
Francisco García-Lagos por la
paciencia y dedicación que tuvieron
durante el tiempo que tomó la
realización de esta investigación. Sin
su valioso apoyo no se habría logrado
alcanzar los objetivos propuestos.
REFERENCIAS
Abdul-Bary, R. S., & Abdul-Hameed,
T. (2013). Features extraction tech-
niques of EEG signal for bci applica-
tions. College of Electronics Engi-
neering, University of Mosul, Iraq.
Bueno, L., & Pons, J. (2007). Un sistema
de interfaz cerebro ordenador basado
en redes neuronales auto-organiza-
das. XXVIII Jornadas de Automática.
García-Lagos, F. (2003). Redes neuronales
artificiales para la gestión de sistemas
de energía eléctrica (Tesis doctor-al).
Universidad de Málaga, Málaga.
Joya, G., García-Lagos, F., & Sandoval,
F. (2010). Contingency evaluation
and monitorization using artificial
neural networks. Neural Comput-
ing and Applications, 19(1), 39-150.
Kohonen, T. (1990). The self-or-
ganizing map. Proceedings of the
IEEE, 78(9), 1464-1480.
Marín, F. J., García-Lagos, F., Joya, G., &
Sandoval, F. (2002). Global model for
short-term load forecasting using
artificial neural networks. EE Pro-
ceedings - Generation, Transmission
and Distribution, 149(2), 121-125.
Medrano-Marqués, N. J., & Martín-del-
Brío, B. (June, 1999). Topology Pres-
ervation in SOFM: An Euclidean
versus Manhattan Distance Compar-
ison. Proceding of the International
Work-Conference on Artificial and
Natural Neural Networks, IWANN’99,
Alicante, Spain, 1, 601-609.
Pascau, J., Desco, M., Rojo, P., Santos, A.,
Lopez, J., & Pozo, M. A. (2000). Spa-
tial localisation of EEG dipoles in MRI
using the 10-20 International System
anatomical references. Proceedings of
the First International Workshop on
Image and Signal Processing and
Analysis IWISPA, Pula, Croatia, 151-
156. doi:10.1109/ISPA.2000.914906
Ron Angevin, R. (2005). Retroalimentación
en el entrenamiento de una interfaz
cerebro-computadora usando técnicas
basadas en realidad virtual (Tesis doc-
toral). Universidad de Málaga, Málaga.
124 | Cátedra Villarreal | V. 4 | No. 1 | enero -junio | 2016 |
