La música se puede reconstruir a partir de la actividad de la corteza auditiva humana utilizando modelos de decodificación no lineales.

Resumen

La música es fundamental para la experiencia humana, pero aún se desconoce la dinámica neuronal precisa que subyace a la percepción musical. Analizamos un conjunto de datos único de electroencefalografía intracraneal (iEEG) de 29 pacientes que escucharon una canción de Pink Floyd y aplicó un enfoque de reconstrucción de estímulos utilizado previamente en el dominio del habla. Reconstruimos con éxito una canción reconocible a partir de grabaciones neuronales directas y cuantificamos el impacto de diferentes factores en la precisión de la decodificación. Combinando análisis de codificación y decodificación, encontramos una dominancia del hemisferio derecho para la percepción musical con un papel principal de la circunvolución temporal superior (STG), evidenciamos una nueva subregión STG sintonizada con el ritmo musical y definimos una organización STG anteroposterior que exhibe una expresión sostenida y respuestas de inicio a elementos musicales. Nuestros hallazgos muestran la viabilidad de aplicar modelos predictivos en conjuntos de datos cortos adquiridos en pacientes individuales, allanando el camino para agregar elementos musicales a las aplicaciones de interfaz cerebro-computadora (BCI).

Fig 1. Protocolo, preparación de datos y ajuste del modelo de codificación. (A) Arriba: forma de onda del estímulo de la canción completa. Los participantes escucharon una canción de rock de 190,72 segundos (Another Brick in the Wall, Part 1, de Pink Floyd) utilizando auriculares. Abajo: espectrograma auditivo de la canción. Las barras naranjas en la parte superior representan partes de la canción con voces. (B) Radiografía que muestra la cobertura de los electrodos de 1 paciente representativo. Cada punto es un electrodo y la señal de los 4 electrodos resaltados se muestra en (C). (C) HFA provocado por el estímulo de la canción en 4 electrodos representativos.

Introducción

La música es una experiencia universal en todas las edades y culturas y es una parte central de nuestra vida emocional, cognitiva y social. Comprender el sustrato neuronal que respalda la percepción musical, definido aquí como el procesamiento de sonidos musicales desde la acústica hasta las representaciones neuronales y las percepciones y distintos de la producción musical, es un objetivo central de la neurociencia auditiva. En las últimas décadas se han visto enormes avances en la comprensión de las bases neuronales de la percepción musical, con múltiples estudios que evalúan los correlatos neuronales de elementos musicales aislados como el timbre, el tono, la melodía, armonía y ritmo.

Ambos hemisferios participan en el procesamiento de la música, con una preferencia relativa por el hemisferio derecho en comparación con el dominio izquierdo para el habla. Sin embargo, falta una visión integrada que combine estos elementos musicales y regiones cerebrales específicas utilizando un único enfoque de modelado predictivo aplicado a un estímulo auditivo naturalista y complejo. En este estudio, nuestro objetivo fue especificar qué regiones del cerebro participan preferentemente en la percepción de los diferentes elementos acústicos que componen una canción.

Comentarios

Para aquellos con trastornos neurológicos o del desarrollo que comprometen el habla, las interfaces cerebro-máquina podrían ayudarlos a comunicarse. Pero las interfaces actuales son lentas y, a partir de electrodos colocados en el cuero cabelludo, sólo pueden detectar letras. El discurso generado es robótico y carente de afecto. Los neurocientíficos han demostrado ahora que pueden reconstruir la canción que una persona escucha únicamente a partir de grabaciones cerebrales, lo que ofrece la posibilidad de reconstruir no sólo las palabras sino también la musicalidad del habla, que también transmite significado.

Mientras los acordes de "Another Brick in the Wall, Part 1" de Pink Floyd llenaban la sala de cirugía, los neurocientíficos del Albany Medical Center registraron diligentemente la actividad de los electrodos colocados en los cerebros de pacientes sometidos a cirugía de epilepsia.

¿La meta? Captar la actividad eléctrica de regiones del cerebro sintonizadas con los atributos de la música (tono, ritmo, armonía y palabras) para ver si podían reconstruir lo que el paciente estaba escuchando. Más de una década después, tras un análisis detallado de los datos de 29 de estos pacientes, realizado por neurocientíficos de la Universidad de California, Berkeley, la respuesta es claramente sí.

La frase "En definitiva, era sólo un ladrillo en la pared" se hace reconocible en la canción reconstruida, con sus ritmos intactos y las palabras confusas, pero descifrables. Esta es la primera vez que los investigadores reconstruyen una canción reconocible a partir de grabaciones cerebrales.

La reconstrucción muestra la viabilidad de grabar y traducir ondas cerebrales para capturar los elementos musicales del habla, así como las sílabas. En los seres humanos, estos elementos musicales, llamados prosodia (ritmo, acento, acento y entonación) conllevan un significado que las palabras por sí solas no transmiten.

Debido a que estas grabaciones de electroencefalografía intracraneal (iEEG) solo pueden realizarse desde la superficie del cerebro (lo más cerca posible de los centros auditivos), nadie escuchará a escondidas las canciones en su cabeza en el corto plazo.

Pero para las personas que tienen problemas para comunicarse, ya sea debido a un derrame cerebral o parálisis, estas grabaciones de electrodos en la superficie del cerebro podrían ayudar a reproducir la musicalidad del habla que falta en las reconstrucciones robóticas actuales.

"Es un resultado maravilloso", afirmó Robert Knight, neurólogo y profesor de psicología en el Instituto de Neurociencia Helen Wills de UC Berkeley, quien realizó el estudio con el becario postdoctoral Ludovic Bellier. "Una de las cosas que para mí tiene la música es que tiene prosodia y contenido emocional. A medida que avanza todo este campo de las interfaces cerebro-máquina, esto te brinda una manera de agregar musicalidad a futuros implantes cerebrales para personas que lo necesitan, alguien que tiene ELA o algún otro trastorno neurológico o del desarrollo incapacitante que comprometa la producción del habla. Te da la capacidad de decodificar no sólo el contenido lingüístico, sino parte del contenido prosódico del habla, parte del afecto. Creo que eso es lo que realmente hemos comenzado a descifrar el código encendido."

A medida que mejoren las técnicas de registro cerebral, algún día será posible realizar dichos registros sin abrir el cerebro, tal vez usando electrodos sensibles colocados en el cuero cabelludo. Actualmente, el EEG del cuero cabelludo puede medir la actividad cerebral para detectar una letra individual de un flujo de letras, pero el enfoque requiere al menos 20 segundos para identificar una sola letra, lo que hace que la comunicación sea difícil y requiere esfuerzo, dijo Knight.

"Las técnicas no invasivas simplemente no son lo suficientemente precisas hoy en día. Esperemos, para los pacientes, que en el futuro podamos, con sólo electrodos colocados fuera del cráneo, leer la actividad de regiones más profundas del cerebro con una buena calidad de señal. Pero estamos lejos a partir de ahí", dijo Bellier.

Bellier, Knight y sus colegas informaron hoy de los resultados en la revista PLOS Biology, señalando que han añadido "otro ladrillo a la pared de nuestra comprensión del procesamiento de la música en el cerebro humano".

¿Leyendo tu mente? Aún no.

Las interfaces cerebro-máquina que se utilizan hoy en día para ayudar a las personas a comunicarse cuando no pueden hablar pueden decodificar palabras, pero las oraciones producidas tienen una calidad robótica similar a cómo sonaba el difunto Stephen Hawking cuando usaba un dispositivo generador de voz.

"En este momento, la tecnología se parece más a un teclado para la mente", dijo Bellier. "No puedes leer tus pensamientos desde un teclado. Tienes que presionar los botones. Y produce una especie de voz robótica; seguro que hay menos de lo que yo llamo libertad expresiva".

Bellier debería saberlo. Ha tocado música desde niño: batería, guitarra clásica, piano y bajo, y en un momento actuó en una banda de heavy metal. Cuando Knight le pidió que trabajara en la musicalidad del habla, Bellier dijo: "Puedes apostar que me emocioné cuando recibí la propuesta". En 2012, Knight, el becario postdoctoral Brian Pasley y sus colegas fueron los primeros en reconstruir las palabras que una persona escuchaba únicamente a partir de grabaciones de la actividad cerebral.

Más recientemente, otros investigadores han llevado el trabajo de Knight mucho más allá. Eddie Chang, neurocirujano de la Universidad de California en San Francisco y coautor principal del artículo de 2012, registró señales del área motora del cerebro asociada con los movimientos de la mandíbula, los labios y la lengua para reconstruir el habla prevista por un paciente paralizado, con las palabras mostradas en la pantalla de una computadora. Ese trabajo, informado en 2021, empleó inteligencia artificial para interpretar las grabaciones cerebrales de un paciente que intentaba vocalizar una oración basada en un conjunto de 50 palabras.

Si bien la técnica de Chang está teniendo éxito, el nuevo estudio sugiere que la grabación de las regiones auditivas del cerebro, donde se procesan todos los aspectos del sonido, puede capturar otros aspectos del habla que son importantes en la comunicación humana.

"La decodificación de las cortezas auditivas, que están más cerca de la acústica de los sonidos, a diferencia de la corteza motora, que está más cerca de los movimientos que se realizan para generar la acústica del habla, es muy prometedora", añadió Bellier. "Le dará un poco de color a lo que se decodifica".

Para el nuevo estudio, Bellier volvió a analizar las grabaciones cerebrales obtenidas en 2012 y 2013 mientras a los pacientes se les reproducía un segmento de aproximadamente 3 minutos de la canción de Pink Floyd, que pertenece al álbum de 1979 The Wall. Esperaba ir más allá de estudios anteriores, que habían probado si los modelos de decodificación podían identificar diferentes piezas y géneros musicales, para reconstruir frases musicales mediante modelos de decodificación basados en regresión.

Bellier enfatizó que el estudio, que utilizó inteligencia artificial para decodificar la actividad cerebral y luego codificar una reproducción, no se limitó a crear una caja negra para sintetizar el habla. Él y sus colegas también pudieron identificar nuevas áreas del cerebro involucradas en la detección del ritmo, como el tamborileo de una guitarra, y descubrieron que algunas porciones de la corteza auditiva (en la circunvolución temporal superior, ubicada justo detrás y encima de la oreja) - responder al inicio de una voz o un sintetizador, mientras que otras áreas responden a voces sostenidas.

Los investigadores también confirmaron que el lado derecho del cerebro está más en sintonía con la música que el lado izquierdo. "El lenguaje es más del lado izquierdo del cerebro. La música está más distribuida, con un sesgo hacia el lado derecho", dijo Knight.

"No estaba claro que sucedería lo mismo con los estímulos musicales", dijo Bellier. "Así que aquí confirmamos que eso no es sólo una cuestión específica del habla, sino que es más fundamental para el sistema auditivo y la forma en que procesa tanto el habla como la música".

Knight se está embarcando en una nueva investigación para comprender los circuitos cerebrales que permiten a algunas personas con afasia debido a un derrame cerebral o daño cerebral comunicarse cantando cuando de otro modo no pueden encontrar las palabras para expresarse.

Otros coautores del artículo son las becas postdoctorales del Instituto de Neurociencia Helen Wills, Anaïs Llorens y Déborah Marciano, Aysegul Gunduz de la Universidad de Florida y Gerwin Schalk y Peter Brunner del Albany Medical College de Nueva York y la Universidad de Washington, quienes capturaron las grabaciones cerebrales.

Tecnología

Con la ayuda de Pink Floyd

Compartir nota