Rekreirali pjesmu Pink Floyda iz snimljene aktivnosti mozga

Tehnika istraživača sa Berkeleyja identificira novu regiju mozga potrebnu za opažanje glazbenog ritma

Mladen Smrekar srijeda, 16. kolovoza 2023. u 12:03
Neuroznanstvenici su bilježili električnu aktivnost iz područja mozga (žute i crvene točke) dok su pacijenti slušali
Neuroznanstvenici su bilježili električnu aktivnost iz područja mozga (žute i crvene točke) dok su pacijenti slušali "Another Brick in the Wall, Part 1."

Prepoznatljive verzije klasične rock pjesme, u ovom slučaju "Another Brick in the Wall" britanske grupe Pink Floyd, mogu se rekonstruirati iz moždane aktivnosti. Baš to uspjelo je istraživačima Kalifornijskog sveučilišta Berkeley, koji su o tom pothvatu izvijestili u časopisu otvorenog pristupa PLOS Biology.

Dekodiranje i rekonstrukcija

Kako bi rekonstruirali pjesmu, koristili su se nelinearnim modeliranjem za dekodiranje moždane aktivnosti. Modeli kodiranja otkrili su i novu kortikalnu podregiju u temporalnom režnju koja je u osnovi percepcije ritma, što bi se moglo iskoristiti u budućim sučeljima mozak-stroj.

Anatomski položaj elektroda koje reagiraju na pjesmu 📷 Berkeley
Anatomski položaj elektroda koje reagiraju na pjesmu Berkeley

Prijašnja istraživanja su pokazala da se računalno modeliranje može koristiti za dekodiranje i rekonstrukciju govora, ali dosad nije postojao prediktivni model za glazbu koji bi uključivao elemente kao što su melodija, harmonija ili ritam, kao i različita područja moždane mreže za obradu zvuka. 

Moždana aktivnost

Istraživači s Berkeleyja uspjeli su izraditi takav model primjenom nelinearnog dekodiranja moždane aktivnosti snimljene s 2668 elektroda, postavljenih izravno na mozgove 29 pacijenata koji su slušali klasični rock.

Rendgenski CT sken glave jednog od volontera prikazuje elektrode raspoređene preko temporalnog režnja mozga, gdje se obrađuju zvukovi 📷 Berkeley
Rendgenski CT sken glave jednog od volontera prikazuje elektrode raspoređene preko temporalnog režnja mozga, gdje se obrađuju zvukovi Berkeley

Moždana aktivnost na 347 elektroda bila je posebno povezana s glazbom, uglavnom smještena u tri regije mozga: gornji temporalni girus (STG), senzorno-motorni korteks (SMC) i donji frontalni girus (IFG).

Jedinstveno područje

Analiza elemenata pjesme otkrila je jedinstveno područje u STG-u koje predstavlja ritam, u ovom slučaju ritam gitare u rock glazbi. Kako bi saznali koje su regije i koji elementi pjesme najvažniji, uklanjali su različite podatke i zatim te rekonstrukcije usporedili sa stvarnom pjesmom. Anatomski su otkrili da su rekonstrukcije najviše pogođene uklanjanjem elektroda s desnog STG-a.

Kodiranje glazbenih elemenata 📷 Berkeley
Kodiranje glazbenih elemenata Berkeley

Funkcionalno, uklanjanje elektroda povezanih s početkom zvuka ili ritmom također je uzrokovalo degradaciju točnosti rekonstrukcije. Ova bi otkrića mogla imati implikacije na sučelja mozak-stroj, poput protetskih uređaja koji pomažu u poboljšanju percepcije intonacije te varijacija u brzini i glasnoći ritma i melodije govora.