Moždani implantat uz brain-computer interface (BCI) omogućio je paraliziranoj ženi koja je izgubila sposobnost govora nakon moždanog udara da komunicira putem digitalnog avatara.

Postignuće tima istraživača sa Sveučilišta Kalifornija San Francisco (UCSF) i UC Berkeley revolucionarno je zbog toga što je ovo prvi put u povijesti medicine da su govor ili izrazi lica sintetizirani iz moždanih signala. Istraživanje je objavljeno online u časopisu Nature.

Dr. Edward Chang, voditelj neurološke kirurgije na UCSF-u, koji je radio na tehnologiji više od desetljeća, objašnjava:

Naš cilj u uključivanju čujnog govora u avatare uživo je omogućiti potpuno utjelovljenje komunikacije ljudskim govorom, što je puno više od pukih riječi. Za nas je ovo uzbudljiva nova prekretnica koja pomiče naš uređaj dalje od dokaza koncepta i mislimo da će uskoro postati održiva opcija za ljude koji su paralizirani.

U ranijoj studiji Changov tim je pokazao da je moguće snimiti neuralnu aktivnost paralizirane osobe koja pokušava govoriti i prevesti tu aktivnost u riječi i rečenice kao tekst na ekranu.

Kako funkcionira ova tehnologija?

U novoj je studiji pokušaj prijevoda govora u tekst dosegao oko 78 riječi u minuti. Također su pokazali da je moguće prevesti živčane signale ne samo u tekst na ekranu, već i izravno u zvučni sintetički govor, s točnim izrazom lica pokret na avataru. Tim je implantirao pravokutnik tanak poput papira od 253 elektrode na površinu ženina mozga preko područja kritičnih za govor.

Elektrode presreću moždane signale koji bi, da nije bilo moždanog udara, otišli do mišića na njezinu jeziku, čeljusti i grkljanu te licu. Kabel, priključen u priključak pričvršćen na njezinoj glavi, povezao je elektrode s grupom računala. Istraživači su trenirali i evaluirali modele dubokog učenja koristeći neuralne podatke prikupljene dok je žena pokušavala tiho izgovoriti rečenice. Tjednima je ponavljala različite fraze iz vokabulara od 1.024 riječi, uvijek iznova, sve dok računalo nije prepoznalo obrasce moždane aktivnosti povezane sa zvukovima.

Kako bi stvorili glas avatara, tim je razvio algoritam za sintetiziranje govora, a korištena je i snimka ženskog glasa prije ozljede kako bi avatar zvučao poput nje. Za izradu avatara tim je koristio softverski sustav koji simulira i animira pokrete mišića lica.

Stvorili su prilagođene procese učenja kako bi omogućili softveru da se poveže sa signalima koji se šalju iz ženina mozga dok je pokušavala govoriti i pretvoriti ih u pokrete na licu avatara, čineći da se čeljust otvara i zatvara, usne strše i stišću, a jezik ide gore-dolje, kao i pokreti lica za sreću, tugu i iznenađenje.

Kontroliranje računala i telefona ovom tehnologijom

Istraživači kažu da uvode multimodalni govorno-neuroprostetski pristup koji obećava da će obnoviti punu, utjelovljenu komunikaciju kod ljudi koji žive s teškom paralizom te da je ključni sljedeći korak stvaranje bežične verzije koja ne bi zahtijevala da korisnik bude fizički povezan s BCI-jem.

Prvi autor studije, dr. David Moses, pomoćni profesor neurološke kirurgije na UCSF-u, je rekao:

Davanje (paraliziranim) ljudima mogućnosti da slobodno kontroliraju vlastita računala i telefone ovom tehnologijom imalo bi dubok učinak na njihovu neovisnost i društvene interakcije.

U nastavku pogledajte video koji prikazuje revolucionarno otkriće.

Pročitajte i ove članke:

• Znanstvenici razvili tehnologiju koja “čita” misli i pretvara ih u govor
• Velik uspjeh: Hrvatski kirurzi prvi put upotrijebili tehnologiju koja će se koristiti kod većine onkoloških pacijenata
• Hoće li umjetna inteligencija zamijeniti liječnike? Otkrila je 20 % više karcinoma od dva specijalizirana radiologa.

Tekst Dana

Za vas izdvajamo

Pokrovitelj Poliklinika Aviva

Poslušajte Momčila Otaševića i stručnjake te besplatno izmjerite PSA

• Nova Studio
• 1 min čitanja

• digitalni avatar
• istraživanje
• moždani udar
• neuralna aktivnost
• paraliza
• video