Forskere har utviklet et hjerneimplantat som gjør det mulig for lammede å få frem både ord og bevegelser. Det de forsøker å si, blir vist som tekst, mens en digital avatar samtidig kan gjenskape kroppsspråket deres.

Forskere ved University of California, San Francisco (UCSF) har demonstrert et hjerne–maskin-grensesnitt som kan hente ut flere former for kommunikasjon fra hjernen samtidig.

Studien, som er publisert i Nature Neuroscience, beskrives som et første steg mot mer naturlig kommunikasjon for personer med alvorlige lammelser.

Mens tidligere hjerneimplantater i hovedsak har vært utviklet for å tolke enten tale eller bevegelser, klarte det nye systemet å gjøre begge deler parallelt.

Tolker signaler direkte fra hjernen

Tre personer med alvorlige lammelser deltok i studien. To hadde fått lammelser etter hjernestammeslag, mens én hadde ALS. Alle tre deltok i forsøk der forskerne kartla signaler knyttet til ulike bevegelser. De samtidige forsøkene med tale, gester og den digitale avataren ble gjennomført med to av deltakerne.

Implantatet består av et nettverk med 253 elektroder som er operert inn på overflaten av venstre hjernehalvdel, over områder som er involvert i tale og kroppsbevegelser.

Når deltakerne forsøkte å snakke eller utføre bestemte bevegelser, registrerte elektrodene den elektriske aktiviteten i hjernen. Kunstig intelligens ble deretter brukt til å identifisere mønstrene og avgjøre hva personen forsøkte å si eller gjøre.

Forskerne fant at de samme elektrodene kunne fange opp signaler knyttet til både tale og bevegelser.

Systemet ble deretter koblet til en personlig digital helkroppsavatar. Forsøk på tale ble omgjort til tekst på skjermen, mens forsøk på bevegelser fikk avataren til å bevege seg i sanntid.

Det kunne blant annet dreie seg om bevegelser med hender og armer.

Les også: Elon Musk vil teste databrikke i menneskehjerner

Kunne føre virtuell samtale

Hos én av deltakerne trente forskerne systemet på ti forskjellige fraser og ti forskjellige gester. Det ga 100 mulige kombinasjoner av tale og kroppsspråk.

I en test der deltakeren skulle forsøke å snakke og gestikulere samtidig, traff systemet rundt 70 prosent av gangene på talen og 66 prosent på bevegelsene.

Forskerne gjennomførte også en mer samtalelignende test. Der svarte deltakeren på spørsmål fra en samtalepartner ved hjelp av implantatet og avataren. I disse forsøkene traff systemet i gjennomsnitt 75 prosent på talen og 85 prosent på bevegelsene.

Hos en annen deltaker oppnådde systemet en median treffsikkerhet på 100 prosent for både tale og bevegelser i tre testblokker. Denne deltakeren brukte imidlertid et langt mindre utvalg, med fem ytringer og fire bevegelser.

Forskerne understreker derfor at resultatene først og fremst er et bevis på at teknologien fungerer, og ikke et ferdigutviklet kommunikasjonssystem.

I et av forsøkene kommuniserte deltakeren også med en annen virtuell avatar. Når han forsøkte å svare, ble den dekodede talen skrevet på skjermen samtidig som avataren utførte den bevegelsen systemet mente han forsøkte å gjøre.

Les også: Se Neuralinks første pasient spille sjakk med «telepati»

Mer enn bare ord

Vanlig menneskelig kommunikasjon består ikke bare av ordene vi sier. Ansiktsuttrykk, håndbevegelser, nikk og andre gester bidrar til å formidle både mening og følelser. For mennesker med alvorlige lammelser kan mye av denne delen av kommunikasjonen forsvinne, selv om personen fortsatt forsøker å utføre bevegelsene.

Forskerne mener resultatene viser at et enkelt implantat kan hente ut flere slike signaler samtidig. Funnene viser at et kortikalt implantat kan brukes til å styre flere former for kommunikasjon og bevegelse.

Ifølge Nature er dette første gang et enkelt hjerneimplantat er brukt til å oversette verbal og ikke-verbal kommunikasjon samtidig.

Teknologien «leser» imidlertid ikke frie tanker. Den er trent opp til å kjenne igjen bestemte mønstre i hjerneaktiviteten når brukeren aktivt forsøker å si bestemte fraser eller utføre bestemte bevegelser.

Forskerne ser teknologien som et mulig steg mot hjerneimplantater som i fremtiden kan gi mennesker med alvorlige lammelser en langt mer naturlig og uttrykksfull måte å kommunisere på.