En av verdens ledende aktører innen kunstig intelligens kommer nå med en oppsiktsvekkende advarsel: Utviklingen går så raskt at AI-systemer snart kan begynne å forbedre seg selv uten menneskelig kontroll.

Det amerikanske selskapet Anthropic, som står bak AI-modellen Claude og nylig ble verdsatt til nærmere 1.000 milliarder dollar, ber nå om en global diskusjon om å bremse utviklingen av de mest avanserte AI-systemene, skriver The Wall Street Journal.

Bakgrunnen er frykten for det som i AI-miljøene omtales som «rekursiv selvforbedring» – at kunstig intelligens blir i stand til å forbedre sine egne evner uten menneskelig innblanding.

– Vi mener det ville være bra for verden å ha muligheten til å bremse eller midlertidig stanse utviklingen av den mest avanserte kunstige intelligensen, slik at samfunnet og sikkerhetsforskningen kan holde tritt med teknologien, skriver Anthropic i et nytt blogginnlegg, ifølge WSJ.

Frykter utviklingen skjer raskere enn samfunnet tåler

Selskapet understreker at AI ennå ikke har nådd punktet hvor systemene kan forbedre seg selv, men advarer om at det kan skje tidligere enn mange institusjoner er forberedt på.

Jack Clark, medgründer i Anthropic, har tidligere sagt at teknologien kan være på plass innen to år – kanskje enda tidligere.

– Denne typen teknologi har aldri eksistert før, men jeg tror det kan skje i løpet av de neste to årene, sa Clark under et foredrag i London, gjengitt av avisen.

Dersom utviklingen fortsetter uten internasjonal koordinering, frykter han at kommersielle og geopolitiske rivaliseringer vil overskygge de langsiktige konsekvensene for menneskeheten.

Vil ha global avtale

Anthropic foreslår nå en internasjonal avtale som kan gjøre det mulig å bremse utviklingen dersom teknologien blir for kraftig. Selskapet sammenligner utfordringen med atomvåpenavtaler, men erkjenner samtidig at kontrollen vil være langt vanskeligere.

– Treningskjøringer for AI er langt enklere å skjule enn rakettsiloer, heter det i blogginnlegget.

Selskapet advarer også om at den som fortsetter utviklingen mens andre setter på bremsen, kan oppnå et enormt teknologisk forsprang.

Møter skepsis

Ikke alle lar seg overbevise av advarslene.

Kritikere har i flere år anklaget Anthropic for å bruke sikkerhetsargumenter til å bremse konkurrentene i AI-kappløpet. Andre mener selskapets advarsler også fungerer som markedsføring ved å framheve hvor kraftige modellene deres faktisk er.

Samtidig peker professor Ethan Mollick ved Wharton School på at mange av forskerne i Anthropic oppriktig tror på risikoen.

– AI-selskaper består av flere leire. Du har markedsførere og advokater, forskere som bygger modellene, og folk som er dypt bekymret for framtiden. De er ikke alltid enige med hverandre, sier han til The Wall Street Journal.

Debatten om hvor nær verden er å utvikle kunstig generell intelligens – såkalt AGI – splitter fortsatt forskermiljøene. Enkelte mener dagens språkmodeller aldri vil nå menneskelig intelligens, mens andre frykter at gjennombruddet kan komme langt raskere enn mange tror.