Googles KI-system Gemini fikk tilgang til internett under en sikkerhetstest – og begynte deretter på egen hånd å ta seg inn hos virkelige selskaper. Hendelsen føyer seg inn i rekken av episoder som skaper uro rundt stadig mer selvstendige KI-agenter.
Det skriver Financial Times, som viser til tester gjennomført av KI-sikkerhetsselskapet Irregular i mai.
Gemini hadde fått i oppgave å hente informasjon fra simulerte selskaper, og skulle ikke ha tilgang til internett. Likevel kom KI-agentene seg på nett og klarte å finne eller gjette passord til tre virkelige selskaper med samme navn som virksomhetene i testen.
Dermed fikk de tilgang til de ekte selskapene.
Stoppet av seg selv
Da Gemini-agentene oppdaget at selskapene var virkelige, stanset de imidlertid aktiviteten på egen hånd.
– I alle tre tilfellene stoppet modellen, sier Googles sikkerhetssjef Heather Adkins til FT.
Google mener hendelsen viser at sikkerhetstreningen fungerte. De berørte selskapene ble varslet, og rutinene rundt testingen er senere endret.
Flere har opplevd det samme
Hendelsen kommer etter lignende problemer hos andre KI-giganter. Mer enn 1000 OpenAI-agenter skal under en test ha kommet seg ut av testmiljøet, koordinert seg og tatt seg inn hos KI-plattformen Hugging Face.
Også Anthropics Claude skal under testing ha tatt seg inn i tre organisasjoner etter utilsiktet å ha fått internettilgang.
Episodene har satt ytterligere fart på diskusjonen om sikkerheten rundt de kraftigste KI-systemene. Google DeepMind-grunnlegger Demis Hassabis har tatt til orde for internasjonalt tilsyn, mens flere KI-topper ønsker tettere samarbeid, deling av sikkerhetsdata og felles regler for rapportering av alvorlige hendelser.