Det norske AI-systemet Kipler, som ble brukt av psykologer til å analysere pasientsamtaler, ble avviklet etter at VG stilte spørsmål om funksjonaliteten. Systemet transkriberte terapirommets dialog og genererte journalnotater og behandlingsvurderinger, men viste seg å hallusinere kliniske vurderinger.

– Vi har ikke bedt systemet om å diagnostisere. Tvert imot jobber vi kontinuerlig med å legge inn sperrer for å hindre at AI-en gjør dette, sier medgründer Krister Koen. Han bekrefter at diagnosen som ble generert i VGs test ikke var en del av designet, men en uønsket hallusinasjon i språkmodellen.

VGs test viste at verktøyet laget vurderinger som «rolig psykomotorikk» og «noe redusert mimikk», til tross for at systemet kun hadde tilgang til tekst og ingen sanseobservasjon. Diagnosen som fulgte, ble satt uten lovlig grunnlag, da Kipler ikke var klassifisert som medisinsk utstyr og manglet CE-godkjenning for diagnostisk bruk.

Etter VGs henvendelse kontaktet Direktoratet for medisinske produkter Kipler, som fjernet analysefunksjonen og senere avviklet hele tjenesten. Selskapet opplyser at kun to psykologer brukte systemet aktivt etter november, og at de nå retter utviklingen mot andre bransjer.

– Vi var ikke klar over at funksjonen kunne klassifiseres som medisinsk utstyr, men det viktigste poenget er at vi uansett aldri har hatt som mål å gi diagnoser, sier Koen. Han understreker at psykologen alltid må lese gjennom og redigere alt som ikke stemmer, og at hallusinasjoner i AI alltid må tas med en klype salt.

Selskapet har også håndtert sikkerhetsproblemer tidligere, blant annet en uautorisert penetrasjonstest i en tidlig prototype. Ingen pasientdata kom på avveie, og tiltak som BankID-innlogging ble innført for å styrke sikkerheten.

Avviklingen markerer slutten på Kiplers forsøk med AI-analyse i terapirom, etter både regulatorisk dialog og interne vurderinger av systemets pålitelighet.