Senior-forsker på AI, Jacob Coxon, skrev et avskjedsbrev han la ut på X da han forlot Anthropic. Han anslår at det er 10 prosent sjanse for at AI vil utslette menneskeheten innen ti år. En dyster spådom. Årsaken er at AI er ved å få evnen til å skrive sin egen kode, til selvforbedring. Da er det ingen grenser for hva den kan.
En senior sikkerhetsforsker hos Anthropic uttalte tirsdag at kunstig intelligens (AI) har en sannsynlighet på over 10 % for å «drepe alle mennesker» i løpet av «det neste tiåret», som svar til en tidligere ansatt som sa opp etter å ha beskyldt selskapet for å opptre uansvarlig.
Den tidligere forskeren hos Anthropic og OpenAI, Jacob Coxon, skrev i en lang tråd om oppsigelsen som ble lagt ut på X søndag, at «de som utvikler AI, er oppriktig overbevist om at den kan drepe oss alle innen utgangen av tiåret».
«Jeg sa opp jobben min hos Anthropic i dag. De siste tre årene har jeg drevet med forskning på forhåndstrening både hos OpenAI og Anthropic. Ingen av selskapene opptrer ansvarlig. De raser rett mot selvforbedrende superintelligens og spiller hasard med livene våre», skrev han.
I et sitert innlegg som svar på Coxons tråd innrømmet selskapets leder for tilpasningsvitenskap, Evan Hubinger, at Coxons vurdering var riktig, selv om han la til noen forbehold.
«Jacob har rett her – vi tror virkelig oppriktig at AI kan drepe alle mennesker!» skrev Hubinger.
«Personlig tror jeg sannsynligheten er 10 % i løpet av det neste tiåret. Jeg tror Anthropic gjør sitt beste, men vi har ennå ikke en plan for å løse tilpasningsproblemet for superintelligens og er ikke klart på vei mot det,» fortsatte han.
Hubinger la til at den potensielt dødelige risikoen ikke stammer fra dagens modeller.
«For å være tydelig: Som vi sier i vår siste risikorapport, mener jeg at risikoen fra dagens modeller er lav. Det jeg er bekymret for, er superintelligens som oppstår gjennom rekursiv selvforbedring, noe vi har sagt skjer raskere enn vi trodde», skrev han.
Grunnen til at kappløpet fortsetter uten bremser er at alle frykter å bli forbigått og bli stående igjen som tapere.
«Dette vil snart være overmenneskelige systemer som kan hacke hva som helst, revolusjonere ethvert felt over natten og tilegne seg reell makt og ressurser. Vi har alle vært vitne til fremskrittene innen hvert av disse områdene, og utviklingen avtar ikke,» fortsatte Coxon i tråden.
Coxon sa også at forskerne hos Anthropic, i motsetning til forskere i andre selskaper, forstår risikoene ved arbeidet sitt, men fortsetter likevel fordi de frykter at et mindre ansvarlig selskap kan være det første til å utløse de potensielt katastrofale evnene.
«Hos Anthropic er man fullt klar over hva som står på spill, men de er fanget i et kappløp om å komme først – de tror at ingen andre vil opptre ansvarlig, så de må gjøre det selv, til tross for risikoen,» la Coxon til.
Coxon foreslo at verden, for å forhindre en total katastrofe, kanskje trenger et midlertidig forbud mot modellforbedring.
https://www.foxbusiness.com/technology/anthropic-researcher-says-ai-has-over-10-chance-kill-all-humans-within-next-decade
