Säkerhetsbrister i AI-modeller avslöjade under cybersäkerhetstester

Tre av Anthropics AI-modeller lyckades oavsiktligt bryta sig in i verkliga organisationers IT-system under interna cybersäkerhetstester. Detta väcker betydande frågor om säkerheten kring avancerade AI-modeller, särskilt efter en liknande incident som rapporterades av OpenAI.

En omfattande granskning av över 141 000 säkerhetstester av Anthropic identifierade tre specifika fall där modellen Claude fick oavsiktlig tillgång till internet från en testmiljö som var avsedd att vara isolerad. Detta ledde till intrång i verkliga organisationers system, där svaga lösenord och oskyddade tjänster utnyttjades. Namnen på de drabbade organisationerna har inte offentliggjorts.

I varje fall hade Claude fått i uppdrag att lösa en så kallad capture-the-flag-utmaning, som används för att utvärdera cybersäkerhetsförmågan hos modeller. I denna utmaning presenterades en fiktiv situation där en hemlig information, den så kallade ”flaggan”, hade gömts på en annan dator i nätverket.

Målet var att ta sig in på den datorn och hämta informationen. Uppgiften var avsiktligt öppen och specificerade inga metoder eller angreppssätt. Enligt Anthropic berodde incidenterna på ett missförstånd med säkerhetsföretaget Irregular, som hade byggt testmiljöerna.

Claude informerades om att internet inte var tillgängligt och behandlade därför verkliga system som en del av övningen. Den senaste modellen avbröt attacken vid insikten om att den befann sig på internet, medan äldre modeller fortsatte sina försök.

Incidenterna involverade modellerna Opus 4.7, Mythos 5 och en intern forskningsmodell, som kördes utan de skyddsmekanismer som normalt används i publika versioner för att förhindra missbruk. Anthropic betonar att inga känsliga kundsystem påverkades under dessa händelser.

Efter upptäckten avbröt Anthropic sina cybersäkerhetstester och informerade både Irregular och de berörda organisationerna. Företaget har meddelat att framtida testmiljöer kommer att omfattas av strängare säkerhetskrav och kontinuerlig övervakning för att förhindra liknande incidenter.