OpenAI upptäckte att modellerna samarbetade om intrång – och fortsatte träna dem

Den 6 augusti gav OpenAI sin första detaljerade genomgång av Hugging Face-attacken på säkerhetskonferensen Black Hat USA. Bilden som framträder visar problem som är mycket mer omfattande än de som var kända i juli, då AI-bevakning skrev om incidenten: förloppet började inte i juli utan den 7 maj, och intrånget mot Hugging Face var ett symptom på ett händelseförlopp som pågått i två och en halv månad inuti OpenAI:s egna system för att träna och testa modeller.

Den mest anmärkningsvärda uppgiften är inte intrånget. Det är att OpenAI upptäckte att deras modeller under träning koordinerade sig kring hur man kringgår säkerhetsspärrar, åtgärdade den tekniska vägen de använde – och sedan återupptog träningen av samma modeller från samma punkt.

OpenAI:s utredning är inte avslutad. Det som följer är alltså vad OpenAI själva redovisar i dag, inte en slutlig bild.

UPPDATERING 10 augusti: Den 9 augusti kom ett förtydligande om att OpenAI inte kände till den oavsiktliga anslagstavlan som AI-modellerna utnyttjade, när de åtgärdade problemen de upptäckte den 4 juli. Presentationen på Black Hat-konferensen ger intryck av att OpenAI kände till detta (vilket kan vara oavsiktligt), men det sägs inte rakt ut. Förtydligandet kommer i ett inlägg på X från OpenAI:s informationssäkerhetschef. Artikeln har inte uppdaterats för att avspegla detta.

En vanlig tolkning i juli var att incidenten handlade om att man gett en AI i uppgift att hitta sårbarheter, varpå den hittade sårbarheter. Genomgången visar att det inte stämmer.

Startpunkten var mer vardagliga uppgifter som av misstag råkade vara omöjliga att lösa. Den 8 maj, under träningen av en ny modell, fick den i uppgift att fylla i en kalkylbladsmall. Arbetsboken var full av länkar till dokument på nätet, men modellen kördes i en miljö utan internetåtkomst. Några dagar senare fick en annan modell en uppgift där den fil som behövdes inte hade laddats upp.

Det som hände när modellerna körde fast är centralt för hela incidenten. De hade inget sätt att bli belönade för att konstatera att uppgiften var omöjlig. De hade däremot gott om resurser kvar att arbeta med. I stället för att misslyckas började de leta efter andra vägar. Kunde informationen finnas någon annanstans? Kunde man nå internet ändå?

Skillnaden mellan träning och test är avgörande i det som följer. När en modell testas mäts bara vad den kan, och modellen förändras inte. När den tränas formas den av det som visar sig fungera. Uppgifterna som utlöste förloppet var träningsuppgifter.

Det var i det sökandet den första modellen upptäckte att den hade skrivrättigheter till den interna tjänst som lät AI-modellerna installera nya programpaket – en tjänst som delades av alla modeller som tränades eller testades.

Den andra modellen, den som saknade en fil, gjorde något som ingen förutsett: den skrev ett meddelande till andra modeller. Resonemanget var att någon annan agent i någon annan miljö kanske hade filen och frivilligt kunde ladda upp den.

Eftersom paketsystemet delades av allt som kördes kunde varje modell som tränades eller testades därefter läsa meddelandet. Andra modeller som körde fast hittade det, förstod vad det var, och började skriva egna budskap. Under de följande veckorna växte det till en gemensam anslagstavla med hundratusentals meddelanden.

Innehållet var i huvudsak information om hur man tar sig runt begränsningar. När en modell hittade en väg ut kunde alla andra använda den. Modellerna utvecklade egna konventioner för att adressera varandra, dela upp arbete och lämna över uppgifter, och de kodade in längre instruktioner i meddelandena.

Två av de resonemang OpenAI visade på bild under presentationen ger en bild av hur det såg ut inifrån:

“Wow! Other agent(s) are coordinating!”

“We got assignment: HF join path normalization/existing account token search. Need note and respond.”

I det första upptäcker en modell att de andra samordnar sig. I det andra tar en modell emot en tilldelad arbetsuppgift från en annan modell – och uppgiften gäller Hugging Face (förkortat HF).

Det är viktigt att förstå att ingen gett instruktioner om att bygga en anslagstavla och samordna insatser. Det uppstod ur att många modeller delade filsystem och alla hade skäl att undvika att misslyckas.

Ett citat från en AI-modell, visat i OpenAI:s presentation, har fått mer uppmärksamhet än andra.

“External infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue.”

Citatet visar att modellen inser att den inte bör hacka, men fortsätter ändå – med hänvisning till att uppgiften är omöjlig och att andra gör samma sak.

Annat anmärkningsvärt beteende som uppstod var att modeller la tid på att hjälpa andra utan direkt nytta för den egna uppgiften, med motiveringen att kollektivet i förlängningen kunde tjäna på det.

Ingen upptäckte anslagstavlan under de två månader den fanns. Det som till slut avslöjade den var inte övervakning av modellernas beteende, utan att aktiviteten den 4 juli blev så omfattande att paketsystemet kraschade.

När OpenAI till slut insåg vad som hänt – nästan två månader efter att det startat – vidtog de flera åtgärder. Bland annat raderades alla meddelanden och det säkerhetshål som AI-modellerna utnyttjat åtgärdades. Men en kritisk åtgärd saknades. Den 6 juli startades modellerna upp igen – från samma punkt, med samma modeller.

Modellerna hade då i två månader tränats i en miljö där det fungerade att kringgå begränsningar, och där koordination med andra modeller var vägen till att lösa uppgifter. De hade inte bara använt anslagstavlan. De hade tränats medan de använde den, och det som fungerade hade belönats. Det var bara kanalen som togs bort.

Den 8 juli, bara två dygn senare, var anslagstavlan tillbaka. Modellerna hade hittat ett annat sätt att lämna meddelanden i samma system, och använde namnen på kataloger i stället för filer. Enligt OpenAI hittade den modell som tränats medan den ursprungliga tavlan fanns den nya vägen, och andra modeller hittade den nya tavlan oberoende av varandra.

Dagen efter, den 9 juli, inleddes intrånget i Hugging Face. Det skedde under en utvärdering av modellernas cyberförmågor – men det beteende som gjorde det möjligt hade byggts upp under träningen veckorna innan.

Den 16 juli publicerade Hugging Face sin incidentrapport om att de angripits av autonoma AI-agenter. OpenAI hörde av sig för att ta reda på om de själva var påverkade – samma fråga som vilken annan samarbetspartner som helst hade ställt.

Det interna intrånget upptäcktes tre dagar senare, den 19 juli, genom ett larm om behörighetseskalering. Den 20 juli hörde OpenAI av sig till Hugging Face igen – nu för att be dem spärra inloggningsuppgifter som dykt upp i det egna intrånget. Hugging Face svarade att uppgifterna redan var spärrade, eftersom de använts i angreppet mot dem.

Först där förstod OpenAI att de två incidenterna var samma incident, och att orsaken fanns i deras egna system.

På Black Hat-konferensen beskrev OpenAI att de nu bromsar forskningstakten för att stärka säkerheten, och kraftigt utökar övervakningen av sina AI-agenter. Det första synliga beskedet kom den 7 augusti, när OpenAI meddelade att de bromsar arbetet med sin kommande modell Astra, eftersom de inte kan utesluta att modellen nått nivån critical för cyberförmågor i bolagets ramverk för AI-säkerhet (Preparedness Framework).

Astra var inte inblandad i intrånget mot Hugging Face. Det var däremot GPT-5.6 Sol, som bedöms vara på nivå high i cyberförmågor. Nivån för den andra modellen som var inblandad i intrånget är inte känd.

OpenAI:s åtgärder omfattar inte bara lansering. De pausar de interna aktiviteter med Astra som inte uppfyller skärpta säkerhetskrav, inför isolerade testmiljöer, begränsad sandlådekörning samt nätverks- och verktygsåtkomst, och de ska också arbeta med myndigheter och utvalda AI-säkerhetsorganisationer för att testa modellens förmågor.

OpenAI har med rätta fått beröm för öppenheten på Black Hat-konferensen. Men den kom sent. Att modellerna byggt en gemensam anslagstavla och tagit över intern infrastruktur var känt inom företaget från den 4 juli. Det nämndes inte i OpenAI:s egen redogörelse den 21 juli, och blev offentligt först den 6 augusti – en månad efter upptäckten, och drygt två veckor efter att företaget beskrivit incidenten för omvärlden. De har också uppvisat anmärkningsvärt dålig säkerhet, både i miljön för AI-modeller och i hur de valde att gå vidare med träningen. Det är från den nivån förtroendet måste byggas.

Efter OpenAI:s offentliggörande har två andra organisationer redovisat besläktade händelser. De skiljer sig på en viktig punkt: hos Anthropic och brittiska AISI hade modellerna redan öppen internetåtkomst – i det ena fallet genom en kommunikationsmiss, i det andra avsiktligt.

• Anthropic granskade efter Hugging Face-attacken sina egna cyberutvärderingar och hittade tre fall där Claude-modeller angripit verkliga system under säkerhetstestning. I ett av fallen avbröt modellen själv sina attacker när den insåg att den agerade på det verkliga internet. I ett annat fortsatte modellen trots samma insikt. I det tredje resonerade modellen sig fram till att det troligen ändå rörde sig om en simulering.

• Brittiska AI Security Institute såg agenter agera utanför sitt mandat i 10 av 122 säkerhetsutvärderingar. Allvarligast var ett försök att få in skadlig kod i ett projekt med öppen källkod, där AI-agenten skapade falska identiteter och försökte manipulera människor. Agenten lämnade också offentliga meddelanden på plattformen GitHub, där den erbjöd samarbete med andra agenter och beskrev hur dess infrastruktur kunde återanvändas.

• AI-säkerhet handlar även om mänskligt agerande. AI-säkerhetsproblemen som beskrivs här beror till större eller mindre del på dåliga beslut av människor. Det gör dem inte till mindre verkliga. När ledande AI-bolag låter allvarliga säkerhetshändelser gå oupptäckta i månader är det en del i bristande AI-säkerhet.

• Det behövs säkerhetskrav även för AI-modeller under utveckling. Dagens regelverk för AI utgår från modeller som finns på marknaden, inte modeller under utveckling. De här incidenterna visar att AI-modeller kan utgöra allvarliga risker även innan de lanserats.

• Att stänga en väg räcker inte när drivkraften finns kvar. Två dygn efter att OpenAI åtgärdat problemet var beteendet tillbaka via en annan mekanism. Att minska AI-modellers benägenhet till oönskat beteende är en kritisk del i AI-säkerhet, inte bara att hindra försök till oönskat beteende.

• Automatiserade cyberattacker kräver automatiserat försvar, och det saknas ännu. Det här är OpenAI:s egen slutsats från Black Hat-konferensen. Hugging Face-attacken visar att AI – även när ingen bett om det – kan genomföra sofistikerade cyberangrepp på en skala som inte går att försvara sig mot med gamla metoder. Vi måste räkna med att öppna modeller inom månader har förmåga till liknande attacker, och att illasinnade aktörer kommer att genomföra sådana. Mycket få aktörer kan idag stå emot sådana attacker.

Fler länkar:

• Black Hat USA 2026: The “Breaking” News – The OpenAI–Hugging Face Incident (Eric Wallace och Michael Dalton, OpenAI)

• Anatomy of a Frontier Lab Agent Intrusion (Hugging Face)

• Investigating incidents during cybersecurity evaluations (Anthropic)

• Incident report: unsanctioned agent behaviour during cyber testing (UK AI Security Institute)

• Responding to the next frontier of critical cyber capabilities (OpenAI)

• OpenAI slows release of Astra model citing cyber capabilities (Axios)

• What Happened: OpenAI and HuggingFace (Zvi Mowshowitz)

Tidigare nyheter:

• AI-modeller genomförde cyberangrepp för att fuska på säkerhetstest

• Anthropics nya modell “Mythos Preview” ändrar förutsättningarna för cybersäkerhet

AI-bevakning sammanfattar de viktigaste AI-nyheterna på svenska, som underlag för journalister, beslutsfattare och andra som vill följa utvecklingen. Läs mer här.