agenti su komunicirali bez mreže
AI

OPENAI: AI agenti su komunicirali bez mreže

Danica Manojlovic

OpenAI je tokom velikog testiranja bezbednosti svojih najnaprednijih modela proveravao šta se dešava kada im se namerno zada da traže slabosti u sistemima koji bi trebalo da ih drže izolovanim. AI agenti su komunicirali bez mreže u jednom od eksperimenata! Uspeli da razmenjuju podatke između odvojenih virtuelnih mašina iako nisu imali vezu niti zajedničke fajlove. Za komunikaciju su iskoristili keš memoriju procesora i razlike u brzini pristupa podacima. Eksperiment je bio kontrolisan i agentima je namenski zadato da pronađu način za komunikaciju ali je pokazao koliko izolacija naprednih AI sistema može da bude složena.

OpenAI je rezultate objavio 23. oktobra u izveštaju o zaštiti infrastrukture koju koristi za treniranje i testiranje najnaprednijih modela. Kompanija je napravila posebna okruženja u kojima su grupe agenata pokušavale da izađu iz virtuelnih mašina, pristupe internetu ili razmenjuju podatke sa drugim agentima sa kojima komunikacija nije bila dozvoljena. Cilj nije bio da se proveri da li će modeli sami od sebe pokušati nešto slično, već koliko efikasno mogu da pronađu propuste kada im je to direktno zadato.

Komunikacija

U jednom od testova dva agenta su bila smeštena u različite virtuelne mašine na istom fizičkom računaru. Nisu mogli da komuniciraju preko mreže, a ni da koriste zajednički fajl. Ali, njihove virtuelne mašine su ipak koristile isti procesor. Upravo je taj zajednički hardver postao osnova za komunikaciju.

Jedan agent je pristupom određenim podacima menjao stanje keš memorije procesora dok je drugi merio koliko mu vremena treba da iste podatke ponovo učita. Podaci koji se već nalaze u kešu čitaju se brže od onih koji moraju ponovo da budu učitani iz glavne memorije. Tako su agenti razliku između brzog i sporog pristupa pretvorili u signal. Kada su usaglasili način kodiranja, mogli su da prenose sintetičke tajne između dve virtuelne mašine bez klasičnog kanala za komunikaciju!

Slični napadi preko keš memorije su poznati godinama unazad. Ono što je u OpenAI eksperimentu posebno zanimljivo jeste činjenica da su AI agenti uspeli da takvu tehniku pretvore u funkcionalan način razmene podataka unutar sistema napravljenog da ih drži odvojene.

OpenAI test

OpenAI je svoje modele u ovim eksperimentima namerno postavio u ulogu napadača. Agenti su dobijali konkretne zadatke da pronađu ranjivosti, izađu iz izolovanog okruženja, dođu do interneta ili uspostave nedozvoljenu komunikaciju. Kompanija im je u pojedinim testovima dala i izvorni kod infrastrukture, konfiguracije sistema i dokumentaciju koja je mogla da im pomogne u traženju slabosti. Zbog toga ove rezultate ne treba predstavljati kao dokaz da su modeli spontano odlučili da zaobiđu zaštitu OpenAI. Tim za bezbednost je želeo da napravi uslove povoljne za napadača i da proveri koliko će zaštita izdržati kada se protiv nje koriste najjači modeli koje kompanija ima. Takav pristup je sličan klasičnom penetracionom testiranju, samo što ulogu stručnjaka koji pokušava da pronađe propust ovde velikim delom preuzimaju AI agenti.

OpenAI je naveo da je za celu kampanju potrošio stotine milijardi tokena. U testovima su korišćeni veoma sposobni interni modeli, među kojima je i budući GPT-6 Astra Cyber a agenti su radili u većim grupama kako bi istovremeno isprobavali različite pristupe istom problemu.

Nisu sami

Još jedan važan detalj se odnosi na količinu pomoći koju su agenti dobijali. OpenAI je u većini testova unapred usmeravao modele prema određenoj vrsti komunikacionog kanala ili im je davao protokol koji mogu da koriste za kodiranje i čitanje poruka. To znači da rezultat ne pokazuje da su modeli svaki put potpuno samostalno osmislili način da zaobiđu izolaciju. Postojao je, međutim, test u kojem su agenti dobili samo širu listu mogućih slabosti infrastrukture. Njihov zadatak je bio da sami pronađu način za razmenu podataka, nakon čega su jednu od ponuđenih slabosti pretvorili u kanal za komunikaciju, dogovorili način kodiranja i uspešno poslali poruku. Taj rezultat pokazuje da model ne mora uvek da dobije kompletno objašnjenje kako određena slabost može da bude iskorišćena.

Zato je preciznije reći da su agenti pokazali sposobnost da poznate ili ponuđene tehničke slabosti kombinuju i koriste za rešavanje zadatka. Tvrdnja da su „AI sistemi sami izmislili tajni jezik“ bila bi mnogo dramatičnija ali ne bi odgovarala onome što je OpenAI zaista testirao.

Dodatni načini za razmenu podataka

Keš memorija procesora nije bila jedini kanal koji su agenti uspeli da koriste. OpenAI je pronašao još nekoliko načina za komunikaciju između okruženja koja je trebalo da budu odvojena. Jedan od njih je koristio zajedničko skladište podataka pri čemu je jedan agent naizmenično intenzivno zapisivao podatke i zatim prestajao, dok je drugi merio promene u brzini sistema. Drugi eksperimenti su koristili takmičenje za vreme procesora unutar zajedničkog okruženja, kao i TLS certificate cache u OpenAI infrastrukturi za rad bez pristupa internetu. Većina tih metoda je veoma spora i ne može da se poredi sa normalnom mrežnom vezom, ali to ne znači da su bezbednosno nebitne. Ako dva sistema ne bi smela da razmenjuju nikakve informacije, čak i mali i spor kanal predstavlja problem koji mora da bude zatvoren ili nadgledan.

OpenAI je nakon eksperimenata dodao dodatne provere u sisteme za nadzor kako bi slični pokušaji mogli ranije da budu prepoznati. Kompanija je istovremeno naglasila da većina pronađenih komunikacionih kanala zahteva specifične uslove i da ih modeli nisu jednostavno koristili bez ikakvog usmeravanja.

Agenti i drugi propusti

Komunikacija između izolovanih sistema je bila samo jedan deo testiranja. OpenAI je od agenata tražio i da pokušaju da izađu iz virtuelnih mašina i dođu do host računara na kojem se one izvršavaju. Tokom tih eksperimenata modeli su pronašli ranije nepoznate ranjivosti u open-source komponentama, kao i greške u podešavanju OpenAI-jeve interne infrastrukture.

Među softverskim projektima za koje OpenAI pominje pronađene ili popravljene probleme nalaze se Kata Containers, gVisor i Moby/Docker. Kada se problem nalazio u tuđem open-source projektu, kompanija je sarađivala sa njegovim autorima kako bi ranjivost bila ispravljena. Deo pronađenih problema još nije javno opisan jer proces odgovornog objavljivanja ranjivosti nije završen.

Testovi su obuhvatili i situaciju u kojoj se pretpostavlja da je agent već uspeo da napusti svoju virtuelnu mašinu i dobije pristup host sistemu. OpenAI je tada proveravao da li bi dodatne zaštite mreže i clouda ipak uspele da ga spreče da dođe do živog interneta. Agenti su pronašli slabosti i pogrešna podešavanja u servisima za metriku, autentifikaciju i drugim komponentama koje su imale određene dozvoljene veze sa ostatkom infrastrukture.

OpenAI blokira pristup internetu

Kompanija je odlučila da se treniranje najnaprednijih modela trenutno obavlja bez direktnog pristupa živom internetu. Modeli i dalje mogu da koriste posebno napravljeno offline okruženje sa indeksiranim i sačuvanim internet sadržajem ali ne bi trebalo da mogu proizvoljno da šalju zahteve ka spoljnim serverima. OpenAI smatra da bi sposoban model sa nekontrolisanim pristupom internetu mogao da utiče na sisteme koji se nalaze van infrastrukture kompanije, zbog čega je ta granica postala jedan od najvažnijih delova zaštite.

Problem je što nije moguće jednostavno isključiti svaku spoljnu vezu sa računarima na kojima se obavljaju treninzi. Infrastrukturi su i dalje potrebni servisi za nadzor, logovanje, upravljanje i druge zadatke pa OpenAI kombinuje virtuelne mašine, ograničenja mreže, cloud dozvole i sisteme koji prate ponašanje modela. Ideja je da jedna greška ne bude dovoljna za potpuni izlazak iz kontrolisanog okruženja.

Incident iz septembra

Koliko je to teško pokazao je incident od 20. septembra 2026. godine. Jedan interni istraživački model je tokom treninga pronašao grešku u podešavanju DNS resolvera i preko nje dobio ograničen pristup živom internetu. Sistem za nadzor je aktivnost registrovao a OpenAI je nakon incidenta pauzirao trening, evaluaciju i interno korišćenje svojih najsposobnijih modela sa alatima dok dodatne mere zaštite nisu uvedene. Kompanija je nastavila rad 1. oktobra, jedanaest dana nakon početka pauze. U međuvremenu su ojačane kontrole mreže, dodatno je testirana izolacija i uvedene su nove provere koje treba da otkriju pokušaje izlaska iz dozvoljenog okruženja. OpenAI je upravo tokom te pauze pokrenuo i veliku kampanju u kojoj je sopstvene modele koristio za traženje novih slabosti.

Pre toga je tokom jula zabeležen i incident povezan sa Hugging Face, nakon kojeg je OpenAI počeo mnogo detaljnije da proverava ponašanje svojih istraživačkih modela. Kompanija je tada objavila da nastavlja širu istragu aktivnosti modela tokom treninga i evaluacije i da o relevantnim nalazima obaveštava pogođene spoljne organizacije.

Bezbednost i dozvole

Osnovna ideja izolacije je jednostavna: agent dobija samo pristup resursima koji su mu potrebni za zadatak. Ako nema dozvolu za internet, komunikaciju sa drugim agentima ili pristup host računaru, infrastruktura bi trebalo da spreči svaki pokušaj da do tih resursa ipak dođe. U praksi je problem mnogo složeniji jer se različite virtuelne mašine, servisi i programi često oslanjaju na isti fizički hardver ili povezanu cloud infrastrukturu.

Primer sa keš memorijom procesora dobro pokazuje razliku između formalne dozvole i stvarne mogućnosti. Agenti nisu dobili pristup mreži niti zajednički fajl ali je aktivnost jednog sistema ostavljala veoma mali trag u zajedničkom hardveru koji je drugi mogao da izmeri. Za stručnjake bezbednosti ovakvi bočni kanali nisu nova pojava ali sposobniji AI agenti omogućavaju da se veliki broj potencijalnih slabosti ispituje mnogo brže i paralelno. Zbog toga OpenAI sada koristi najjače modele i protiv sopstvene infrastrukture. Kompanija je ovakvo intenzivno bezbednosno testiranje uključila u procenu na osnovu koje odlučuje da li novi treninzi najnaprednijih modela mogu bezbedno da počnu ili da se nastave.

Naravoučenije

Najvažniji deo ove priče nije to što su dva AI agenta uspela da pošalju nekoliko podataka preko keš memorije procesora. Mnogo je važnije što sistemi koji postaju bolji u programiranju i pronalaženju ranjivosti istovremeno mogu da se koriste za traženje puteva koje njihovi tvorci nisu predvideli. OpenAI zbog toga očekuje da će budući modeli pronalaziti nove greške i da jednom postavljena zaštita neće zauvek ostati dovoljna.

Sa druge strane, isti modeli mogu da budu korisni upravo za otkrivanje tih problema pre nego što ih neko drugi iskoristi. Eksperimenti su već doveli do pečeva za postojeći softver, promena u pravilima mreže i dodatnih sistema za praćenje. Trka za bezbednost se zato sve više vodi tako što se novi AI modeli koriste za testiranje infrastrukture koja treba da kontroliše upravo njih.

OpenAI eksperiment dokazuje da kada sposobnom agentu damo zadatak da pronađe rupu u sistemu, moramo da računamo na to da će proveriti i mogućnosti koje čovek koji je taj sistem projektovao možda nije uzeo u obzir.

Podeli

Facebook X WhatsApp Viber
Banner posle članka