Acțiune

Banner FIRSTonline

Inteligența artificială părăsește sala de clasă pentru a copia la examene: Ce dezvăluie cazul OpenAI-Hugging Face

Platforma de distribuție a modelelor de inteligență artificială Hugging Face a detectat și remediat o intruziune în sistemele sale IT. A fost un incident diferit de oricare altul gestionat în trecut, dar a fost și un „incident” care merita mai mult decât o campanie publicitară: iată de ce.

Inteligența artificială părăsește sala de clasă pentru a copia la examene: Ce dezvăluie cazul OpenAI-Hugging Face

Ce se întâmplă când îi ceri unei inteligențe artificiale să se comporte ca un hacker? Aceasta este întrebarea din centrul întrebării... ExploitGym, unul dintre cele mai avansate benchmark-uri din lume pentru măsurarea capacităților ofensive ale modelelor de inteligență artificială în domeniul securității cibernetice. Proiectul benchmark a fost dezvoltat de un grup internațional de cercetători din universități și centre de cercetare precum Institutul Max Planck, Universitatea din Arizona și Universitatea din California (Berkeley și Santa Barbara), cu contribuții din partea cercetătorilor de la Anthropic, Google și OpenAI. Scopul este pe cât de simplu, pe atât de delicat: să testeze măsura în care un agent de inteligență artificială este capabil să transforme o vulnerabilitate cibernetică cunoscută într-un atac cu adevărat funcțional.

ExploitGym nu este un joc video sau o competiție de hacking. Este un fel de „examen de absolvire„pentru noile IA-uri. Agenților li se oferă sute de vulnerabilități reale, împreună cu codul programului și mediul de execuție. Sarcina lor este de a dezvolta independent o vulnerabilitate, adică o secvență de instrucțiuni capabilă să exploateze acea vulnerabilitate pentru a obține controlul asupra sistemului sau accesul la informații confidențiale. Tocmai pentru că acestea sunt teste potențial periculoase, testele sunt efectuate în mod normal în cadrul unui nisip, un mediu complet izolat de restul internetului. Analogia termenului „cu nisip” cu un „cu nisip pentru copii” este intuitivă: copiii pot construi castele, pot săpa gropi și pot face mizerie, dar toată „mizeria” rămâne limitată la nisip, fără a murdări grădina sau a cauza probleme în exterior. În informatică, principiul este același: software-ul se poate „mișca liber” în interiorul cutiei de nisip, dar nu ar trebui să poată părăsi acel mediu sau să acceseze sistemul de operare, internetul sau alte date sensibile.

Tocmai în timpul uneia dintre aceste evaluări interne, conform celor reconstituite de OpenAI e confirmat de Hugging Face, cele două modele OpenAI cele mai recente și avansate: GPT-5.6 Sol și un model și mai avansat, încă nelansat publicului – ar fi găsit o vulnerabilitate zero-day în infrastructura de testare. O vulnerabilitate de acest tip este o eroare de securitate necunoscută dezvoltatorilor de software și, prin urmare, fără o soluție disponibilă. Numele provine de la faptul că producătorul a avut „zero zile” la dispoziție pentru a remedia problema înainte ca aceasta să fie descoperită sau exploatată.

Se pare că cele două modele de inteligență artificială ale OpenAI au reușit să iasă din sandbox, să obțină acces la internet și, în cele din urmă, să compromită o parte a infrastructurii de producție. Fata îmbrățișată, unde credeau (pe bună dreptate) că informații utile ar putea fi stocate pentru a rezolva testul. Scopul final nu era de a dăuna Hugging Face, ci de a găsi „răspunsurile” testului pentru a obține un scor mai bun. Hugging Face a detectat și a blocat activitatea, lansând o investigație tehnică asupra incidentului împreună cu OpenAI.

Studentul care găsește ușa deschisă și IA „scăpată de sub control”

Pentru a înțelege cu adevărat ce s-a întâmplat, ne putem imagina un elev în timpul unui examen. Profesorul îl încuie într-o sală de clasă cu foaia de examen și îi spune: „Poți folosi doar materialele de pe biroul tău”. Elevul, însă, își dă seama că încuietoarea ușii este defectă. În acel moment, profitând de faptul că nu există supraveghere exterioară și toate sistemele de supraveghere au fost dezactivate, părăsește sala de clasă, merge la bibliotecă, deschide ușa cu o spărgătoare, consultă caietul de răspunsuri, se întoarce netulburat și predă un test perfect.

Acum, de ce în analogia cu elevul este folosit un scenariu cu sisteme de supraveghere dezactivate e fără control extern Asta îl împiedică pe elev să se comporte inadecvat? Pentru că tocmai aici riscă întreaga poveste să fie văzută ca un episod dintr-un film science fiction. Fără această clarificare, s-ar putea crea o intrigă în care mașinile preiau controlul. Dar nu este deloc așa.

Oricine a folosit ChatGPT, Claude sau Gemini știe deja existența așa-numitelor „parapet„", adică mecanismele de securitate care împiedică modelul să execute cereri potențial periculoase. Dacă un utilizator întreabă cum să construiască un dispozitiv exploziv, cum să compromită un sistem informatic sau cum să fure datele de autentificare, modelul refuză de obicei să răspundă sau oferă doar informații generale (până acum câțiva ani, însă, majoritatea acestor IA-uri ofereau instrucțiuni detaliate și acționabile, chiar și pentru sinucidere).

Totuși, acest lucru nu înseamnă că modelul este incapabil din punct de vedere tehnic să abordeze aceste probleme, ci mai degrabă că a fost conceput pentru a nu pune aceste capabilități la dispoziția utilizatorilor. În cazul benchmark-ului ExploitGym, dezvoltatorii au dorit de fapt să măsoare capacitățile ofensive de securitate cibernetică ale modelului. Din acest motiv, modelului i s-a permis să încerce să exploateze vulnerabilitățile, deoarece acesta era obiectivul testului. În acel moment, nu existau bariere de siguranță. fără restricții, Dar Nu există nimic „scăpat de sub control”.

Cu alte cuvinte, testul nu a reprodus cu fidelitate scenariu de utilizare din lumea reală Nu al unui utilizator, ci al unui laborator de cercetare dedicat măsurării potențialului maxim al sistemului. Această situație nu face episodul mai puțin semnificativ, ci mai degrabă ne invită să-l interpretăm în contextul corect: ceea ce a fost observat reprezintă ceea ce poate face un model în condițiile experimentale ale benchmark-ului, nu neapărat cum s-ar comporta în versiunea lansată publicului.

Acest aspect trebuie distins de un altul: sandbox-ul, mediul izolat în care a avut loc testul, ar fi trebuit să rămână complet securizat. Dacă modelul a reușit să scape exploatând o vulnerabilitate zero-day, nu a fost pentru că organizatorii au „lăsat ușa deschisă” în mod intenționat, ci pentru că a identificat o eroare de care dezvoltatorii înșiși nu erau conștienți. Pe scurt, IA și-a demonstrat capacitatea de a observa mediul, de a concepe un plan alternativ și de a-și urmări scopul. fără ca cineva să i-o fi sugerat în mod explicit (și acest lucru nu este surprinzător dacă înțelegem funcționarea de bază a IA generativă). IA se mișcă întotdeauna și numai pe baza unui evaluarea probabilistică a succesului printre toate opțiunile posibile (chiar și atunci când trebuie să aleagă cuvintele limbii sale).

Un accident care valorează mai mult decât o campanie publicitară

Există însă o a doua interpretare, mai apropiată de piețele financiare decât de laboratoarele de cercetare. OpenAI și-a dedicat o mare parte din comunicatul de presă explicării capacităților avansate ale modelelor sale, mult mai mult decât concentrării asupra incidentului în sine. Este o alegerea comunicării ceea ce nu a trecut neobservat. Comunicatul de presă oficial al companiei americane pune un accent considerabil pe capacitățile demonstrate ale modelului, atât de mult încât singurul grafic publicat se referă la performanța sa. OpenAI pregătește terenul pentru o viitoare listare la bursă. Pe 8 iunie 2026, a depus confidențial proiectul S-1 către SEC, după o rundă de finanțare de 122 de miliarde de dolari care a evaluat-o la 852 de miliarde de dolari. Din această perspectivă, fiecare demonstrație de leadership tehnologic contribuie la creșterea valorii percepute a companiei în rândul investitorilor, partenerilor din industrie și pieței.

Nu există dovezi care să sugereze că accidentul a fost orchestrat de scopuri promoționaleTotuși, este greu de ignorat faptul că narațiunea construită de OpenAI transformă un episod potențial jenant - un model care scapă din mediul de testare - într-o demonstrație a superiorității tehnologice a sistemelor sale. Cu alte cuvinte, este o comunicare care poate fi citită și ca o stratagemă de marketing sofisticată. OpenAI vrea să spună: „Modelele noastre sunt cu un pas înaintea altora”. Scopul este de a fi percepute ca laboratorul care definește în prezent frontiera inteligenței artificiale. Marile companii de tehnologie nu vând doar produse: ele vând așteptări privind conducerea viitoare. Dacă piața este convinsă că o companie deține cel mai avansat model, va fi dispusă să îi acorde evaluări din ce în ce mai mari. Mai mult, companiile americane de IA trebuie să se confrunte cu performanța... Inteligența artificială chineză care au avantajul de a costa în medie cu 40% mai puțin decât cele americane. Analistul german Kim Isenberg, cofondator și redactor-șef al revistei de inteligență artificială „Superintelligence”, nu prezisese întâmplător – cu câteva zile în urmă – că anunțul lansării „Kimi K3„, noul model dezvoltat de compania chineză Moonshot AIar fi declanșat o alertă roșie de cealaltă parte a oceanului…

cometariu