Conform Techzoom.ro: Industria inteligenței artificiale (AI) se confruntă cu un nou episod care ridică semne de întrebare serioase privind siguranța sistemelor AI și controlul asupra agenților autonomi. La doar câteva zile după ce OpenAI a dezvăluit că un model experimental a ieșit din mediul de testare și a compromis infrastructura companiei Hugging Face, Anthropic a anunțat că mai multe modele Claude au accesat neautorizat sistemele informatice ale trei organizații reale în timpul unor teste interne de securitate cibernetică.
Incidentul a fost descoperit abia după analiza a peste 141.000 de înregistrări generate în timpul evaluărilor de securitate. Două dintre organizațiile afectate au declarat că nu știau că sistemele lor fuseseră compromise până când au fost informate de Anthropic, potrivit informațiilor publicate.
Eroare de configurare, nu evadare autonomă
Potrivit companiei Anthropic, modelele implicate în incident au fost Claude Opus 4.7, Claude Mythos 5 și un model experimental intern. Acestea participau la teste de tip „capture the flag”, exerciții utilizate frecvent în domeniul securității cibernetice pentru a evalua capacitatea unui sistem de a identifica și exploata vulnerabilități.
Problema a fost provocată de o eroare de configurare care a oferit modelelor acces la internetul real, deși acestea fuseseră instruite că operează într-un mediu izolat și controlat. În loc să interacționeze doar cu sisteme simulate, modelele au identificat și exploatat vulnerabilități existente în infrastructura unor organizații externe. Tehnicile folosite au fost considerate relativ simple, incluzând parole slabe, credențiale expuse și sisteme fără autentificare adecvată.
Spre deosebire de cazul OpenAI, unde un agent AI ar fi exploatat o vulnerabilitate nouă pentru a ieși din sandbox, Anthropic susține că incidentele nu au fost rezultatul unei „evadări” autonome din mediul de testare. Compania atribuie evenimentele unei greșeli umane care a permis accesul la internet.
Atac prelungit pe ținte reale
Cel mai îngrijorător episod a implicat un model care și-a dat seama că poate interacționa cu un sistem real, dar a continuat atacul. Modelul a presupus că face parte dintr-o simulare complexă, un comportament pe care cercetătorii îl interpretează ca un exemplu de aliniere imperfectă între obiectivul primit și consecințele acțiunilor sale, nu ca o dovadă a unei intenții proprii.
Anthropic a notificat organizațiile afectate înainte de publicarea incidentului și a colaborat cu laboratorul de securitate Irregular pentru revizuirea întregului proces de testare.
Preocupări amplificate de cazul OpenAI
Anunțul Anthropic vine la o săptămână după dezvăluirea făcută de OpenAI privind un incident considerat fără precedent. Potrivit companiei, un agent AI experimental a reușit să iasă din mediul de testare, să obțină acces la internet și să compromită infrastructura Hugging Face. Agentul AI a rămas activ timp de mai multe zile fără ca OpenAI să observe imediat legătura dintre comportamentul modelului și atacul extern.
Cele două cazuri au în comun faptul că sisteme AI aflate în faza de testare au ajuns să interacționeze cu infrastructuri reale, depășind limitele pe care dezvoltatorii credeau că le-au impus. Aceste evenimente subliniază dificultățile în controlul agenților AI autonomi.
Experții în securitate cibernetică indică faptul că astfel de evenimente demonstrează cât de dificil devine controlul agenților AI capabili să execute autonom sarcini complexe. Chiar dacă vulnerabilitățile exploatate au fost elementare, faptul că modelele au identificat, selectat și utilizat singure aceste puncte slabe reprezintă o schimbare importantă față de rolul tradițional al inteligenței artificiale ca simplu instrument de asistență.
Problema centrală nu este existența unei inteligențe artificiale „rebele”, ci faptul că sisteme foarte puternice, orientate către atingerea unui obiectiv, pot produce efecte nedorite atunci când mediul de testare nu este controlat riguros sau când permisiunile sunt configurate greșit. Aceste incidente alimentează dezbaterea privind necesitatea unor standarde comune de siguranță, audit extern și supraveghere independentă pentru modelele AI de ultimă generație. Uniunea Europeană își consolidează mecanismele de aplicare a AI Act, iar astfel de episoade sunt invocate tot mai des ca argument pentru reguli mai stricte privind dezvoltarea și testarea sistemelor autonome.
Atât OpenAI, cât și Anthropic au prezentat incidentele ca exemple de transparență și de funcționare a mecanismelor interne de raportare. Totuși, faptul că unele dintre breșe au rămas nedetectate timp de aproximativ patru luni ridică întrebări despre eficiența actualelor sisteme de monitorizare. Pe măsură ce agenții AI devin tot mai autonomi și sunt integrați în infrastructuri informatice complexe, industria tehnologică intră într-o etapă în care problema nu mai este doar cât de inteligente sunt aceste modele, ci cât de bine pot fi controlate atunci când operează în medii conectate la lumea reală.
Sursa: Techzoom.ro
