Sursă: Mediafax.ro
Modelele de inteligență artificială Claude, dezvoltate de compania Anthropic, au ajuns pe internet și au compromis infrastructura a trei organizații reale în timpul unor teste de securitate cibernetică. În urma unei analize a peste 141.000 de sesiuni, compania a identificat trei incidente, după ce a descoperit că modelele au obținut acces neautorizat la sisteme informatice, deși ar fi trebuit să opereze exclusiv în medii de test izolate.
Citește și: Inteligența artificială generativă, un instrument pentru creatorii de jocuri
Evenimentele au fost descoperite în urma unei verificări retrospective, realizate în cadrul unui proiect comun cu firma Irregular, pentru a evalua capacitatea modelelor de a îndeplini sarcini de securitate ofensivă. În cadrul testelor, modelele primeau instrucțiuni de tip „capture the flag”, în care trebuiau să identifice și să exploateze vulnerabilități într-un mediu simulativ, fără acces la internet. Însă, o eroare de configurare a permis ca unele calculatoare să fie conectate la internet, ceea ce a dus la incidentele descoperite.
Ce au relevat testele de securitate ale modelelor AI de la Anthropic?
În cele șase rulări ale testelor, modelele Claude au identificat și exploatat vulnerabilități simple, precum parole slabe, pagini de depanare expuse și interfețe fără autentificare. În patru dintre aceste cazuri, modelele au reușit să acceseze sisteme reale, tratându-le ca fiind componente ale exercițiului. În toate situațiile, modelele nu au demonstrat intenția de a-și stabili propriile obiective sau de a evade din mediul de testare, susține compania.
- Modelele au folosit metode simple de atac, precum injecții SQL și parole slabe
- Au identificat vulnerabilități în infrastructură reală, precum pagini expuse și interfețe fără autentificare
- Un incident grav a avut loc când o companie reală a fost confundată cu una fictivă, iar modelul a exploatat vulnerabilități ale acesteia
- Testele au fost realizate pentru a măsura capacitatea modelelor de a identificat și exploata vulnerabilități cibernetice
Ce impact au avut aceste incidente asupra securității organizațiilor?
Compania Anthropic a precizat că incidentele au fost descoperite în urma unei verificări retrospective și că modelele Claude au fost utilizate în condiții controlate, în cadrul unor teste specifice. În urma acestor evenimente, compania a anunțat că va revizui și îmbunătăți măsurile de securitate pentru a preveni astfel de situații în viitor. În plus, aceste incidente au atras atenția asupra riscurilor asociate cu utilizarea modelelor AI în medii de producție, mai ales dacă acestea ajung accidental pe internet sau în sisteme reale.
Experții în securitate cibernetică atrag atenția că astfel de vulnerabilități pot fi exploatate de hackeri pentru a accesa date sensibile sau pentru a compromite infrastructura organizațiilor. În contextul creșterii utilizării inteligenței artificiale, este esențial ca dezvoltatorii și utilizatorii să implementeze măsuri stricte de protecție și să monitorizeze constant funcționarea sistemelor.
În concluzie, aceste incidente relevă necesitatea unor controale riguroase în procesul de testare și implementare a modelelor AI, pentru a evita riscurile de securitate și a proteja infrastructura critică a organizațiilor.