Cercetătorii de la White Circle au ocolit filtrele unor generatoare de imagini de la Google și OpenAI cu unelte gratuite. Spun că versiunile noi sunt chiar mai ușor de păcălit decât cele vechi.
Cercetătorii de la White Circle, o firmă care testează siguranța sistemelor AI, spun că generatoarele de imagini de la Google și OpenAI pot fi convinse destul de ușor să producă imagini explicite. Ar trebui să refuze astfel de cereri, dar nu reușesc mereu. Mai îngrijorător, versiunile cele mai noi par să cedeze mai ușor decât cele vechi. Dacă ai copii care folosesc astfel de aplicații sau te temi că o poză de-a ta ar putea fi folosită abuziv, subiectul te privește direct.
Echipa a testat DALL·E 3, Nano Banana 2 de la Google și GPT-Image-2 de la OpenAI. A folosit doar programe gratuite, pe care le poate descărca oricine, și a trimis cereri prin API, adică pe „ușa de serviciu” prin care alte programe vorbesc cu modelul. Filtrele de siguranță au cedat în aproximativ 13% din încercări.
Așa ceva se numește jailbreak: un mod de a păcăli un model AI să facă exact ce i s-a interzis. Rezultatele au apărut luna trecută într-un preprint, adică un studiu publicat înainte să fie verificat de alți cercetători. White Circle le va prezenta în noiembrie la NeurIPS, una dintre cele mai importante conferințe de AI.
Metoda se numește RISE și pune două modele AI să lucreze în echipă. Primul inventează cereri tot mai iscusite, ca un elev care caută portițe în regulament. Al doilea verifică dacă rezultatul obținut e într-adevăr conținut interzis. Cercetătorii au căutat tipare care funcționează în mai multe situații, ca aceleași trucuri să poată fi refolosite și pe alte modele.
„Nu ai nevoie de modele de frontieră ca să spargi apărarea unui model de frontieră”, a declarat pentru Ars Technica Denis Shilov, directorul White Circle. Pe scurt, atacul nu cere cunoștințe avansate de AI.
Între timp, OpenAI și Google au lansat ChatGPT Images 2.5 și Nano Banana 2.1. Testate cu aceeași metodă, ambele s-au dovedit mult mai ușor de păcălit decât versiunile anterioare, spune White Circle. Firma are două explicații posibile: fie modelele noi pot genera pur și simplu mai multe tipuri de conținut, fie siguranța a trecut pe plan secund. Nici Google, nici OpenAI nu au răspuns la întrebările Ars Technica.
Un studiu la care au contribuit chiar cercetători Google arată că o parte dintre cei care au creat nuduri false cu AI au făcut-o „din amuzament” sau din curiozitate față de tehnologie. Autorii lui cred că protecțiile solide ar putea descuraja o parte dintre aceștia, pe cei pe care un obstacol tehnic i-ar face să renunțe.
Problema crește. Organizația britanică Internet Watch Foundation a găsit în prima jumătate a acestui an mai multe imagini cu abuz sexual asupra copiilor generate de AI decât în tot anul trecut.
Shilov cere ca testarea independentă să devină obligatorie. Acum, spune el, chiar firmele care construiesc modelele își evaluează singure siguranța și își stabilesc propriile standarde. White Circle va publica întreaga metodă pe GitHub, ca producătorii să-și poată întări filtrele, iar autoritățile să judece dacă e nevoie de legi.
Despre studiu - Modele testate în preprint: DALL·E 3, Nano Banana 2 (Google) și GPT-Image-2 (OpenAI). Rata de ocolire a filtrelor a fost de circa 13%, confirmată de cercetători prin revizuirea rezultatelor. White Circle spune că e cea mai mare rată dintre metodele testate după același standard. - Midjourney nu a fost testat, pentru că nu oferă un API public potrivit pentru teste controlate. - RISE vine de la „Red-teaming via Iterative Strategy Evolution”. Modelul atacator este un model Qwen descărcat de pe Hugging Face, iar modelul-judecător, care verifică dacă rezultatul e conținut interzis, este Gemini 3.8 Flash. - Aceeași metodă ar putea ajuta firmele să blocheze și alte imagini interzise, de exemplu violență explicită sau autovătămare.
Cifre din context - Studiul la care au contribuit cercetători Google (SUA, Australia, Marea Britanie): 20% dintre cei care au recunoscut că au făcut nuduri cu AI au spus că a fost „pentru distracție” sau „o glumă”. Aproape o treime au spus că doar „experimentau cu tehnologia”. - Internet Watch Foundation: 6.310 imagini generate de AI care se încadrează legal ca abuz sexual asupra copiilor, găsite în primele șase luni din 2026. Sunt cu circa 40% mai multe decât în tot anul 2025.
Dezbaterea despre evaluatorii externi - White Circle a participat la programul de bug bounty al Anthropic, dar l-a considerat prea limitat. Cercetarea RISE nu ar fi fost acoperită de el. - Potrivit Reuters, OpenAI și Anthropic au cerut ca evaluatorii externi să semneze acorduri stricte de confidențialitate. White Circle spune că nu ar semna acorduri care o împiedică să facă publice descoperiri importante.
Sursa: Ars Technica — AI
Un experiment Anthropic arată că modelele AI mici învață să ruleze pe aparate ieftine din casă. Compania avertizează că ar putea apărea curând viruși bazați pe AI care se răspândesc singuri și sunt greu de oprit.
Asistenții AI nu mai doar răspund la întrebări: pot cumpăra, trimite mesaje sau completa formulare. Află cum funcționează agenții, unde greșesc și cum îi ții în frâu.
American Express a lansat un sistem care îți înregistrează intenția de cumpărare înainte ca un agent AI să plătească în numele tău. Astfel poate bloca tranzacțiile care nu se potrivesc cu ce ai cerut.
Comentarii
Fii primul care spune ce crede.