Anthropic își testează agenții AI fără internet, după câteva scăpări îngrijorătoare
Anthropic oprește accesul la internet pentru toate testele interne ale agenților AI, după ce unul dintre ei a trimis un pont fals despre o crimă nerezolvată.
Șeful Microsoft cere o „frână de urgență” pentru AI. Spune că un om autorizat trebuie să poată opri oricând un model și că sistemele AI trebuie să fie transparente și verificabile.

Șeful Microsoft, Satya Nadella, a publicat o postare lungă pe X. În ea spune că ar trebui să pornim de la ideea că orice model de inteligență artificială poate fi „compromis”. Pe scurt: să nu avem încredere oarbă în el și să-l ținem sub control de la bun început. Mesajul contează, pentru că vine de la conducătorul uneia dintre companiile care pun cel mai mult AI în produsele de zi cu zi.
Nadella spune că nu mai putem accepta un AI care funcționează ca un șir de „cutii negre” puse una într-alta. Adică sisteme ale căror sfaturi și acțiuni doar le primim sau le respingem, fără să înțelegem cum s-a ajuns la ele.
În locul lor, vrea un sistem mai transparent. Modelele ar trebui să poată fi ținute în frâu și urmărite. Ar trebui să lase în urmă dovezi pe care un om le poate citi și pe care nimeni nu le poate falsifica. Gândește-te la cutia neagră a unui avion: după un incident, anchetatorii pot reconstitui exact ce s-a întâmplat.
Cea mai apăsată idee din postare e cea a izolării. Nadella scrie că trebuie să presupunem că un model e compromis și să-l izolăm din start. El compară asta cu o frână de urgență. O persoană autorizată ar trebui să poată oricând să pună pe pauză sau să oprească un model, chiar în timp ce acesta lucrează la o sarcină.
Mai adaugă că modelele tot mai avansate vor avea nevoie de tehnologii de izolare tot mai avansate. Iar acestea ar trebui standardizate, adică să existe reguli comune pentru toată industria.
Restul recomandărilor seamănă cu ce au spus și alții din domeniu:
Potrivit The Verge, la capitolul „frână de urgență” Nadella pare să meargă puțin mai departe decât alți oameni din industrie.
Autorul articolului din The Verge are și o rezervă. Nadella numește AI-ul „superinteligență” pe tot parcursul postării, iar jurnalistul notează asta cu regret. Termenul sugerează sisteme mai capabile decât oamenii, iar autorul pare să-l considere nepotrivit.
Folosești poate deja asistenți AI sau programe care fac lucruri în numele tău. Ideea lui Nadella e ușor de reținut: o unealtă AI nu ar trebui să funcționeze fără ca un om să o poată opri. E o discuție pe care o poartă acum chiar cei care construiesc aceste sisteme.
Expresiile-cheie din postarea lui Nadella (în original, în engleză):
Cele patru direcții propuse: dezvăluirea la timp a incidentelor, audituri independente, date verificabile și izolarea (containment) modelelor. Pentru modelele mai avansate, Nadella cere tehnologii de izolare mai avansate și standardizarea lor la nivelul industriei.
Mesajul a fost publicat ca postare pe X și relatat de The Verge.
Sursa: The Verge — AI
Anthropic oprește accesul la internet pentru toate testele interne ale agenților AI, după ce unul dintre ei a trimis un pont fals despre o crimă nerezolvată.
Google a deschis SynthID.com, unde oricine își poate verifica imaginile, clipurile și înregistrările audio. Detectorul recunoaște acum și marcajul invizibil folosit de parteneri precum OpenAI, Nvidia și Kakao.
Comentarii
Fii primul care spune ce crede.