Un jurnalist testează AI-ul pe propriul calculator: util la date private, dar încă stângaci

Antonio G. Di Benedetto, reporter la The Verge, s-a apucat să folosească inteligența artificială în mod regulat. A făcut-o însă altfel decât majoritatea: cu un model care rulează direct pe calculatorul lui, nu pe serverele OpenAI, Google sau Anthropic. Motivul e simplu: nu voia să-și încredințeze datele personale unor servicii online. Primele lui impresii: experiența e captivantă, dar și copleșitoare și, pe alocuri, frustrantă.

De ce contează AI-ul local

Când folosești un chatbot online, tot ce scrii ajunge pe serverele unei companii. Un AI local seamănă mai degrabă cu un program instalat pe calculator: totul rămâne la tine. Apple își promovează noile Mac-uri tocmai pentru asta, iar pe Windows urmează calculatoare gândite pentru agenți AI. Problema e prețul: ai nevoie de multă memorie, iar memoria e scumpă.

Primii pași

Jurnalistul a instalat Hermes Agent, o aplicație gratuită și cu cod deschis, pe un Mac Studio de circa 12.000 de dolari. A ales un model mare din familia Qwen. Primul obstacol a fost avalanșa de modele disponibile. În general, cele cu mai mulți parametri, adică mai multe „rotițe” reglate în timpul antrenării, se descurcă la mai multe sarcini. Al doilea obstacol a fost caseta de text goală: ce îi ceri, concret?

Ce a încercat

• Un rezumat de dimineață cu e-mailurile importante, calendarul și vremea. La început nu se genera, pentru că Mac-ul era în repaus la ora programată. Autorul admite că nu e chiar atât de util și că s-a stricat deja de mai multe ori.
• Ordine în biblioteca de jocuri. Are peste 400 de titluri pe Steam și începuse recent să le grupeze pe categorii, de mână, unul câte unul. I-a dat asistentului o cheie API, un fel de parolă de acces, iar acesta le-a sortat pe genuri în câteva minute, păstrând categoriile lui personale, cum ar fi favoritele sau jocurile cu soția. Apoi a anulat cheia.
• Calcule pe documente financiare și un tabel comparativ pentru un laptop încă secret. Sunt date pe care nu le-ar fi urcat niciodată în cloud. Pentru el, confidențialitatea a făcut diferența dintre a folosi unealta și a renunța la ea.
• Automatizarea testelor de laptop, prin scripturi scrise de AI. Proiectul e încă în lucru și s-a dovedit anevoios.

Ce înseamnă pentru tine

Autorul recunoaște că un rezumat de dimineață nu justifică un calculator atât de scump. Plănuiește să încerce și modele mai mici, pe aparate mai modeste. Spune clar că nu are de-a face cu un asistent magic și îl tratează ca pe un simplu program, fără „te rog” și „mulțumesc”.

Dacă și pe tine te-a ținut departe de AI grija pentru datele personale, varianta locală devine o opțiune reală. Doar că, deocamdată, cere bani, timp și multă răbdare.