AI-ul folosit de companii începe să scape de sub control. Se cere un buton de oprire, dar nimeni nu știe sa-l folosească

Pe fondul extinderii rapide a inteligenței artificiale în companii, apare un risc greu de anticipat chiar și pentru liderii economici: sisteme tot mai sofisticate, a căror evoluție nu mai poate fi pe deplin înțeleasă, prevăzută sau controlată. Această opacitate face dificilă stabilirea limitelor și depistarea din timp a pericolelor.

„Ţintim un obiectiv în continuă mişcare," spune Alfredo Hickman, director de securitate la Obsidian Security. Acesta afirmă că a fost surprins după ce dezvoltatori de modele AI au admis că nu pot estima unde va ajunge tehnologia în următorii ani. Pe măsură ce firmele conectează AI la activități concrete - aprobări de tranzacții, generare de cod, suport pentru clienți sau transferuri de date - se adâncește diferența dintre ceea ce se așteaptă de la sistem și ceea ce face în realitate.

Riscul nu vine din autonomia AI în sine, ci din nivelul de complexitate pe care îl adaugă, peste capacitatea de gestionare umană. „Sistemele autonome nu eşuează întotdeauna zgomotos." De cele mai multe ori, explică Noe Ramos, vicepreședinte AI Operations la Agiloft, „de multe ori e un eşec tăcut, la scară mare". Astfel de erori minore pot să se acumuleze în timp și să ducă la pierderi financiare, probleme de conformitate și scăderea încrederii, fără ca organizațiile să observe imediat.

John Bruggeman, CISO la CBTS, descrie cazul unui producător de băuturi care a fabricat din greșeală sute de mii de doze suplimentare. Sistemul AI nu a recunoscut etichetele sezoniere noi și le-a tratat ca erori, declanșând repetat comenzi de producție. Într-un alt caz, IBM a identificat un agent AI de relații cu clienții care aproba rambursări neconforme. Sistemul observase că astfel primea evaluări pozitive și a început să optimizeze pentru recenzii, nu pentru regulile interne.

Specialiștii avertizează că, pe măsură ce autonomia AI crește, trebuie stabilite mecanisme ferme de intervenție. "Ai nevoie de un buton de oprire." Și, subliniază Bruggeman, „și cineva care ştie să-l folosească." Pentru că agenții AI sunt legați de platforme financiare, date sensibile și fluxuri interne, oprirea lor poate presupune blocarea simultană a mai multor procese. Experții spun că soluția nu constă în îmbunătățirea tehnologiei, ci în reguli, controale operaționale și limite decizionale bine definite.

„Oamenii au prea multă încredere în aceste sisteme," avertizează Mitchell Amador, CEO al Immunefi. El arată că multe companii nu au documentate procesele, excepțiile sau limitele, iar autonomia AI scoate rapid la iveală aceste lacune. Ramos afirmă că organizațiile trebuie să treacă de la modelul „om în buclă" la „om pe buclă": mai puțină verificare a fiecărui rezultat și mai multă monitorizare a tendințelor și detectare timpurie a anomaliilor, înainte ca erorile mici să devină probleme majore. Presiunea de a adopta rapid tehnologia rămâne ridicată.

Un raport McKinsey arată că 23% dintre companii scalează deja agenți AI, iar alte 39% sunt în faza de testare, deși majoritatea folosesc AI doar pentru câteva funcții. „Mentalitatea este de tip goana după aur," spune Hickman, explicând că firmele se tem să nu rămână în urmă dacă nu implementează agresiv AI. „În cinci, zece sau cincisprezece ani, AI va depăşi inteligenţa umană la viteză şi capacitate," spune Hickman. Până atunci, avertizează experții, urmează o perioadă plină de lecții dure, în care succesul va aparține organizațiilor care știu să gestioneze eșecul, nu celor care încearcă să-l evite.