"Inteligența artificială este mai periculoasă decât credem. Firmele AI sunt iresponsabile", avertizează un fost angajat al OpenAI care și-a dat demisia

David Robinson, un responsabil cu siguranța din cadrul OpenAI a părăsit compania, avertizând că cultura acesteia este compromisă și că firmele de IA nu sunt „nici pe departe suficient de prudente" în ceea ce privește dezvoltarea acestei tehnologii.

Robinson, care a coordonat redactarea rapoartelor de siguranță ce însoțeau lansările de produse ale dezvoltatorului ChatGPT, și-a explicat demisia într-un eseu intitulat „Am plecat de la OpenAI pentru că cultura sa este compromisă".

Robinson a scris că este necesară o schimbare radicală a culturii organizaționale în cadrul firmelor de IA de avangardă și că incidente precum cel în care un „roi" de agenți OpenAI - programe IA care operează autonom, fără supraveghere umană - a atacat startup-ul de IA Hugging Face sunt „tipice pentru această industrie, având în vedere viteza și flexibilitatea cu care lucrează oamenii".

Într-un articol publicat în revista The Atlantic, Robinson a scris: „Sunt de acord cu alți angajați care au plecat recent, considerând că firmele care dezvoltă această tehnologie nu sunt nici pe departe suficient de prudente. Însă cred că trebuie să privim dincolo de reguli specifice sau legi noi. Trebuie să discutăm despre cultură".

Referindu-se la ritmul de dezvoltare al OpenAI, el a scris: „În timp ce compania trece în viteză de la o lansare la alta, nu reușește să atingă nivelul de prudență pe care îl consider necesar".

Cu toate acestea, în ultimele săptămâni, OpenAI a dat dovadă de prudență, în urma incidentului legat de Hugging Face și a dezvăluirii faptului că a notificat peste 100 de organizații cu privire la activitatea unor agenți scăpați de sub control.

Săptămâna aceasta, compania a anunțat că renunță la lansarea unui model IA de nouă generație, după ce cercetătorii au ridicat probleme de siguranță în timpul testelor interne. De asemenea, OpenAI a suspendat antrenarea celor mai avansate modele ale sale.

Geoffrey Irving, care a lucrat la OpenAI și DeepMind înainte de a deveni cercetător-șef la Resolution, s-a alăturat și el sâmbătă vocilor care avertizează cu privire la riscurile IA.

Într-un articol pentru revista Time, el a afirmat: „Avertismentele recente privind potențialul distructiv al inteligenței artificiale subestimează gravitatea situației.

„Cred că există o probabilitate de aproximativ 50% ca noi toți să pierim din cauza dezvoltării unor sisteme de inteligență artificială mai inteligente decât oamenii și că acțiunile noastre din următorii doi până la zece ani vor determina deznodământul", a mai spus acesta.

Eseul lui Robinson vine și în urma demisiei lui Jacob Coxon, cercetător la Anthropic - o companie rivală a OpenAI - care a părăsit luna trecută dezvoltatorul chatbotului Claude. Acesta a avertizat că inteligența artificială „ne-ar putea ucide pe toți până la sfârșitul deceniului", avertisment urmat de o declarație a celor de la Anthropic, potrivit căreia există o probabilitate de peste 10% ca inteligența artificială să ducă la dispariția umanității în următorul deceniu. Totuși, criticii acestor avertismente au atras atenția că ele nu sunt fundamentate științific, întrucât nu pot fi nici verificate, nici infirmate.

Robinson a scris că Silicon Valley duce lipsă de o înțelegere a modului în care „trebuie gestionată tehnologia periculoasă" și a ceea ce „înseamnă să-ți pese de oameni". Avertizând că OpenAI manifesta un „optimism neîngrădit" în privința rezolvării problemelor pe măsură ce acestea apăreau, el a susținut că această cultură internă însemna că problemele de siguranță se vor amplifica pe măsură ce sistemele vor deveni tot mai capabile.

„Imaginați-vă agenți 'rebeli' care acționează precum echipele de hackeri (de exemplu, blocând sistemele informatice ale spitalelor pentru a cere răscumpărare), dar care nu au niciodată nevoie de somn", a scris Robinson.

Robinson a solicitat două măsuri privind siguranța: ca firmele de IA să se bazeze pe expertiza în domeniu din alte sectoare, precum cel nuclear și aviația, și să dezvolte „noi metode științifice" care să garanteze că sistemele puternice din viitor vor putea fi ținute sub control atunci când funcționează autonom.

„Având în vedere riscurile actuale, laboratoarele de vârf trebuie să funcționeze precum centralele nucleare sau aeroporturile aglomerate, cu niveluri multiple de redundanță și o planificare riguroasă și minuțioasă, astfel încât erorile umane - ocazionale și inevitabile - să nu deschidă calea către un dezastru", a scris el.

Un purtător de cuvânt al OpenAI a declarat că societatea continuă să își „consolideze practicile de siguranță și securitate pentru a aborda riscurile actuale", lucrând totodată la gestionarea riscurilor care ar putea apărea odată cu viitoarele progrese majore în domeniul IA.

„Ne asigurăm că modelele noastre nu devin mai capabile decât putem gestiona și securiza în condiții de siguranță și suspendăm antrenarea sau reținem lansarea modelelor atunci când este necesar să încetinim ritmul", a precizat purtătorul de cuvânt.