OpenAi a decis să renunțe la lansarea celui mai recent model al său. inteligenței de generație următoare datorită preocupări legate de securitate ridicate de cercetători în timpul testelor. Startup-ul condus de Sam Altman dorea să lanseze Gpt-6.1 Astra în câteva săptămâni. Cu toate acestea, modelul s-a dovedit a nu fi suficient de fiabil pentru a fi lansat în siguranță.
Știrea face parte din dezbaterea despre Siguranța IA lansat de directorii generali ai principalelor companii din sector, de la Anthropic la OpenAi, care în ultimele săptămâni declaraseră că sunt de acord asupra necesității de a impune controale mai stricte asupra sectorului, în ciuda opoziției clare a președintelui SUA Donald Trump, conform căreia noile reglementări ar permite Chinei să depășească Statele Unite în cursa inteligenței artificiale, o depășire pe care Casa Albă are toată intenția să o prevină.
OpenAi: „Modelul este nesigur și predispus la înșelăciune.”
Potrivit Wall Street Journal Revenirea la subiect s-a datorat, aparent, preocupărilor legate de securitate ridicate de cercetători în timpul testelor interne. Saachi Jain, șeful departamentului de sisteme de securitate de la OpenAi, a explicat că modelul obținut... rezultate slabe ale alinierii, adică în capacitatea de a îndeplini așteptările umane și a demonstrat o o mai mare înclinație de a înșelaPrintre problemele critice care au apărut s-ar număra: „autorizarea domeniului de aplicare al acțiunii”, adică faptul că modelul a continuat cu o sarcină fără a cere permisiunea utilizatorului și, în unele ocazii, a folosit instrumente și servicii externe chiar dacă acest lucru putea fi periculos.
Astra 6.1, „deși reprezintă o îmbunătățire față de modelele anterioare în anumite privințe, nu a atins standardele necesare în ceea ce privește rezistența la rupere”respectarea limitelor de funcționare și a autorizațiilor„, precum și modul în care comunicăm cu utilizatorii despre munca noastră”, a explicat Jain. „Dorim să ne asigurăm că modelele noastre sunt dezvoltate în siguranță, atât în cadrul companiei, cât și atunci când sunt lansate utilizatorilor. Când punem un model la dispoziția utilizatorilor, aplicăm criterii extrem de stricte de securitate și aliniere”, a adăugat el.
Prospectul de preluare al Anthropic avertizează asupra „riscurilor pentru umanitate”.
Într-un context în care preocupările legate de securitate cresc zi de zi, un alt clopot de alarmă sună din partea rivalului direct al OpenAI. Anthropic a avertizat investitorii că tehnologia sa ar putea reprezenta o amenințare. „riscuri existențiale pentru umanitate”. Acest lucru este dezvăluit de Financial Times, conform căruia avertismentul ar fi fost inclus în prospectul pentru listarea la bursă.
Al doilea Ft, Startup-ul condus de Dario Amodei a dedicat aproape o treime din documentația sa lungă descrierii detaliate a „factori de risc”, inclusiv posibilitatea unor modele de inteligență artificială din ce în ce mai avansate manipula, șantaja și manifesta alte comportamente imprevizibile.
