OpenAi telah memutuskan untuk membatalkan peluncuran model terbarunya. kecerdasan generasi berikutnya karena kekhawatiran keamanan Angka tersebut ditemukan oleh para peneliti selama pengujian. Perusahaan rintisan yang dipimpin oleh Sam Altman ingin meluncurkan produk tersebut. Gpt-6.1 Astra dalam beberapa minggu. Namun, model tersebut terbukti tidak cukup andal untuk dirilis dengan aman.
Berita ini merupakan bagian dari debat mengenai Keamanan AI Diluncurkan oleh para CEO perusahaan-perusahaan utama di sektor ini, mulai dari Anthropic hingga OpenAi, yang dalam beberapa minggu terakhir mengatakan bahwa mereka setuju dengan perlunya memberlakukan kontrol yang lebih ketat pada sektor ini meskipun ada penentangan yang jelas dari presiden AS. Donald Trump, yang menurutnya peraturan baru akan memungkinkan China untuk mengungguli Amerika Serikat dalam perlombaan AI, sebuah pengunggulan yang ingin dicegah oleh Gedung Putih.
OpenAi: "Model ini tidak dapat diandalkan dan rentan terhadap penipuan."
Menurut Wall Street Journal Pembalikan arah pengembangan tersebut tampaknya disebabkan oleh kekhawatiran keamanan yang diangkat oleh para peneliti selama pengujian internal. Saachi Jain, kepala sistem keamanan di OpenAi, menjelaskan bahwa model yang diperoleh hasil penyelarasan yang burukyaitu, dalam kemampuan untuk memenuhi harapan manusia, dan telah menunjukkan kecenderungan yang lebih besar untuk menipuDi antara isu-isu penting yang muncul adalah: “cakupan wewenang tindakan”, yaitu, fakta bahwa model tersebut melanjutkan tugas tanpa meminta izin pengguna dan, dalam beberapa kesempatan, menggunakan alat dan layanan eksternal meskipun hal ini bisa berbahaya.
Astra 6.1, "meskipun mewakili peningkatan dibandingkan model sebelumnya dalam beberapa hal, belum mencapai standar yang dibutuhkan dalam hal rkepatuhan terhadap batasan operasional dan otorisasi“Begitu pula dengan cara kami berkomunikasi dengan pengguna tentang pekerjaan kami,” jelas Jain. “Kami ingin memastikan bahwa model kami dikembangkan dengan aman, baik di dalam perusahaan maupun saat dirilis kepada pengguna. Ketika kami menyediakan model kepada pengguna, kami menerapkan kriteria yang sangat ketat untuk keamanan dan keselarasan,” tambahnya.
Prospektus pengambilalihan Anthropic memperingatkan adanya "risiko bagi umat manusia."
Dalam konteks di mana kekhawatiran keamanan meningkat dari hari ke hari, alarm lain berbunyi dari pesaing langsung OpenAI. Anthropic telah memperingatkan investor bahwa teknologinya dapat menimbulkan ancaman. “risiko eksistensial bagi umat manusia”. Itu Financial Times, yang menurutnya peringatan tersebut seharusnya sudah tercantum dalam prospektus untuk pencatatan di bursa saham.
Kedua Kaki, Startup yang dipimpin oleh Dario Amodei ini telah mendedikasikan hampir sepertiga dari dokumentasinya yang panjang untuk deskripsi rinci tentang “faktor risiko”, termasuk kemungkinan model AI yang semakin canggih. memanipulasi, memeras, dan menunjukkan perilaku tak terduga lainnya.
