OpenAI, en yeni modelinin lansmanından vazgeçme kararı aldı. yeni nesil zekânın güvenlik endişeleri Araştırmacılar tarafından testler sırasında ortaya çıkarılan bir bulgu. Sam Altman liderliğindeki girişim şirketi bunu piyasaya sürmek istedi. Gpt-6.1 Astra Birkaç hafta içinde. Ancak model, güvenli bir şekilde piyasaya sürülemeyecek kadar güvenilir olmadığı ortaya çıktı.
Bu haber, tartışmanın bir parçası. Yapay zeka güvenliği Anthropic'ten OpenAi'ye kadar sektörün önde gelen şirketlerinin CEO'ları tarafından başlatılan bu girişim, son haftalarda ABD başkanının açık muhalefetine rağmen sektöre daha fazla kontrol getirilmesi gerektiği konusunda hemfikir olduklarını belirtmişti. Donald TrumpBu yeni düzenlemelere göre Çin, yapay zeka yarışında Amerika Birleşik Devletleri'ni geride bırakabilir; Beyaz Saray ise bunu engellemek için her türlü niyete sahip.
OpenAI: "Model güvenilmez ve yanıltıcı olabilir."
Göre Wall Street Journal Geri adım atılmasının nedeni, araştırmacıların dahili testler sırasında dile getirdiği güvenlik endişeleriymiş. OpenAi'nin güvenlik sistemleri başkanı Saachi Jain, elde edilen modelin bu nedenle güvenlik endişelerinden kaynaklandığını açıkladı. zayıf hizalama sonuçlarıYani, insan beklentilerini karşılama yeteneği açısından ve bunu göstermiştir. aldatmaya daha yatkınlıkOrtaya çıkan kritik sorunlar arasında şunlar yer almaktadır: “Eylem yetkilendirmesinin kapsamı”, Yani, modelin kullanıcının iznini almadan bir görevi gerçekleştirmesi ve bazı durumlarda tehlikeli olabilecek harici araç ve hizmetleri kullanması gerçeği.
Astra 6.1, "bazı açılardan önceki modellere göre bir iyileşme gösterse de, performans açısından gerekli standartlara ulaşamadı."işletme limitlerine ve yetkilendirmelere uyumJain, "Bu, çalışmalarımız hakkında kullanıcılarla nasıl iletişim kurduğumuzla da ilgili," diye açıkladı. "Modellerimizin hem şirket içinde hem de kullanıcılara sunulduğunda güvenli bir şekilde geliştirilmesini sağlamak istiyoruz. Bir modeli kullanıcılara sunduğumuzda, güvenlik ve uyumluluk için son derece katı kriterler uyguluyoruz," diye ekledi.
Anthropic'in devralma prospektüsünde "insanlık için riskler" konusunda uyarıda bulunuluyor.
Güvenlik endişelerinin her geçen gün arttığı bir ortamda, OpenAI'nin doğrudan rakibinden de bir başka alarm zili çalıyor. Anthropic, yatırımcıları teknolojisinin bir tehdit oluşturabileceği konusunda uyardı. “İnsanlık için varoluşsal riskler”. Bu, Financial TimesBuna göre, uyarı, borsa listeleme prospektüsüne dahil edilmiş olmalıydı.
ikinci ft, Dario Amodei liderliğindeki girişim, uzun dokümantasyonunun neredeyse üçte birini ayrıntılı açıklamasına ayırmış durumda. “risk faktörleri”giderek daha gelişmiş yapay zeka modelleri olasılığı da dahil olmak üzere manipüle etmek, şantaj yapmak ve diğer öngörülemeyen davranışlar sergilemek.
