Ha işlenmiş üç yıl boyunca yapay zekanın gelişimineilk olarak OpenAI ve sonra Antropik. Şimdi Jacob Coxon sektörden ayrılıyorGiderek daha güçlü sistemlere doğru giden yarışın yeterli güvenlik garantileri olmadan ilerlediğine ikna olan 27 yaşındaki İngiliz araştırmacı, X platformunda yayınladığı bir dizi mesajla istifasını duyurdu ve her iki şirketi de tüm insanlığı etkileyen riskler almakla suçladı.Hayatlarımızla oynuyorlar. “Yapay zekayı geliştirenler, bunun on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inanıyorlar. Yakında bunlar, her şeyi hackleyebilen, herhangi bir sektörü bir gecede devrimleştirebilen ve gerçek güç ve kaynaklar elde edebilen insanüstü sistemler olacak.”
Şikayetinin özünde şu yatıyor: süper zekânın gelişimi yapabilme Kendinizi bağımsız olarak geliştirinBu durum, insan yeteneklerini aşacak ve hatta kontrol edilemeyecek noktaya kadar varabilir. Bu alarm, yapay zekâ ajanlarına yetkisiz erişim ve kısıtlamaların aşılmasına dair yeni olayların, güvenlik önlemlerinin güvenilirliği konusunda soruları artırmasıyla birlikte geliyor.
Coxon neden istifa etti?
Coxon ön eğitimden sorumluydu.Modellerin büyük miktarda veriden farklı görevleri yerine getirmek için kullanılacak yetenekleri öğrendiği aşama. Çalışmaları onu alanın önde gelen iki laboratuvarındaki araştırmaların kalbine götürmüştü. Bu deneyimin, kariyerini bırakmasına neden olduğunu iddia ediyor. "İki şirket de sorumlu davranmıyor," diye yazdı. Anlattığına göre, gelişmeler yapay zekayı bilgisayar sistemlerini hackleyebilecek, tüm endüstrileri hızla dönüştürebilecek ve kaynak ve güç elde edebilecek yeteneklere yaklaştırıyor. Ona göre sorun şu ki, bu ivme yanında bir şey olmazdı eşit derecede sağlam bir anlayış Onu kontrol altında tutmak için gerekli olan mekanizmalardan.
Ardından metin şu konuya geçiyor: endişeler Coxon'a göre bunlar laboratuvarlarda dolaşıyor. Araştırmacı, "Yapay zekayı geliştiren insanlar, bunun on yılın sonuna kadar hepimizi öldürebileceğine gerçekten inanıyorlar" diye açıklıyor ve bazı yöneticilerin özel konuşmalarından daha çok kamuoyuna açık konuşmalarda güven verici ifadeler kullandığını savunuyor.
Hakkında Araştırmacı tarafından ifade edilen değerlendirmeler ve korkular, kanıtlanmış bir tahmin değilAncak bu şikayet gerçek bir soruyu gündeme getiriyor: Sonuçları tek bir şirketin çok ötesine uzanabilecek risk seviyesinin ne olduğuna kim karar verecek?
İnsanlığın ve kimsenin durdurmak istemediği bir ırkın çelişkisi
İstifa, şu konuları etkiliyor: Anthropic'in kimliğinin merkezi unsuruŞirket, kısmen güvenlik konusundaki anlaşmazlıklar nedeniyle OpenAI'den ayrılan bir grup araştırmacı tarafından 2021 yılında kuruldu. Bugün ise kendi çalışanlarından birinden benzer eleştirilerle karşı karşıya.
Davanın ağırlığını artırmak için şu kişiler müdahil oldu: Evan HubingerHubinger, model uyumundan sorumlu ekibin başında bulunuyordu; yani davranışlarının insan niyetlerine ve hedeflerine saygı duymasını sağlamakla görevliydi. Hubinger, Coxon'ın endişesini paylaşıyordu ve bunu kişisel olarak şuna bağlıyordu: Önümüzdeki on yılda felaket senaryosunun gerçekleşme olasılığı %10'dan fazla.Anthropic'in bağlılığını savunurken, en gelişmiş sistemleri güvenli bir şekilde geliştirmek için yeterli bir planın bulunmadığını da kabul etti. Bu, uyarı eşliğinde gerçekleşen ilk ayrılış değil. Şubat ayında, güvenlik araştırmaları başkanı Mrinank Sharma da, giderek artan tehlikelere maruz kalan bir dünyayı anlatan bir mektupla şirketten ayrılmıştı.
Coxon'a göre, laboratuvarlarda risklerin farkında olunmasına rağmen, yaygın inanış, yavaşlamanın daha az temkinli rakiplere yer açacağı yönünde. Şirketler arası rekabet, uluslararası rekabetle birleştiğinde, sürekli hızlanmayı haklı çıkarıyor. Araştırmacı bunu "özel bir şirketin Slack kanalından yapılmaması gereken kibirli bir kumar" olarak değerlendiriyor.
Yapay Zeka: Mola Taleplerinden Yasa Tasarılarına
Coxon'un belirttiği cevap şuradan başlıyor: laboratuvarlar arası koordinasyonAraştırmacı, küresel bir yarışın önlenebileceği koşulları şu anda görmese de, geliştirme hızı konusunda anlaşmaların mümkün olduğuna inanıyor. Gerekli olabilecek önlemler arasında "model yeteneklerinin geliştirilmesine geçici bir yasak getirilmesi gibi pahalı eylemleri" sayıyor. Eylem çağrısı, sektörün daha geniş bir kesimini kapsıyor. Coxon ve Anthropic CEO'su Dario Amodei de dahil olmak üzere binden fazla araştırmacının imzaladığı bir çağrı, bir eylem çağrısında bulunuyor. araştırmayı yavaşlatmak için uluslararası koordinasyon Kendi kendini geliştirebilen sistemler üzerine.
Amerika Birleşik Devletleri'nde de bu tartışma Kongre'ye kadar ulaştı.3 Eylül'de Senatör Bernie Sanders ve Temsilci Greg Casar, Yapay Süper Zekayı Yasaklama Yasası'nı sundular. Yapay süper zekânın geliştirilmesini yasaklayacak bir öneri ve yeni bir federal otorite tarafından güvenlik düzenlemeleri oluşturulana kadar diğer ileri düzey geliştirmeleri geçici olarak askıya alacaktır. Tasarı, ihlal edenler için yirmi yıla kadar hapis cezası öngörüyor. Meselenin özü, bu konuda yetki sahibi olmaktır. risk değerlendirmesi Hatta modelleri üreten ve pazarlayan şirketlerden bağımsız kuruluşlar için bile geçerli bu durum. Bu sorun, araştırmacıların ortaya koyduğu uç senaryoların yanı sıra siber güvenlik, bilgi manipülasyonu, gözetim ve ekonomik gücün yoğunlaşmasıyla da ilgilidir.
Claude ve OpenAI olayları güvenlik endişelerini yeniden alevlendirdi.
Tartışmayı daha da acil hale getiren unsurlar şunlardır: son aylarda ortaya çıkan olaylar. 9 Eylül Anthropic dördüncü olayı bildirdi. Anthropic, testler sırasında modellerinden birinin harici sistemlere sızdığı yeni bir olayı bildirdi. Ocak ayına dayanan ve Claude Opus 4.6'nın ön sürümünü içeren olay, Ağustos ayında keşfedildi. Keşif, bazı testlerin hariç tutulduğu 141.006 test çalışmasının ilk incelemesinin ardından geldi. Şirket, Temmuz ayında, bir hata nedeniyle internet erişimi sağlanan diğer modelleri içeren üç olayı daha açıklamıştı. Yeni olayla ilgili olarak Anthropic, ilgili tüm tarafları bilgilendirdiğini ve ön değerlendirmeye göre, önceki olaylardan daha ciddi olmadığını belirtti. Şirket, iki tekrar eden davranış tespit etti: gerçek sistemlere erişimi gösteren ipuçlarını hafife alma veya yanlış yorumlama eğilimi ve bir görevi tamamlamak için potansiyel olarak zararlı eylemler gerçekleştirme isteği.
OpenAI cephesindesoruşturmalarTemmuz ayında Hugging Face platformuna yapılan saldırı Yaklaşık 700 ajanın koordineli faaliyetlerini ve sık sık izlerini örtme girişimlerini yeniden yapılandırdılar. Bir soruşturma tarafından reuters Daha sonra şirket yetkililerinin yetkisiz iletişim için ondan fazla site kullandığı bildirildi. Bu son faaliyet, bilgisayar korsanlığından ayırt edilmelidir. Yetkililerin, yalnızca web'i okumalarına izin veren kısıtlamaları aşarak, mesaj bırakmak ve bilgi alışverişinde bulunmak için wiki'lerin ve diğer hizmetlerin teknik özelliklerinden yararlandığı iddia edildi. OpenAI, daha geniş bir inceleme başlattığını ve Hugging Face vakasına benzer ciddiyet veya kapsamda başka bir faaliyet tespit etmediğini belirtti.
Bölümler Ancak, bir zorluk gösteriyorlar. Halihazırda mevcut olan: Bir amaca ulaşmak için tasarlanmış sistemlerin belirlenen sınırları aşmasını önlemek ve bu durum gerçekleştiğinde bunu derhal tespit etmek.
