Anthropic'ten kritik yapay zeka uyarısı

• Anthropic'e göre Claude artık kendi kodunun yüzde 80'inden fazlasını yazabiliyor.
• Şirket, bunun "özyinelemeli kendini geliştirme" sürecinin başlangıcı olabileceğini belirtti.
• Yapay zekanın gelecekte kendi haleflerini tasarlayabilecek seviyeye ulaşabileceği ifade edildi.
• Kontrol kaybı riskine karşı küresel ölçekte yavaşlatma veya duraklama seçeneklerinin değerlendirilmesi çağrısı yapıldı.

Yapay zeka alanının önde gelen şirketlerinden Anthropic, Claude isimli modelinin gelişim sürecine ilişkin dikkat çekici bir değerlendirme yayımladı.

Şirketin araştırmacıları Marina Favaro ve Jack Clark tarafından kaleme alınan analizde, Claude'un artık kendi yazılım altyapısının önemli bölümünü oluşturabildiği belirtildi.

Verilere göre geçen yılın başında kendi kodunun yüzde 10'undan daha azını yazabilen sistem, bugün yüzde 80'in üzerine çıkmış durumda.

Anthropic'e göre bu gelişme, "recursive self-improvement" yani "özyinelemeli kendini geliştirme" adı verilen kritik bir aşamaya işaret ediyor.

Kendi haleflerini tasarlayabilir

Araştırmacılar, yapay zekanın yalnızca verilen görevleri yerine getiren bir araç olmaktan çıkarak gelecekte kendi geliştirilmiş versiyonlarını tasarlayabilecek noktaya ulaşabileceğini belirtiyor.

Bu senaryoda yapay zeka sistemleri, insan mühendislerin doğrudan müdahalesi olmadan yeni modeller oluşturabilecek, hatalarını düzeltebilecek ve performanslarını artırabilecek.

Anthropic, bunun bilimsel araştırmalar, ilaç geliştirme, mühendislik ve üretkenlik alanlarında büyük sıçramalar yaratabileceğini kabul ediyor.

Ancak şirket, aynı sürecin ciddi güvenlik riskleri de taşıdığı görüşünde.

İnsan denetimi kaybolabilir

Şirketin açıklamasında, yapay zeka geliştirme süreçlerinin giderek daha fazla yapay zekaya devredilmesinin, insanların sistemler üzerindeki denetimini zamanla zayıflatabileceği vurgulandı.

Anthropic, kontrolsüz ilerleyen bir kendini geliştirme döngüsünün, insanların sistemlerin nasıl çalıştığını veya neden belirli kararlar aldığını anlayamaz hale gelmesine yol açabileceğini belirtti.

Araştırmacılar, bu nedenle güvenlik mekanizmalarının güçlendirilmesi gerektiğini ve bazı durumlarda gelişim hızının yavaşlatılmasının dahi gündeme gelebileceğini ifade etti.

Küresel iş birliği çağrısı

Anthropic, olası risklerin önüne geçebilmek için yalnızca tek bir şirketin adımlarının yeterli olmayacağını savunuyor.

Şirkete göre yapay zeka geliştirme hızının sınırlandırılması ya da geçici olarak durdurulması gibi kararların etkili olabilmesi için büyük teknoloji şirketleri ve devletlerin ortak hareket etmesi gerekiyor.

Ancak şirket, böyle bir uluslararası koordinasyonun siyasi ve ekonomik nedenlerle son derece zor olduğunu da kabul ediyor.

Daha önce de benzer çağrılar yapılmıştı

Yapay zekanın gelişim hızına yönelik endişeler ilk kez gündeme gelmiyor.

2023 yılında teknoloji dünyasından binlerce uzman ve araştırmacı, gelişmiş yapay zeka sistemlerinin eğitimine geçici ara verilmesi çağrısında bulunmuştu.

Ancak aralarında Anthropic, OpenAI ve Google gibi şirketlerin de yer aldığı sektördeki yoğun rekabet nedeniyle bu çağrılar somut bir duraklamaya dönüşmemişti.

Anthropic'in son açıklaması ise, yapay zekanın kendi geliştirme süreçlerinde aktif rol almaya başlamasıyla birlikte bu tartışmaların yeniden gündemin üst sıralarına taşınabileceğine işaret ediyor.