Yapay zekâ dünyasında öğrenme biçimini kökten değiştirebilecek yeni bir gelişme yaşanıyor. Google araştırmacıları, ChatGPT, Gemini ve Claude gibi büyük dil modellerinin en önemli sorunlarından birine çözüm olabilecek yeni bir yöntem geliştirdi. Üstelik bu yöntemin merkezinde oldukça tanıdık bir kavram var: Uyku. Bugün kullanılan yapay zekâ modelleri, kendilerine verilen bilgileri sohbet sırasında kullanabiliyor. Ancak konuşma sona erdiğinde bu bilgiler çoğunlukla modelin kalıcı bilgi birikimine eklenmiyor. Bazı bilgiler kullanıcıya özel hafızada saklansa da yapay zekâ bunları genel anlamda öğrenmiş olmuyor.
Modellerin yeni bilgileri kalıcı olarak öğrenebilmesi için yeniden eğitilmeleri gerekiyor. Ancak bu süreçte başka bir sorun ortaya çıkıyor. Yapay zekâ yeni bilgiler öğrenirken eskiden bildiklerinin bir kısmını unutabiliyor. Bilim dünyasında "yıkıcı unutma" olarak adlandırılan bu sorun, yapay zekâların sürekli öğrenebilen sistemlere dönüşmesinin önündeki en büyük engellerden biri.
Google araştırmacıları ise çözümü insan beyninin uyku sırasında öğrendiklerini pekiştirme yönteminde arıyor.
Google'ın geliştirdiği sistemde yapay zekânın çalışma düzeni iki aşamaya ayrılıyor: Uyanıklık ve uyku. Uyanıklık döneminde yapay zekâ normal şekilde çalışıyor, kullanıcılarla iletişim kuruyor ve yeni bilgiler topluyor. Ancak öğrendikleri hemen kalıcı hafızasına kaydedilmiyor. Belirli aralıklarla devreye giren uyku aşamasında ise model yeni bilgileri işlemeyi durduruyor. Bunun yerine gün boyunca öğrendiklerini kalıcı hâle getirmeye odaklanıyor.
Sistem, insan beyninin uyku sırasında anıları ve bilgileri güçlendirmesine benzer şekilde çalışıyor. Elbette yapay zekâ gerçekten uyumuyor. Buradaki uyku, modelin öğrendiklerini düzenlediği ve kendini geliştirdiği özel bir çalışma dönemini ifade ediyor.
Google'ın üzerinde çalıştığı yöntemin en önemli hedefi, yapay zekânın yeni bilgiler öğrenirken eski bilgilerini kaybetmesini önlemek. Bunun için modelin hafızasına yeni bölümler ekleniyor. Böylece yapay zekâ, mevcut bilgilerini değiştirmek yerine öğrendiklerini bu yeni alanlarda saklayabiliyor.
Sistemde Mixture of Experts (MoE) adı verilen bir yapı kullanılıyor. Bu yapıda farklı görevler için uzmanlaşmış bölümler bulunuyor ve ihtiyaç duyulan bölümler devreye giriyor.
Uyku sırasında yeni bilgiler daha kalıcı hafıza alanlarına aktarılıyor. Ardından geçici bellek temizlenerek yeni öğrenmeler için yer açılıyor. Böylece yapay zekânın önceki deneyimlerini korurken yeni bilgiler edinmeye devam etmesi amaçlanıyor.
Google'ın geliştirdiği sistemin en dikkat çekici özelliklerinden biri de "rüya görme" aşaması. Bu bölümde yapay zekâ yalnızca öğrendiklerini hafızasına kaydetmiyor, aynı zamanda kendi kendine yeni eğitim örnekleri oluşturuyor. İnsan beyninin rüya sırasında farklı anılar arasında bağlantılar kurmasından esinlenen sistem, yapay zekânın farklı bilgi alanlarını bir araya getirmesini sağlıyor.
Model, normalde birlikte kullanmayacağı bilgileri birleştirerek yeni senaryolar ve alıştırmalar üretiyor. Ardından bunlar arasından kendisini geliştirmeye en fazla katkı sağlayabilecek örnekleri seçiyor.
Seçilen örnekler üzerinde yeniden çalışarak yeteneklerini geliştirmeye uğraşıyor. Daha sonra da bu çalışmaların performansını artırıp artırmadığını kontrol ediyor. Yani amaç, yapay zekânın yalnızca kendisine verilen bilgileri ezberlemesi değil, öğrendiklerinden hareketle kendi kendine gelişebilmesi.
Üstelik bu sürecin insanlar tarafından hazırlanmış yeni eğitim verilerine ihtiyaç duyulmadan gerçekleşmesi hedefleniyor.
Google araştırmacıları, geliştirdikleri uyku yöntemini farklı görevlerde test ederek mevcut öğrenme sistemleriyle karşılaştırdı. En dikkat çekici sonuçlardan biri, yapay zekânın daha önce karşılaşmadığı dilleri öğrenmesi sırasında ortaya çıktı.
Mançu ve Kalamang gibi hakkında sınırlı eğitim verisi bulunan dillerle yapılan deneylerde yeni yöntem, birden fazla öğrenme aşamasından geçmesine rağmen önceki görevlerdeki başarısını neredeyse tamamen korudu.
Geleneksel öğrenme yöntemlerinde ise yeni bilgiler eklendikçe eski görevlerdeki performansın belirgin şekilde düştüğü görüldü. Bu sonuçlar, yapay zekâların yeni şeyler öğrenirken eskileri unutması sorununun büyük ölçüde azaltılabileceğini gösterdi.
Araştırmanın en çarpıcı sonuçlarından biri de uzun metinleri anlama testlerinden geldi. BABILong adlı testte Google'ın geliştirdiği uyku yöntemi, 10 milyon token uzunluğundaki metinlerde bile neredeyse kusursuz performans sergiledi.
Bu testte yapay zekânın çok uzun metinlerin içine yerleştirilmiş bilgileri bulması, bunlar arasında bağlantılar kurması ve soruları doğru yanıtlaması gerekiyor. Google'ın açıkladığı sonuçlara göre yeni yöntem, bu alanda GPT-4 ve Titans gibi güçlü sistemleri geride bıraktı.
Yeni bilgileri kalıcı olarak öğrenme testlerinde de benzer sonuçlar elde edildi. SQuAD değerlendirmesinde yüzde 48,9 başarı oranına ulaşan sistem, sürekli ön eğitim testinde ise yüzde 46,2'lik performans gösterdi.
Google Play
App Store
12:16
Haberi Paylaş
YORUM YAZ