Apple arastirmacilari, sesli asistanlarin komutlari anlama ve bunlara yanit verme biçimini kökten degistirmeyi amaçlayan ReALM (Reference Resolution as Language Modeling) adli bir yapay zeka sistemi gelistirdi.
Apple'in çalismanin detaylarini açikladigi bir makaleye göre ReALM, ekrandaki varliklara yapilan belirsiz referanslarin sifresini çözebiliyor ve konusma ve arka plan baglamini da anlayabiliyor. Bunun sonucunda cihazlarla daha sezgisel ve dogal bir sekilde etkilesim kurabiliyor.
Referans çözümlemesi, dogal dil anlayisinin önemli bir parçasi ve kullanicilarin zamirleri ve diger dolayli referanslari konusma sirasinda karisiklik olmadan kullanmalarina olanak taniyor. Dijital asistanlar için bu yetenek, tarihsel olarak çok çesitli sözlü ipuçlarini ve görsel bilgileri yorumlama ihtiyaciyla sinirli olan önemli bir zorluk olmustu.
Apple'in ReALM sistemi, karmasik referans çözümleme sürecini saf bir dil modelleme problemine dönüstürerek bu sorunu çözmeye çalisiyor. Bunu yaparken ekranda gösterilen görsel ögelere yapilan göndermeleri kavrayip bu anlayisi konusma akisina entegre edebiliyor.
ReALM, metinsel temsilleri kullanarak bir ekranin görsel düzenini yeniden olusturuyor. Bu, ekranin içerigini ve yapisini yakalayan bir metin formati olusturmak için ekrandaki varliklari ve konumlarini ayristirmayi içeriyor.
Apple arastirmacilari, bu stratejinin referans çözümleme görevleri için dil modellerinin özel ince ayariyla bir araya getirildiginde, OpenAI'nin GPT-4'ünün yetenekleri de dahil olmak üzere geleneksel yöntemlerden önemli ölçüde daha iyi performans gösterdigini buldu.
ReALM, kullanicilarin kesin ve ayrintili talimatlara ihtiyaç duymadan, ekranlarinda o anda görüntülenenlere göre dijital asistanlarla çok daha verimli bir sekilde etkilesim kurmasini saglayabilir. Bu da, sürücülerin araç kullanirken bilgi-eglence sistemlerinde gezinmesine yardimci olmak veya dolayli etkilesimin daha kolay ve daha dogru bir yolunu saglayarak engelli kullanicilara yardimci olmak gibi çesitli ortamlarda sesli asistanlari çok daha kullanisli hale getirme potansiyeline sahip.
Apple'in haziran ayinda düzenleyecegi WWDC24 etkinliginde bir avuç yapay zeka özelligini piyasaya sürmesi bekleniyor.