Columbia Engineering araştırmacıları bu soruna farklı bir yerden yaklaşarak dikkat çekici bir adım attı. 15 Ocak’ta duyurulan ve Science Robotics’te yayımlanan çalışmada ekip, dudak hareketlerini “kural ezberleyerek” değil, insanları izleyerek öğrenen bir robot yüzü geliştirdi. Robot; farklı dillerde kelimeler oluşturmayı denedi, hatta şarkı söyleyip bir parça seslendirdi.

Robotun en ilginç tarafı, önce “kendi yüzünü” tanıması. Araştırmacılar, esnek bir yüz yapısı ve toplam 26 yüz motoru bulunan bir sistem tasarladı. Sonra robotu bir aynanın karşısına oturtup binlerce rastgele mimik ve ağız hareketi yaptırdı.

Buradaki amaç, “Şu motoru şu kadar oynatırsam dudak nasıl görünür?” sorusuna robotun kendi kendine cevap bulmasıydı. Zamanla robot, motor komutlarıyla ortaya çıkan yüz görüntüsü arasında bağ kurmayı öğrendi. Bu öğrenme sürecinde, görüntüyü eyleme dönüştüren bir yapay zekâ yaklaşımı (vision-to-action) kullanıldı. Yani robot, programcıların tek tek “Şu ses böyle yapılır” diye kural yazmasına ihtiyaç duymadan, deneye deneye yüz kontrolünü kavradı.

Kendi yüzünü kontrol etmeyi öğrenen robotun ikinci aşaması, insan izlemek oldu. Araştırmacılar bu kez robota saatlerce YouTube videosu izlettirdi: İnsanların konuşurken ve şarkı söylerken ağızlarının nasıl şekil değiştirdiğini gözlemledi. Yapay zekâ, ses ile ağız formu arasındaki ilişkiyi yakalamaya çalıştı.

Sonuçta robot, konuşmanın anlamını bilmeden bile, duyduğu seslere göre dudaklarını senkron şekilde oynatabildi. Ekip, sistemi farklı dillerde ve farklı seslerde test ettiğini söylüyor. Elbette kusursuz değil: Özellikle “B” gibi sert dudak kapanışları ve “V” gibi dudak büzme gerektiren seslerde zorlandıklarını da açıkça belirtiyorlar. Ama yaklaşımın güçlü yanı şu: Robot ne kadar çok izler ve etkileşime girerse, o kadar iyileşmesi bekleniyor.

Araştırmacıların iddiası, bunun yalnızca “dudak senkronu” meselesi olmadığı. Amaç, robotların insanla iletişim kurarken daha doğal ve duygusal olarak ikna edici görünmesi. Çünkü mimikler, özellikle ağız bölgesi, konuşmanın tonunu taşıyan en güçlü kanallardan biri.