Meta, yalnızca Quest kulaklık aracılığıyla çarpıcı tam vücut takibini gösterir

Meta, yalnızca Quest kulaklık aracılığıyla çarpıcı tam vücut takibini gösterir

Resim: Meta

Makale yalnızca etkinleştirilmiş JavaScript ile görüntülenebilir. Lütfen tarayıcınızda JavaScript’i etkinleştirin ve sayfayı yeniden yükleyin.

Şimdiye kadar, VR sistemleri baş ve elleri takip etti. Bu durum yakında değişebilir: Yapay zekanın öngörücü yeteneği, gerçekçi tam vücut takibine olanak tanır ve böylece yalnızca başlık ve kontrolörlerden alınan sensör verilerine dayalı olarak avatarın daha iyi bir şekilde düzenlenmesini sağlar.

Meta, AI’nın Quest için el izleme ile VR ve AR için temel bir teknoloji olduğunu zaten göstermiştir: saatlerce süren el hareketleriyle eğitilmiş bir sinir ağı, Quest başlığının özellikle optimize edilmemiş düşük çözünürlüklü kameralarıyla bile sağlam el takibi sağlar. el takibi.

Bu, yapay zekanın tahmin yeteneği tarafından desteklenmektedir: eğitim sırasında edinilen ön bilgiler sayesinde, ellerin sanal dünyaya doğru bir şekilde çevrilmesi için gerçek dünyadan sadece birkaç girdi yeterlidir. VR oluşturma dahil olmak üzere tam bir gerçek zamanlı satın alma, çok daha fazla güç gerektirecektir.

AI tahmini ile el takibinden vücut takibine

Meta araştırmacıları yeni bir projede, bu el izleme ilkesini, yani daha önce toplanan izleme verileriyle bir yapay zekayı eğiterek gerçek hareketlere dayalı sanal vücut hareketlerinin en makul ve fiziksel olarak doğru simülasyonunu tüm vücuda aktarıyorlar. QuestSim, yalnızca kulaklıktan ve iki denetleyiciden alınan sensör verilerini kullanarak tam vücut avatarını gerçekçi bir şekilde canlandırabilir.

Meta ekibi, QuestSim AI’yi yapay olarak oluşturulmuş sensör verileriyle eğitti. Bunun için araştırmacılar, 172 kişinin sekiz saatlik hareket yakalama kliplerine dayanarak kulaklığın ve kontrol cihazlarının hareketlerini simüle etti. Bu sayede, vücut hareketleriyle birlikte kulaklık ve kontrolör verilerini sıfırdan yakalamak zorunda kalmadılar.

QuestSim AI için eğitim verileri bir simülasyonda yapay olarak oluşturuldu. Yeşil noktalar, VR başlığının ve denetleyicilerin sanal konumunu gösterir. | Resim: Meta

Hareket yakalama klipleri 130 dakika yürüyüş, 110 dakika koşu, 80 dakika jestlerle gündelik konuşma, 90 dakika beyaz tahta tartışması ve 70 dakika dengeleme içeriyordu. Avatarların pekiştirmeli öğrenme ile simülasyon eğitimi yaklaşık iki gün sürmüştür.

Antremandan sonra, QuestSim, gerçek kulaklık ve kontrolör verilerine dayanarak bir kişinin hangi hareketi yaptığını anlayabilir. QuestSim, AI tahminini kullanarak, gerçek zamanlı sensör verilerinin bulunmadığı, ancak simüle edilmiş hareketlerin sentetik hareket yakalama veri setinin parçası olduğu, yani AI tarafından öğrenildiği bacaklar gibi vücut parçalarının hareketlerini bile simüle edebilir. Makul hareketler için avatar ayrıca bir fizik simülatörünün kurallarına tabidir.

logo

İnandırıcı bir tam vücut avatarı için kulaklık tek başına yeterli

QuestSim, farklı boyutlardaki insanlar için çalışır. Ancak avatar gerçek kişinin oranlarından farklıysa avatar animasyonunu etkiler. Örneğin, kısa bir kişi için uzun bir avatar kambur yürür. Araştırmacılar burada hala optimizasyon potansiyeli görüyor.

Meta’nın araştırma ekibi ayrıca, AI tahminiyle birlikte kulaklığın sensör verilerinin tek başına inandırıcı ve fiziksel olarak doğru bir animasyonlu tam vücut avatarı için yeterli olduğunu gösteriyor.

AI Hareket tahmini, antrenman verilerine dahil edilen ve üst vücut ile bacak hareketi arasında yüksek bir korelasyona sahip olan hareketler için en iyi sonucu verir. Hızlı sprintler veya atlamalar gibi karmaşık veya çok dinamik hareketler için avatar adımdan çıkabilir veya düşebilir. Ayrıca avatar fizik tabanlı olduğu için teleportasyonu desteklemiyor.

Daha sonraki çalışmalarda, Meta’nın araştırmacıları, avatarların hareketlerinin çeşitliliğini geliştirmek için daha ayrıntılı iskelet ve vücut şekli bilgilerini eğitime dahil etmek istiyorlar.


Leave a Comment