Önemli Bilgiler
- Nvidia kısa süre önce 2D fotoğrafları sadece saniyeler içinde 3D sahnelere dönüştüren bir teknik gösterdi.
- Yöntem, ışığın gerçek dünyada nasıl davrandığını tahmin etmek için bilgisayar gücünü kullanır.
- Meta veri deposu, herhangi bir kamera perspektifinden görüntülenebildikleri için 3B sahnelerin yararlı olduğu bir alandır.
Nvidia'nın yeni yapay zeka (AI) teknolojisi, 2D fotoğrafları saniyeler içinde 3D sahnelere dönüştürebilir ve metaverse gibi sürükleyici sanal alanların oluşturulmasını kelime işleme kadar önemsiz hale getirebilir.
Nvidia yakın zamanda ışığın gerçek dünyada nasıl davrandığını tahmin etmek için bilgi işlem gücünü kullanan Instant NeRF adlı fotoğraf yöntemini gösterdi. Eski fotoğraflarınızı bir video oyunu sahnesine dönüştürebilir veya robotları ve kendi kendine giden arabaları gerçek dünyadaki nesnelerin boyutunu ve şeklini anlamaları için eğitmek için kullanılabilir.
3D algoritmalarını Nvidia platformunda çalıştıran bir bilgisayar vizyonu şirketi olan Visionary.ai'nin CEO'su Oren Debbi, Lifewire'a verdiği bir e-posta röportajında "3D görüntüleme yeni bir dönüşüm dünyası getiriyor" dedi. "3D'yi kullanarak, gerçek dünya derinliğini sahneye taklit ediyor ve görüntünün daha canlı ve gerçekçi görünmesini sağlıyorsunuz. 3D'nin çok yaygın olduğu AR/VR ve endüstriyel kameraların yanı sıra, artık neredeyse her akıllı telefonda kullanıldığını görüyoruz. kullanıcı bile biliyor."
Boyut Ekleme
75 yıl önce Polaroid kamerayla çekilen ilk anlık fotoğraf, 3 boyutlu dünyayı 2 boyutlu bir görüntüde hızla yakalamayı amaçlıyordu. Şimdi, yapay zeka araştırmacıları bunun tam tersi üzerinde çalışıyorlar: hareketsiz görüntülerden oluşan bir koleksiyonu saniyeler içinde dijital bir 3D sahneye dönüştürmek.
Ters işleme olarak bilinen süreç, ışığın gerçek dünyada nasıl davrandığını tahmin etmek için yapay zekayı kullanır ve araştırmacıların farklı açılardan çekilmiş bir avuç 2D görüntüden bir 3D sahneyi yeniden oluşturmasına olanak tanır. Nvidia, bu görevi neredeyse anında gerçekleştiren bir yaklaşım geliştirdiğini iddia ediyor.
Nvidia, bu yaklaşımı nöral parlaklık alanları veya NeRF adı verilen yeni bir teknolojiyle kullandı. Şirket, Instant NeRF olarak adlandırılan sonucun bugüne kadarki en hızlı NeRF tekniği olduğunu söylüyor. Modelin birkaç düzine fotoğraf üzerinde eğitilmesi sadece birkaç saniye sürüyor ve ardından ortaya çıkan 3D sahneyi onlarca milisaniye içinde oluşturabiliyor.
"Çokgen ağlar gibi geleneksel 3B temsiller vektör görüntülere benziyorsa, NeRF'ler bitmap görüntüler gibidir: ışığın bir nesneden veya bir sahneden yayılma şeklini yoğun bir şekilde yakalarlar," diyor grafik araştırmaları başkan yardımcısı David Luebke Nvidia bir basın açıklamasında şunları söyledi: “Bu anlamda, Anında NeRF 3D için dijital kameralar kadar önemli olabilir ve JPEG sıkıştırması 2D fotoğrafçılık için önemliydi - 3D yakalama ve paylaşmanın hızını, kolaylığını ve erişimini büyük ölçüde artırdı.”
Bir NeRF'yi beslemek için veri toplamak, sinir ağının sahnedeki birden fazla konumdan alınan birkaç düzine görüntüyü ve bu çekimlerin her birinin kamera konumunu yakalamasını gerektirir.
NeRF, 3B uzayın herhangi bir noktasından herhangi bir yönde yayılan ışığın rengini tahmin ederek sahneyi yeniden yapılandırmak için küçük bir sinir ağını eğitir.
3D'nin Çekiciliği
Perceptus Artırılmış Gerçeklik Platformu'nun (AR) kurucusu Brad Quinton, Lifewire'a verdiği bir e-posta röportajında, metaverse'in herhangi bir kamera perspektifinden görüntülenebildiği için 3D sahnelerin yararlı olduğu bir alan olduğunu söyledi. Tıpkı gerçek hayatta bir odanın içinde yürüyüp içindekileri birçok farklı açıdan görebildiğimiz gibi, yeniden oluşturulmuş bir 3D sahneyle, bir boşlukta sanal olarak hareket edebilir ve onu herhangi bir perspektiften görebiliriz.
"Bu, sanal gerçeklikte kullanım için ortamlar oluşturmak için özellikle yararlı olabilir," dedi Quinton.
Apple'ın Nesne Yakalama gibi programlar, bir dizi 2B görüntüden sanal 3B nesneler oluşturmak için fotogrametri adı verilen bir teknik kullanır. Quinton, 3D modellerin sanal gerçeklik ve AR uygulamalarında yaygın olarak kullanılacağını öngördü. Örneğin, Perceptus AR Platformundaki gibi bazı AI'lar, gerçek dünyayı anlamak için 3B modeller kullanır ve bu da gerçek zamanlı AR uygulamalarına olanak tanır.
3D görüntülerin kullanılması aynı zamanda bir sahnedeki gerçek dünya derinliğini taklit eder ve görüntünün daha canlı ve gerçekçi görünmesini sağlar, dedi Debbi. Bokeh efekti (portre modu veya sinema modu olarak da bilinir) oluşturmak için 3D derinlik eşlemesi gereklidir. Teknik hemen hemen her akıllı telefonda kullanılır.
"Bu, film çeken profesyonel kameramanlar için zaten standart ve bu, her tüketici için standart haline geliyor," diye ekledi Debbi.
