Clau per emportar
- Nvidia va mostrar recentment una tècnica que converteix fotos en 2D en escenes 3D en pocs segons.
- El mètode utilitza la potència de l'ordinador per aproximar com es comporta la llum al món real.
- El metavers és una àrea on les escenes en 3D són útils perquè es poden veure des de qualsevol perspectiva de càmera.
La nova tecnologia d'intel·ligència artificial (IA) de Nvidia podria convertir aviat les fotos en 2D en escenes 3D en pocs segons, fent que la creació d'espais virtuals immersius com el metavers sigui tan trivial com el processament de textos.
Nvidia va demostrar recentment el mètode fotogràfic anomenat Instant NeRF, que utilitza la potència de càlcul per aproximar com es comporta la llum al món real. Podria transformar les teves fotos antigues en una escena de videojocs o es pot utilitzar per entrenar robots i cotxes autònoms per entendre la mida i la forma dels objectes del món real.
"Les imatges en 3D aporten un nou món de transformació", va dir a Lifewire Oren Debbi, director general de Visionary.ai, una empresa de visió per ordinador que gestiona els seus algorismes 3D a la plataforma Nvidia, en una entrevista per correu electrònic. "Utilitzant 3D, imites la profunditat del món real a l'escena i fas que la imatge sembli més viva i realista. A més de les càmeres AR/VR i industrials, on el 3D és molt comú, ara estem veient que s'utilitza en gairebé tots els telèfons intel·ligents sense el l'usuari fins i tot ho sap."
Afegir dimensions
La primera foto instantània, feta fa 75 anys amb una càmera Polaroid, tenia com a objectiu capturar el món en 3D en una imatge en 2D ràpidament. Ara, els investigadors d'IA estan treballant en el contrari: convertir una col·lecció d'imatges fixes en una escena digital en 3D en qüestió de segons.
Conegut com a renderització inversa, el procés utilitza IA per aproximar com es comporta la llum al món real, cosa que permet als investigadors reconstruir una escena en 3D a partir d'un grapat d'imatges en 2D preses en diferents angles. Nvidia afirma que ha desenvolupat un enfocament que realitza aquesta tasca gairebé a l'instant.
Nvidia va utilitzar aquest enfocament amb una nova tecnologia anomenada camps de radiació neuronal o NeRF. L'empresa diu que el resultat, anomenat Instant NeRF, és la tècnica NeRF més ràpida fins ara. El model necessita només uns segons per entrenar-se en unes quantes dotzenes de fotos fixes i després pot representar l'escena 3D resultant en desenes de mil·lisegons.
"Si les representacions 3D tradicionals com les malles poligonals són semblants a les imatges vectorials, els NeRF són com les imatges de mapa de bits: capturen densament la manera com la llum irradia des d'un objecte o dins d'una escena", David Luebke, vicepresident d'investigació gràfica de Nvidia, va dir en un comunicat de premsa: "En aquest sentit, Instant NeRF podria ser tan important per al 3D com les càmeres digitals i la compressió JPEG per a la fotografia en 2D, augmentant enormement la velocitat, la facilitat i l'abast de la captura i l'intercanvi en 3D.”
La recollida de dades per alimentar un NeRF requereix que la xarxa neuronal capturi unes quantes dotzenes d'imatges preses des de diverses posicions de l'escena, així com la posició de la càmera de cadascuna d'aquestes preses.
El NeRF entrena una petita xarxa neuronal per reconstruir l'escena predint el color de la llum que irradia en qualsevol direcció, des de qualsevol punt de l'espai 3D.
L'atractiu del 3D
El metavers és una àrea on les escenes en 3D són útils perquè es poden veure des de qualsevol perspectiva de càmera, va dir Brad Quinton, fundador de la Plataforma Perceptus per a la realitat augmentada (AR), a Lifewire en una entrevista per correu electrònic. De la mateixa manera que podem caminar per una habitació a la vida real i veure'n el contingut des de molts angles diferents, amb una escena en 3D reconstruïda, ens podem moure virtualment per un espai i veure'l des de qualsevol perspectiva.
"Això pot ser especialment útil per crear entorns per utilitzar-los en realitat virtual", va dir Quinton.
Programes com l'Apple's Object Capture utilitzen una tècnica anomenada fotogrametria per crear objectes virtuals en 3D a partir d'una sèrie d'imatges en 2D. Quinton va predir que els models 3D s'utilitzaran àmpliament en aplicacions de realitat virtual i AR. Per exemple, algunes IA, com la de la plataforma Perceptus AR, utilitzen models 3D per crear una comprensió del món real, que permeten aplicacions de RA en temps real.
L'ús d'imatges en 3D també imita la profunditat del món real en una escena i fa que la imatge sembli més viva i realista, va dir Debbi. Per crear un efecte Bokeh (també conegut com el mode retrat o el mode cinematogràfic), és necessari un mapa de profunditat en 3D. La tècnica s'utilitza en gairebé tots els telèfons intel·ligents.
"Aquest ja és l'estàndard per als videògrafs professionals que filmen pel·lícules, i això s'està convertint en l'estàndard per a tots els consumidors", va afegir Debbi.
