TECH ACTUS – Grâce à sa technologie, Nvidia peut presque instantanément créer des scènes 3D à partir de photos 2D.
En utilisant l’intelligence artificielle, en particulier les champs de rayonnement neuronal (NeRF), les chercheurs sont parvenus à prédire la couleur de la lumière rayonnant dans n’importe quelle direction et ainsi reconstruire la scène à partir de l’image. Nvidia dit que c’est la solution la plus rapide et qu’elle peut être réalisée en quelques millisecondes pour un rendu 1080p. Cette vitesse pourrait être plus de mille fois plus rapide que ce que l’on pensait auparavant.
Thomas Muller, un scientifique qui étudie le sujet, a fait une présentation au GDC intitulé Instant Neural Graphics Primitives, et a déclaré que l’impact était dû aux avancées dans trois domaines principaux : un GPU spécifique à une tâche mise en œuvre de l’algorithme de rendu/apprentissage, en utilisant les capacités de flux de contrôle à grain fin du GPU pour être beaucoup plus rapide que les tenseurs denses ; une implémentation entièrement fusionnée d’un petit réseau neuronal (plus rapide que les routines de multiplication matricielle à usage général); et Nvidia a développé une technique appelée codage de grille de hachage multirésolution – elle est indépendante de la tâche et offre un meilleur compromis vitesse/qualité que le travail préexistant.
Le modèle Instant NeRF a été implémenté avec la boîte à outils CUDA et la bibliothèque de réseaux de neurones Tiny CUDA, et vous pouvez même consulter le code ici. Selon Nvidia, le réseau neuronal est si léger qu’il peut être exécuté sur un seul GPU, surtout s’il possède des cœurs tenseurs. David Luebke, vice-président de la recherche graphique de Nvidia, a déclaré : « Si les représentations 3D traditionnelles telles que les maillages polygonaux s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : elles capturent de manière dense la façon dont la lumière rayonne à partir d’un objet ou à l’intérieur d’une scène. En ce sens , Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques, et la compression JPEG l’a été pour la photographie 2D, augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage 3D.”
Instant NeRF peut numériser rapidement des environnements et des personnes réels, puis utiliser les résultats numérisés pour apprendre aux voitures à se conduire ou à des robots pour apprendre la forme et la taille d’objets réels.
Source : WCCFTech
