NVIDIA a annoncé une IA capable de créer des objets tridimensionnels à partir de photographies

Selon le blog de NVIDIA, les ingénieurs ont formé le modèle d'IA sur 1 million d'images. En utilisant plusieurs GPU A100 Tensor Core, l'équipe a atteint son objectif en deux jours. Selon l'entreprise, GET3D peut produire 20 objets par seconde avec un seul GPU, ce qui faciliterait le travail des artistes et des producteurs de contenu.

« Le monde réel est plein de variété : les rues sont pleines de bâtiments uniques, avec différents véhicules qui bourdonnent et des foules diverses qui passent. La modélisation manuelle d'un monde virtuel 3D qui reflète cela prend du temps, ce qui rend difficile la réalisation d'un environnement numérique détaillé.

Jusqu'à présent, GET3D a pu créer divers objets, des voitures, des chaises, des animaux ou des motos aux personnes ou aux bâtiments. Le modèle peut être combiné avec d'autres outils NVIDIA AI pour créer un objet avec un style spécifique.

Les objets 3D sont modifiables pour une utilisation dans des films ou des jeux vidéo

L'un des principaux points de GET3D est que les résultats peuvent être modifiés, ce qui était difficile dans les expériences précédentes.

À première vue, le résultat est similaire à ce que l'on peut obtenir en utilisant la technique de photogrammétrie avec un modèle détaillé de réseau et de structure. Le seul inconvénient est que les modèles de cette classe nécessitent un travail de "nettoyage" ultérieur pour optimiser le nombre de polygones.

"Les travaux antérieurs sur la modélisation générative 3D manquent de détails géométriques, sont limités dans la topologie de maillage qu'ils peuvent produire, ne prennent généralement pas en charge les textures ou utilisent des moteurs de rendu neuronaux dans le processus de synthèse, ce qui rend son utilisation dans les logiciels 3D courants inadaptée", peut être lire sur le blog officiel de NVIDIA.

Comme pour les autres modèles d'apprentissage en profondeur, plus les données d'apprentissage sont volumineuses, meilleurs sont les résultats. GET3D utilise un ensemble de données synthétiques, bien que les chercheurs prévoient de former la prochaine version sur des données réelles.

La prochaine version de GET3D est déjà dans les plans

Créer des objets 3D en utilisant l'intelligence artificielle est intéressant et NVIDIA a franchi une étape importante. Cependant, les modèles 3D pour les jeux vidéo, les films ou d'autres applications de divertissement sont beaucoup plus complexes qu'une expérience Mindjourney ou DALL-E.

Ces objets doivent répondre à des propriétés supplémentaires telles que le nombre de polygones ou la topologie lorsqu'ils sont utilisés dans des jeux ou des scènes contenant des animations.

Enfin, Kaedim est apparu et a déclaré que bien qu'il utilise un algorithme d'IA pour créer l'objet, un humain modifie le résultat final. Un "ingénieur contrôle qualité" vérifie le modèle et l'ajuste au standard de qualité requis par le client avant expédition.

Bien qu'il optimise le temps de production par rapport au travail manuel, l'algorithme ne peut toujours pas fournir de résultats fiables.

CONTINUER À LIRE