Point-E

OpenAI a lancé Point-E, un système d’apprentissage automatique qui permet de créer un objet 3D à partir d’une demande de texte. Ce système utilise un modèle de texte à image et un modèle d’image à 3D pour générer la représentation 3D de l’objet demandé. Le modèle de texte à image, similaire à d’autres systèmes de génération d’art comme DALL-E 2 et Stable Diffusion d’OpenAI, a été entraîné avec des images étiquetées pour comprendre les associations entre mots et concepts visuels. Le modèle d’image à 3D, quant à lui, a été nourri avec un ensemble d’images associées à des objets 3D pour qu’il apprenne à traduire efficacement entre les deux.

Point-E est un système d’apprentissage automatique développé par OpenAI qui permet de générer des objets 3D à partir de requêtes de texte. Ce système utilise un modèle de texte à image et un modèle d’image à 3D pour générer la représentation 3D de l’objet demandé. Le modèle de texte à image, similaire à d’autres systèmes d’art génératif comme DALL-E 2 et Stable Diffusion de OpenAI, a été formé avec des images étiquetées pour comprendre les associations entre mots et concepts visuels. Le modèle d’image à 3D, quant à lui, a été alimenté avec un ensemble d’images associées à des objets 3D pour apprendre à traduire efficacement entre les deux.

Point-E peut produire des modèles 3D en une ou deux minutes avec une seule carte graphique Nvidia V100 et, bien que sa performance soit inférieure à celle des techniques de pointe, il produit des échantillons en une fraction du temps. Cela pourrait le rendre plus pratique pour certaines applications ou permettre de découvrir des objets 3D de meilleure qualité. Point-E peut avoir des applications dans l’impression 3D, le développement de jeux et d’animations, entre autres. OpenAI n’est pas la seule entreprise dans le domaine de la génération d’objets 3D, car Google a lancé DreamFusion cette année, une version étendue de Dream Fields, un système de génération 3D que l’entreprise a présenté en 2021. Contrairement à Dream Fields, DreamFusion n’a pas besoin d’entraînement préalable et peut générer des représentations 3D d’objets sans données 3D. Bien que l’attention soit actuellement axée sur les générateurs d’art 2D, la synthèse de modèles avec IA pourrait être le prochain grand disrupteur de l’industrie.

Les modèles 3D sont largement utilisés dans le cinéma et la télévision, la conception d’intérieurs, l’architecture et de nombreux domaines scientifiques. Par exemple, les entreprises d’architecture les utilisent pour présenter des bâtiments et des paysages proposés, tandis que les ingénieurs les utilisent comme des conceptions de nouveaux appareils, véhicules et structures. Les modèles 3D prennent généralement du temps à être créés, allant de quelques heures à plusieurs jours selon leur complexité. La génération de modèles 3D par l’IA pourrait considérablement raccourcir ce processus et permettre aux entreprises de créer et de tester davantage de modèles en moins de temps. En outre, la génération de modèles 3D par l’IA pourrait avoir des applications dans l’éducation et le divertissement, permettant aux étudiants et aux amateurs de création de contenu de créer et de modifier des objets 3D de manière plus rapide et facile.