Un modèle d'IA peut générer des panoramas touristiques réalistes à partir de simples descriptions textuelles : de quoi s'agit-il ?

Une intelligence artificielle génère des panoramas touristiques réalistes à partir de descriptions textuelles, avec des résultats qui surpassent les modèles existants en qualité visuelle et cohérence sémantique.

Une équipe de chercheurs internationaux a développé SGMSD-Net, un modèle d'intelligence artificielle capable de générer des images panoramiques immersives pour le tourisme virtuel à partir de descriptions textuelles. Le système produit des scènes complètes en haute résolution avec une précision sémantique et un détail visuel supérieurs aux approches précédentes, selon l'étude publiée dans la International Journal of Information Quality.

La recherche, dirigée par Lun Wei, professeure à l'Université de Ma’anshan, dans la province d'Anhui, aborde une limitation fréquente des modèles génératifs actuels : la tendance à produire des images visuellement similaires sans capturer avec exactitude le sens sémantique de la scène demandée. Pour surmonter ce problème, le modèle combine une guidance sémantique explicite avec un processus de diffusion structuré à plusieurs échelles de résolution.

La génération se déroule en trois étapes progressives allant de la conception globale au détail de la texture

Le fonctionnement de SGMSD-Net est organisé en trois phases successives. Dans la première, le système établit la distribution spatiale générale et les couleurs de la scène. Dans la seconde, il affine les contours des objets et des structures. Dans la troisième et dernière étape, il restitue les textures, les motifs d'éclairage et les détails haute fréquence.

Ce schéma permet à chaque niveau du processus de se concentrer sur un type spécifique d'information visuelle, au lieu de tenter d'optimiser simultanément tous les aspects d'une image haute résolution en une seule passe.

Le composant sémantique fonctionne via un module de codage qui convertit les étiquettes textuelles — telles que la catégorie de scène, le type de monument ou les conditions météorologiques — en vecteurs numériques. Ces vecteurs génèrent des paramètres de modulation qui agissent directement sur les couches intermédiaires du réseau neuronal grâce à un mécanisme appelé FiLM (Feature-wise Linear Modulation). De cette manière, le modèle ajuste l'échelle et le décalage des caractéristiques visuelles en fonction du sens sémantique de la description reçue.

Les tests sur deux ensembles de données ont montré des améliorations sur les trois indicateurs de qualité évalués

Les expériences ont été réalisées avec SUN360, une base de données de plus de 26 000 images panoramiques d'intérieurs et d'extérieurs, et avec Matterport3D, qui contient plus de 10 000 points de vue de 90 environnements architecturaux tridimensionnels réels.

Dans les deux ensembles, SGMSD-Net a surpassé quatre modèles de référence — Pix2PixHD, SPADE, DDPM et Stable Diffusion — sur les trois indicateurs utilisés : FID, LPIPS et CLIP Score, qui mesurent respectivement la similarité de distribution avec des images réelles, la cohérence perceptuelle et le degré d'alignement entre l'image et la description.

Le modèle a obtenu une note moyenne de 9 sur 10 lors de l'évaluation subjective réalisée par dix volontaires, qui ont qualifié les images générées en termes de clarté, de réalisme et de cohérence sémantique. Sur l'indicateur de Précision d'Atribut Sémantique (SAA), le système a obtenu une moyenne de 92,9 %, devançant de 5,9 points de pourcentage le deuxième meilleur modèle évalué.

Une analyse d'ablation a confirmé que l'architecture à trois étapes est supérieure aux variantes plus simples

Pour vérifier que l'amélioration des performances provient du design hiérarchique et non de l'augmentation du nombre de paramètres, l'équipe a réalisé une expérience d'ablation dans laquelle elle a varié le nombre d'étapes de diffusion, en maintenant constants les autres composants.

Les résultats ont montré que l'architecture à trois étapes réduit le FID de 20,8 % par rapport au modèle à une seule étape sur SUN360, et de 21,7 % sur Matterport3D, tandis que le CLIP Score augmente de 2,4 % et 2,8 % respectivement.

En ce qui concerne le coût computationnel, le système nécessite 356,2 millions de paramètres et 10,3 secondes par image, des chiffres qui se situent entre ceux du modèle DDPM — plus léger mais moins précis — et Stable Diffusion — plus grand et plus lent. La consommation de mémoire GPU est de 13,9 gigaoctets, contre les 15,8 requis par Stable Diffusion.

Les auteurs soulignent que l'outil a des applications dans le patrimoine culturel, les musées et l'aménagement urbain

L'étude identifie comme applications potentielles la production de visites virtuelles de destinations touristiques avant le voyage, la visualisation éducative de sites historiques difficiles d'accès et la génération de contenu pour des expositions et la conception de vitrines. Les auteurs soulignent également la possibilité d'intégrer les images générées avec des systèmes de réalité virtuelle et augmentée.

L'équipe reconnaît des limitations dans la couverture géographique et culturelle des ensembles de données utilisés, ainsi que dans les performances dans des conditions d'éclairage extrêmes ou des structures spatiales très complexes.

Le modèle dépend également d'étiquettes sémantiques prédéfinies, ce qui réduit sa capacité à interpréter des descriptions libres ou ambiguës. Comme prochaines étapes, les chercheurs prévoient d'intégrer des modèles multimodaux pré-entraînés de plus grande échelle et d'explorer des mécanismes combinant la guidance sémantique par attributs avec l'interaction en langage naturel.