Les robots pourront effacer et réécrire leurs mauvais souvenirs grâce à ce nouveau système du MIT

Des chercheurs du Massachusetts Institute of Technology (MIT) ont développé un système d'intelligence artificielle permettant aux robots d'identifier, d'évaluer et de corriger les descriptions peu fiables d'objets stockées dans leur mémoire.

Cette technologie, baptisée UQ-DAAAM (Quantification of Uncertainty for Describe Anything, Anywhere, at Any Moment), combine la vision par ordinateur, les modèles de langage et la quantification de l'incertitude pour améliorer la manière dont les machines reconnaissent et se souviennent des objets de leur environnement.

Un problème hérité du système original

Le nouveau développement s'appuie sur un cadre de mémoire robotique antérieur appelé DAAAM, qui utilise un modèle de vision et de langage (VLM) pour générer des descriptions détaillées des objets capturés par les caméras du robot. Ces descriptions sont stockées dans une représentation tridimensionnelle de l'environnement, basée sur des cartes, ce qui permet au robot de récupérer des informations sur les objets lorsqu'il répond à des questions ou exécute des tâches.

Cependant, ce système original présente des limitations lorsque les objets sont partiellement visibles, à distance, ou lorsque les images capturées sont floues ou mal éclairées. Dans ces conditions, le modèle de vision et de langage peut générer des descriptions incorrectes : par exemple, confondre une cheminée grise avec une écureuil sur un toit. Sans un mécanisme pour corriger ces erreurs, l'information inexacte reste dans la mémoire du robot et peut affecter les décisions ultérieures.

Comment le nouveau système mesure l'incertitude

UQ-DAAAM aborde ce problème au moyen d'une méthode qui mesure l'incertitude dans les descriptions générées par le modèle de vision et de langage. Pendant que le robot se déplace dans un environnement, ses caméras capturent des images en continu et enregistrent souvent le même objet sous plusieurs angles. Le système utilise ces observations supplémentaires pour déterminer si une description existante est fiable.

Selon les chercheurs, le processus évalue d'abord la confiance du modèle dans les mots qu'il génère pour décrire un objet potentiellement mal identifié. Ensuite, il mesure la cohérence en comparant cette description avec les légendes générées à partir d'images du même objet prises sous des angles différents.

Ces deux mesures sont combinées en un score d'incertitude unique qui représente le degré de confiance du système dans sa compréhension de l'objet. Si ce score dépasse un seuil prédéfini, UQ-DAAAM identifie la description comme potentiellement peu fiable et initie un processus de raffinement.

Sélection d'images et correction de la mémoire

Au lieu d'analyser chaque image capturée, le système applique une méthode basée sur des règles pour sélectionner des points de vue supplémentaires susceptibles d'aider à réduire l'incertitude. Par exemple, si un robot confond une cheminée avec un autre objet, il peut sélectionner une image montrant de la fumée en sortant pour identifier la structure avec une plus grande précision.

Les chercheurs ont démontré mathématiquement que cette méthode de sélection peut identifier des images utiles sans avoir besoin d'exécuter à plusieurs reprises le modèle de vision et de langage, ce qui réduit les exigences de calcul et permet au système de fonctionner sur un robot en mouvement disposant de ressources de traitement limitées.

Une fois les images supplémentaires sélectionnées, un grand modèle de langage (LLM) combine leurs descriptions en une légende révisée. Le système accorde un poids plus important aux descriptions les plus récentes et à celles présentant le moins d'ambiguïté, afin de produire une représentation plus fiable de l'objet. La description corrigée est ensuite stockée dans la mémoire du robot pour de futures requêtes.

Résultats des tests et prochaines étapes

Dans les tests réalisés, le processus de raffinement a résolu les ambiguïtés pour environ 92 % des objets présents dans l'environnement du robot, avec un besoin de seulement deux légendes supplémentaires par objet. Le système a également amélioré la précision de la description des objets de 5 % par rapport aux méthodes existantes les plus avancées.

Les chercheurs ont également vérifié que UQ-DAAAM a amélioré la précision des réponses aux questions sur les objets, leur emplacement et le moment où le robot les avait vus pour la dernière fois.

L'équipe prévoit désormais d'étendre la technologie à différentes plateformes robotiques, y compris les manipulateurs robotiques mobiles. Ils explorent également la possibilité que le système identifie les zones à forte incertitude au sein d'un environnement et oriente les robots pour qu'ils revisitent ces lieux afin de collecter des observations plus précises.