Microsoft a demandé un brevet pour modifier la voix et les lèvres dans les diffusions en direct grâce à l'intelligence artificielle.

Microsoft a demandé l'enregistrement d'un brevet pour un système d'IA qui modifie en temps réel les déclarations d'un utilisateur lors de diffusions en direct. Le document, localisé par Patentlyze, suggère que l'outil pourrait remplacer des expressions spécifiques selon la langue, l'âge ou l'emplacement du spectateur, tout en ajustant le mouvement des lèvres pour que le changement reste imperceptible.

Cette demande ouvre un débat sur les limites de l'édition audiovisuelle par intelligence artificielle, notamment concernant le risque que ce type d'ajustements soit utilisé pour désinformer sans que le public ne s'en rende compte.

Comment l'IA modifierait l'audio en direct

Le système décrit dans le brevet analyse l'audio d'une diffusion en direct et détecte des mots spécifiques pour les remplacer automatiquement par d'autres.

Selon le document, ces substitutions ne seraient pas uniformes pour tout le public. Elles pourraient varier en fonction des informations associées au profil de chaque utilisateur, telles que sa langue maternelle, son âge ou sa localisation géographique.

Microsoft envisage que l'outil serve à améliorer l'expérience de visionnage en supprimant les pauses inutiles, les expressions de remplissage ou les mots vulgaires pendant la transmission.

La proposition inclut également la possibilité de remplacer des termes à partir de recherches effectuées sur Internet par l'utilisateur lui-même. Le texte du brevet ne précise pas si le système notifierait le spectateur des modifications apportées ni comment ces changements seraient justifiés.

Synchronisation labiale : le détail qui éviterait de détecter les changements

L'un des éléments distinctifs de ce brevet est l'incorporation de mécanismes pour adapter la synchronisation labiale de la vidéo aux nouveaux mots générés par l'intelligence artificielle.

Cela signifie que le mouvement de la bouche du locuteur serait ajusté numériquement pour correspondre à l'audio modifié, de sorte que le spectateur verrait une personne prononcer des phrases différentes des originales sans percevoir aucune différence visuelle.

Cette combinaison entre l'édition vocale et l'ajustement labial est celle qui suscite le plus d'inquiétude, car elle élimine tout indice visible de manipulation du contenu pour celui qui observe la transmission.

L'étendue réelle du brevet et son utilisation commerciale possible

Comme c'est le cas pour toute demande de ce type, l'enregistrement d'un brevet ne garantit pas que la technologie décrite devienne un produit commercial disponible pour le public.

Néanmoins, l'existence du document reflète l'intérêt croissant des grandes entreprises technologiques pour développer des outils d'intelligence artificielle capables de modifier et d'adapter les contenus audiovisuels de manière instantanée, pendant la diffusion en direct même.

Nouvelle génération de voix : des modèles en temps réel qui écoutent, raisonnent et agissent

L'interaction vocale s'impose comme l'un des moyens les plus intuitifs et pratiques pour utiliser des logiciels au quotidien. Qu'il s'agisse de demander de l'aide en conduisant, de réorganiser un itinéraire dans un aéroport ou de régler des affaires courantes sans recourir au clavier, la voix supprime les frictions et facilite un accès immédiat dans la langue de son choix.

Cependant, le développement d'outils vocaux véritablement efficaces exige de dépasser la simple fluidité acoustique ou la faible latence. Un agent vocal performant doit capter avec précision l'intention de l'interlocuteur, retenir le contexte, s'adapter aux changements brusques de conversation, activer des outils en arrière-plan et formuler des réponses contextualisées instantanément.

Pour répondre à ces exigences, l'API intègre trois nouveaux modèles spécialisés dans l'audio en temps réel :

• GPT-Realtime-2 : Premier modèle vocal doté de capacités de raisonnement de classe GPT-5, conçu pour traiter des instructions complexes, retenir le contexte et maintenir un dialogue fluide et naturel.
• GPT-Realtime-Translate : Solution d'interprétation en temps réel qui prend en charge plus de 70 langues d'entrée et traduit vers 13 langues de sortie, en préservant avec précision le rythme et l'allure de l'émetteur.
• GPT-Realtime-Whisper : Moteur de transcription vocale ultra-rapide qui convertit les mots en texte de manière synchronisée avec la prononciation de l'orateur.

Dans leur ensemble, ces écosystèmes marquent un changement de paradigme par rapport aux architectures traditionnelles de question-réponse. En intégrant simultanément la capacité d'écouter, de raisonner, de traduire, de transcrire et d'exécuter des actions en temps réel, ces modèles permettent aux développeurs de construire des agents conversationnels autonomes, polyvalents et pleinement opérationnels.