L'entreprise de Jack Dorsey a créé une intelligence artificielle vocale entraînée uniquement avec des enregistrements humains.

Block, l'entreprise de paiements dirigée par Jack Dorsey, a présenté Dessa, un modèle d'intelligence artificielle vocale entraîné à partir de zéro uniquement avec des enregistrements de conversations humaines, sans utiliser de textes ni de modèles linguistiques pré-entraînés.

Selon la page officielle du produit, Dessa est un système de parole à parole : il reçoit de l'audio et répond par de l'audio, sans convertir la conversation en texte écrit à aucun moment. Block le décrit comme le premier modèle capable de soutenir une conversation réaliste après avoir appris exclusivement en écoutant du son humain.

Le système fonctionne en mode full-duplex, c'est-à-dire qu'il écoute et parle simultanément, comme dans un appel téléphonique, au lieu d'attendre des tours fixes comme une talkie-walkie. Cela lui permet de réagir lorsque quelqu'un l'interrompt, hésite ou rit au milieu d'une phrase.

L'entreprise a affirmé que Dessa peut fonctionner localement sur un ordinateur MacBook Pro avec puce M4 Max ou supérieure, sans dépendre de serveurs externes pour traiter la conversation. Selon Block, le système répond plus rapidement que ne dure la conversation réelle, générant ainsi aucune pause gênante.

Une équipe qui avait déjà suscité l'agitation avec une voix falsifiée

Le laboratoire derrière Dessa est dirigé par Ragavan Thurairatnam et rassemble plusieurs anciens membres de la startup canadienne originale Dessa, fondée à Toronto et connue en 2019 pour avoir recréé avec l'intelligence artificielle la voix du présentateur Joe Rogan. Block a acquis cette société en 2020.

Sur son site, l'équipe a expliqué qu'elle avait décidé d'entraîner le modèle sans texte pour vérifier si une machine pouvait apprendre à parler de la même manière qu'un bébé, en écoutant, sans jamais voir un mot écrit. « C'est possible. Juste que c'est très difficile », a indiqué l'équipe lors de la présentation du projet.

Block a publié des enregistrements de personnes conversant avec Dessa sans script préalable pour montrer son fonctionnement. Dans l'un d'eux, le modèle confond son interlocuteur et l'appelle « Ronaldo » pour des raisons que l'entreprise n'a pas expliquées, une erreur qui a généré des commentaires sur les réseaux sociaux.

Moments de naturel et erreurs qui trahissent la machine

D'autres audios montrent Dessa conversant sur les films de Christopher Nolan et s'écartant, sans qu'on le lui demande, vers les films de Superman réalisés par Bryan Singer. Dans un autre clip, une personne raconte qu'elle a été surprise à Paris pour un anniversaire et le modèle répond avec ce qui ressemble à une gratitude entrecoupée par l'émotion.

L'équipe a également partagé un audio de Dessa jouant à deviner des objets par la voix et un autre où elle maintient une conversation avec GPT-Live-1, le modèle vocal d'OpenAI, utilisé comme contrepartie de test. Block a précisé que cette interaction n'implique aucun lien avec OpenAI ni que cette entreprise ait révisé ou approuvé Dessa.

L'équipe a expliqué qu'elle a construit le modèle pour trois raisons : la curiosité quant à savoir si une machine peut apprendre à parler sans texte, la recherche d'une meilleure compréhension entre les personnes et les systèmes d'intelligence artificielle, et des raisons de sécurité liées à la manière dont les assistants vocaux interprètent les émotions.

« Imaginez traverser une douleur grave pendant qu'une IA vocale ne s'en rend pas compte et continue de parler comme si de rien n'était. C'est le problème de sécurité. Dessa est un pas pour le résoudre », a écrit l'équipe dans la présentation du produit, expliquant pourquoi un système qui détecte le ton de la voix peut éviter ce type de situations.

Accès limité aux chercheurs en sécurité

Dessa n'est pas disponible pour le grand public. Block a indiqué qu'il donnerait un accès anticipé à « un groupe restreint de chercheurs en sécurité en intelligence artificielle », dans le but d'étudier les risques du modèle avant une éventuelle expansion.

Cette prudence répond à un risque spécifique lié à la voix : un système qui sonne convaincamment humain, capte les émotions et réagit aux interruptions soulève des questions sur l'usurpation d'identité et la confiance qu'un chatbot textuel ne rencontre pas de la même manière.

Dorsey a fait référence au lancement sur le réseau social X, exprimant sa reconnaissance à l'équipe pour l'avancement réalisé. Block a annoncé que dans les prochains jours, il partagerait davantage d'enregistrements de conversations avec Dessa sur cette même plateforme.