Et si une intelligence artificielle pouvait apprendre à parler simplement en écoutant des conversations humaines ? C’est le pari de Block avec Dessa, un nouveau modèle vocal capable de dialoguer en temps réel, sans passer par le texte.
Jack Dorsey ne s’intéresse pas qu’aux paiements et aux cryptomonnaies. Le cofondateur de Twitter, désormais à la tête de Block, maison mère de Square et Cash App, vient de dévoiler Dessa, une intelligence artificielle vocale entraînée exclusivement à partir de conversations humaines.
Présentée le 23 octobre sur X, cette IA aurait appris à converser uniquement en écoutant des humains. Pas de transcriptions ni de textes pour l’entraîner et aucun modèle de langage préexistant. Dorsey n’hésite d’ailleurs pas à la présenter comme le modèle vocal full-duplex « le plus authentique jamais construit ».
Une IA qui écoute, parle et peut même vous couper la parole
La plupart des assistants vocaux traditionnels commencent par transcrire ce que vous dites, confient le texte à un modèle de langage, puis transforment sa réponse en parole. Une méthode efficace, mais qui peut faire disparaître une bonne partie des subtilités de la conversation comme l’ironie, les hésitations ou, encore, les émotions.
Dessa se passe entièrement de cette étape écrite. Elle traite directement les sons et génère une réponse vocale, tout en continuant d’écouter son interlocuteur.
C’est le principe du full-duplex, qui permet aux deux participants de parler simultanément, comme lors d’une conversation téléphonique. L’IA peut donc intervenir spontanément, glisser un petit « mh-mh » pour montrer qu’elle suit ou se laisser interrompre sans perdre le fil.
Block affirme également que son modèle sait reproduire les rires, les soupirs, le sarcasme et différentes émotions. Des capacités déjà explorées par d’autres laboratoires, notamment avec Moshi de Kyutai ou PersonaPlex de NVIDIA. La particularité revendiquée par Dessa tient surtout à son apprentissage exclusivement oral, là où ces projets reposent aussi sur des modèles entraînés à partir de texte.
Entraînée sur des GPU NVIDIA, mais capable de tourner sur un MacBook
L’autre surprise concerne les ressources nécessaires. Selon Block, Dessa a été entraînée sur un seul système NVIDIA GB200 NVL72, une baie équipée de 72 GPU Blackwell. Une configuration impressionnante, mais bien plus modeste que les gigantesques infrastructures utilisées pour entraîner les principaux modèles de langage.
Mieux encore, l’entreprise assure que son IA fonctionne localement, plus vite que le temps réel, sur un MacBook Pro équipé d’une puce M4 Max, ou sur une machine plus puissante.
Une perspective intéressante pour disposer demain d’assistants vocaux performants sans envoyer systématiquement ses conversations dans le cloud.
Mais impossible, pour l’instant, de vérifier ces performances. Block ne communique pas le nombre de paramètres de Dessa ni sa latence précise ni de résultats permettant de la comparer objectivement à ses concurrents.
Des conversations bluffantes, mais quelques ratés
Block a publié une vingtaine d’enregistrements pour donner un aperçu des capacités de son modèle. On y entend notamment Dessa réagir à une surprise d’anniversaire, discuter de cinéma ou échanger directement avec GPT-Live-1 d'OpenAI.
Les voix paraissent parfois étonnamment naturelles, avec des hésitations et des réactions qui donnent davantage de relief à la conversation. Mais les démonstrations révèlent aussi quelques approximations. Dans un échange, Dessa appelle son interlocuteur Ronaldo sans raison apparente. Dans un autre, elle passe d’une discussion sur Christopher Nolan aux films de Bryan Singer.
Pour le moment, Dessa reste inaccessible au grand public. Aucun téléchargement ni aucune API ou date de lancement n’ont été annoncés. Block propose seulement un accès anticipé à un petit groupe de chercheurs spécialisés dans la sécurité de l’IA afin d’identifier des risques encore non anticipés.
Source : Dessa via X
Un modèle vocal full-duplex peut écouter et parler en même temps, comme lors d’un appel téléphonique, au lieu d’alterner strictement écoute puis réponse. À l’inverse, beaucoup d’assistants fonctionnent en half-duplex : ils attendent la fin de la phrase avant de traiter et répondre. Le full-duplex permet des signaux conversationnels naturels (hésitations, acquiescements, interruptions, relances rapides) et réduit l’effet tour par tour artificiel. Techniquement, cela impose de gérer l’annulation d’écho, la détection de prise de parole et une latence très basse, sinon la conversation devient saccadée ou confuse.
Un système speech-to-speech end-to-end apprend à transformer directement un flux audio d’entrée en audio de sortie, sans étape intermédiaire de transcription (ASR) ni de génération en texte (LLM) suivie d’une synthèse (TTS). L’intérêt est de préserver des informations difficiles à capturer en texte : intonation, rythme, émotions, rires, soupirs ou sarcasme. En contrepartie, l’évaluation et le contrôle deviennent plus complexes, car il est moins évident d’inspecter ce que le modèle a compris sans représentation textuelle. Ces modèles peuvent aussi être plus sensibles aux biais présents dans la voix et au contexte sonore (bruit, accents, chevauchement de paroles).
Faire tourner un modèle en local signifie que le traitement se fait sur l’appareil, sans envoyer l’audio en continu vers un serveur distant. Cela réduit la latence (réponses plus immédiates) et limite l’exposition des conversations à des risques liés au cloud (collecte, fuites, accès tiers), même si cela ne remplace pas une vraie politique de confidentialité. La contrainte, c’est le budget de calcul et de mémoire : sur un laptop, il faut optimiser le modèle (quantification, streaming, batching limité) pour tenir en RAM/VRAM et rester plus vite que le temps réel. Enfin, les performances annoncées restent difficiles à vérifier sans chiffres standardisés (latence mesurée, consommation, qualité, robustesse) et sans protocole de benchmark comparable entre modèles.
