Comment fonctionne un agent conversationnel vocal? STT, LLM, TTS et téléphonie expliqués
Un tour d'horizon en langage clair d'un appel téléphonique, de la voix de l'appelant à la réponse de l'agent : l'oreille, le cerveau, la bouche et la synchronisation, et pourquoi chaque composant devrait être interchangeable.
Lina Belmeddah dirige le marketing de Vatel chez Devpro à Montréal : marque, contenu et mise en marché pour les agents conversationnels IA d'entreprise. Elle transforme les déploiements réels en études de cas et récits produit utiles aux décideurs.
Chaque fois que vous appelez une entreprise et qu'un agent conversationnel vocal répond, trois choses se produisent en moins d'une seconde. D'abord, l'agent écoute. Un logiciel de reconnaissance vocale (STT, pour speech-to-text) transcrit ce que vous dites, mot pour mot. Ensuite, il réfléchit. Un grand modèle de langage (LLM) lit ces mots, comprend ce dont vous avez besoin et choisit une réponse. C'est le même type d'IA que celle derrière ChatGPT. Enfin, il répond. Un logiciel de synthèse vocale (TTS, pour text-to-speech) transforme cette réponse en une voix naturelle. Puis la boucle recommence avec votre phrase suivante.
La STT, les LLM et les voix de synthèse existent chacun depuis des années. Le défi, c'est de les enchaîner assez vite pour une vraie conversation téléphonique. Chaque étape doit commencer avant que la précédente soit terminée. L'agent doit aussi savoir quand vous avez fini de parler, et quand se taire si vous l'interrompez. Voyons chaque morceau.
Comment fonctionne un agent conversationnel? L'oreille, le cerveau et la bouche
Un agent conversationnel vocal répond aux appels ou en passe au nom d'une entreprise. Il comprend ce dont l'appelant a besoin et passe à l'action, par exemple en réservant un rendez-vous ou en mettant à jour un dossier client.
Imaginez une personne au téléphone, avec une oreille pour écouter (STT), un cerveau pour réfléchir et décider (LLM) et une bouche pour répondre (TTS). Une ligne téléphonique relie l'appelant à l'agent, et une couche de synchronisation décide quand il prend la parole. Cette boucle se répète des dizaines de fois au cours d'un même appel.
Remarquez que seul le cerveau interagit avec les outils de l'entreprise, comme son calendrier ou sa base de données clients. La couche de synchronisation, elle, surveille toute la boucle.
Comment votre appel se rend-il jusqu'à l'agent?
Quand vous composez le numéro, votre appel passe par le réseau téléphonique habituel, comme n'importe quel autre appel. Du côté de l'entreprise, il rejoint l'agent de l'une de deux façons, soit par une connexion téléphonique Internet (souvent appelée SIP), soit par un renvoi d'appel à partir du numéro ou du système téléphonique existant de l'entreprise. Votre voix voyage ensuite en minuscules paquets audio, chacun d'une fraction de seconde, dans les deux sens.
Vatel se connecte par liaison SIP ou par renvoi d'appel, ce qui vous permet de garder vos numéros et votre fournisseur de téléphonie actuels. La solution fonctionne avec des systèmes téléphoniques comme 3CX, Yeastar, Asterisk, Cisco Webex et Microsoft Teams.
Quelqu'un parle-t-il?
Avant de chercher à comprendre quoi que ce soit, l'agent doit savoir si vous êtes réellement en train de parler. Un petit modèle rapide écoute l'audio entrant plusieurs fois par seconde et le classe en parole, silence ou bruit de fond. Seule la parole passe à l'étape suivante.
Cette vérification compte plus qu'on pourrait le croire. C'est aussi le premier indice qui permet à l'agent de savoir que vous avez cessé de parler. S'il est trop sensible, l'agent vous coupe au milieu d'une phrase. S'il ne l'est pas assez, vous restez à attendre.
L'oreille transforme votre voix en texte
Vient ensuite la STT. Son rôle est simple à décrire. Elle écrit ce que vous dites. Ce qui impressionne, c'est qu'elle le fait pendant que vous parlez encore. Elle fait une première hypothèse après quelques mots, puis se corrige à mesure que la suite de votre phrase arrive. Ainsi, le reste du système peut commencer à se préparer avant même que vous ayez terminé.
C'est aussi là que bien des choses peuvent mal tourner. Les accents, le bruit ambiant, les noms peu courants et les numéros de téléphone mettent tous l'oreille à l'épreuve. Si elle entend mal, le cerveau répondra à la mauvaise question, aussi intelligent soit-il.
Le cerveau comprend et décide
Le cerveau, c'est le LLM. Il lit ce que l'oreille a transcrit, ainsi que tout ce qui s'est dit depuis le début de l'appel et les instructions fournies par l'entreprise. À partir de là, il comprend ce que vous voulez, repère les détails importants (votre nom, une date, un numéro de dossier) et décide quoi dire ensuite.
Le cerveau peut aussi agir. En plein appel, il peut consulter un calendrier, retrouver votre fiche dans le système client de l'entreprise ou ouvrir une demande de soutien. Les agents de Vatel se connectent à des outils comme Salesforce, HubSpot, Freshdesk et Stripe, ainsi qu'à plus de 35 autres applications. Pour respecter les règles de l'entreprise, comme les heures d'ouverture ou une politique d'annulation, un agent d'entreprise suit généralement un scénario d'appel défini plutôt qu'une longue liste d'instructions.
Chez Vatel, ce scénario d'appel est conçu dans un éditeur visuel. Chaque étape de l'appel, comme parler, bifurquer selon ce que veut l'appelant, noter un renseignement ou transférer l'appel à un humain, est une case sur une carte. L'agent ne peut donc pas sortir du scénario.
La bouche donne une voix à la réponse
Une fois la réponse prête, la TTS la transforme en paroles. Voici l'astuce. La bouche n'attend pas la réponse complète. Dès que les premiers mots sont prêts, elle commence à parler pendant que le cerveau rédige la suite. Ce chevauchement explique en grande partie pourquoi la réponse semble si rapide.
La voix elle-même est aussi un choix. Une entreprise peut choisir le ton, le genre, la langue et l'accent qui conviennent à sa marque et à sa clientèle.
Chez Vatel, cela inclut des voix en français québécois, pour que les appelants francophones entendent un accent qui leur est familier.
La synchronisation dit à l'agent quand parler et quand écouter
Autour de l'oreille, du cerveau et de la bouche se trouve une couche de coordination qui décide qui parle et à quel moment. Voyez-la comme le savoir-vivre de l'agent. Elle gère deux situations délicates qui peuvent faire réussir ou échouer un appel.
- Savoir quand vous avez terminé. Si vous dites « Attendez, je cherche mon numéro… » et que vous faites une pause, vous n'avez pas fini. Une simple minuterie vous couperait la parole ou laisserait un silence gênant. Un bon agent évalue si vous avez vraiment terminé votre idée.
- Gérer les interruptions. Si vous parlez par-dessus l'agent, il doit s'arrêter presque instantanément, vous écouter et se souvenir où en était la conversation.
Les agents de Vatel font les deux. Ils attendent que vous ayez vraiment terminé, et ils s'arrêtent dès que vous les interrompez.
Une phrase, du début à la fin
Suivons une seule phrase à travers toute la boucle. Disons que vous appelez et dites à l'agent « Bonjour, j'aimerais déplacer mon rendez-vous à jeudi. »
- Pendant que vous parlez, l'oreille écrit déjà « Bonjour, j'aimerais déplacer mon… ». Un instant plus tard, elle a la phrase complète.
- Quand vous vous arrêtez après « jeudi », la couche de synchronisation conclut que vous avez terminé, et non que vous faites une simple pause.
- Le cerveau comprend ce que vous voulez (changer de rendez-vous), note le détail clé (jeudi), consulte le calendrier et trouve deux plages libres.
- La bouche commence par « Bien sûr, je peux le déplacer à jeudi » pendant que le cerveau prépare la suite, « J'ai 10 h ou 14 h. Qu'est-ce qui vous convient le mieux? »
- Si vous l'interrompez avec « 14 h, c'est parfait », l'agent arrête de parler, écoute, réserve la plage et confirme.
De votre côté du téléphone, on dirait simplement une conversation fluide avec une réceptionniste.
À quelle vitesse un agent conversationnel doit-il répondre?
Très vite. Un agent vocal devrait commencer à répondre en bien moins d'une seconde. Pensez à vos propres conversations. Vous répondez habituellement en quelques centaines de millisecondes. Une étude portant sur des conversations dans 10 langues a montré que la pause moyenne entre deux tours de parole ne varie que d'environ 250 millisecondes d'une culture à l'autre (Stivers et al., PNAS, 2009). Au téléphone, tout délai plus long ressemble à de l'hésitation, et les appelants se répètent ou parlent par-dessus l'agent.
Alors, où passe le temps? Étonnamment, pas surtout dans l'oreille ou la bouche, qui sont rapides. La majeure partie du délai vient de deux moments, décider que vous avez vraiment fini de parler et attendre que le cerveau trouve ses premiers mots. C'est là qu'un agent bien conçu gagne le plus de temps. Le fait que les étapes se chevauchent au lieu de s'attendre aide aussi.
| Étape | Où va le temps | Part du délai | Comment on le réduit |
|---|---|---|---|
| Fin du tour de parole | Décider que l'appelant a terminé | Grande | Un modèle qui prédit la fin d'une phrase, pas une minuterie fixe |
| Le cerveau | Produire les premiers mots de la réponse | Grande | Des modèles rapides et des instructions courtes et structurées |
| Ligne téléphonique | L'audio qui voyage vers l'agent et revient | Petite | Des serveurs près des appelants |
| L'oreille | Transcrire les derniers mots | Petite | La transcription en continu, puisque la majeure partie de la phrase est déjà transcrite |
| La bouche | Produire la première seconde d'audio | Petite | Commencer à parler avant que la réponse complète soit rédigée |
Les agents de Vatel répondent généralement en environ 600 millisecondes.
Quand le cerveau doit chercher une information dans un système lent, un bon agent comble le silence comme le ferait une personne (« Je regarde votre dossier ») plutôt que de vous laisser sans réponse.
Quelle est la différence entre un agent conversationnel, un assistant vocal et un SVI?
On les confond souvent, alors mettons les choses au clair. Un agent conversationnel vocal tient une vraie conversation sur la ligne téléphonique d'une entreprise et accomplit des tâches pour elle. Un assistant vocal, comme Siri ou Alexa, aide une seule personne sur son propre téléphone ou haut-parleur. Un SVI (serveur vocal interactif) est le menu téléphonique classique dans lequel vous êtes sûrement déjà resté coincé (« Pour le service des ventes, faites le 1 »). Il oriente les appels, mais ne peut pas tenir une conversation.
| Agent conversationnel vocal | Assistant vocal (Siri, Alexa) | Menu SVI | |
|---|---|---|---|
| Qui il sert | Les appelants d'une entreprise | Une personne, sur son appareil | Les appelants d'une entreprise |
| Comment on interagit | Conversation naturelle | Courtes commandes vocales | Clavier ou phrases prédéfinies |
| Peut-il accomplir une tâche | Oui, dans les systèmes de l'entreprise | Tâches personnelles (minuteries, musique) | Achemine l'appel, rarement plus |
| Gère les questions imprévues | Oui | En partie | Non |
| Disponible 24 h sur 24, 7 jours sur 7 | Oui | Oui | Oui |
Pourquoi chaque composant devrait-il être interchangeable?
Voici une chose que peu de gens savent. L'oreille, le cerveau et la bouche sont généralement trois technologies distinctes, souvent conçues par trois entreprises différentes. Chacune s'améliore tous les quelques mois, et pas au même rythme. La meilleure oreille pour le français québécois n'est pas toujours la meilleure pour l'anglais, et un cerveau plus rapide pourrait sortir le trimestre prochain.
Si votre plateforme verrouille les trois ensemble, vous devez vivre avec ses choix. Avec une architecture modulaire, vous pouvez améliorer un composant sans reconstruire tout l'agent, qu'il s'agisse d'une meilleure voix française, d'un modèle moins coûteux ou d'une transcription plus précise. Remplacer un composant, c'est la partie facile. La partie difficile, c'est de s'assurer que la synchronisation, les interruptions et les transferts fonctionnent toujours ensuite. Vatel se connecte à plusieurs fournisseurs pour chaque couche, comme Deepgram et Speechmatics pour la STT, Google et Anthropic pour le LLM, et ElevenLabs ou Cartesia pour la voix. L'équipe de Vatel s'occupe des deux parties pour vous.
Vous voulez aller plus loin? Comparez les plateformes ouvertes et tout-en-un, puis voyez comment choisir STT, TTS et LLM.
Où vont les données d'appel à chaque étape?
Chaque étape de la boucle traite des renseignements sur l'appelant, de l'audio sur la ligne téléphonique à la transcription dans l'oreille, de la conversation dans le cerveau jusqu'à l'enregistrement une fois l'appel terminé. Si chaque étape est gérée par un fournisseur différent, ces renseignements peuvent être traités à plusieurs endroits, parfois dans plusieurs pays.
Pour une entreprise canadienne, il vaut donc la peine de se poser deux questions plutôt qu'une. Où les données sont-elles stockées, et où sont-elles traitées pendant l'appel? Vatel respecte entièrement la Loi 25 du Québec et peut configurer votre agent pour que l'hébergement, la STT, le LLM et la voix fonctionnent tous au Canada. Sa certification SOC 2 Type II est en cours.
Un agent conversationnel peut-il parler plus d'une langue?
Au Canada, bien des appelants commencent en français et passent à l'anglais, ou l'inverse. Pour que tout se passe bien, l'oreille doit comprendre les deux langues et les accents locaux, et la bouche doit répondre dans la bonne langue, avec une voix naturelle.
Les agents de Vatel sont multilingues. Ils détectent la langue de l'appelant, changent de langue en cours d'appel quand l'appelant le fait et comprennent l'accent québécois.
Idées reçues sur les agents conversationnels
Bien des malentendus viennent du fait qu'on juge un agent vocal comme un robot conversationnel écrit ou un enregistrement. Au téléphone, la rapidité et le moment de chaque réponse comptent plus que tout. Voici quatre idées reçues à corriger.
- « Ce n'est que trois outils branchés ensemble. » L'oreille, le cerveau et la bouche s'achètent tout faits. Les faire fonctionner ensemble en temps réel, avec une bonne synchronisation, des interruptions fluides et des transferts sans accroc, voilà le vrai travail.
- « Un plus gros modèle d'IA donne un meilleur agent. » Au téléphone, la rapidité des premiers mots compte plus que la puissance brute. Un modèle rapide avec des instructions claires surpasse généralement un modèle plus gros et plus lent.
- « La voix est la partie la plus difficile. » Les voix de synthèse actuelles sont très naturelles. Ce qui trahit un agent, c'est le rythme, comme de longs silences ou le fait de vous couper la parole.
- « Il faudrait entraîner notre propre modèle d'IA. » Rarement. Un agent se personnalise grâce à son scénario d'appel, aux renseignements de votre entreprise et à ses connexions à vos systèmes, pas en entraînant un nouveau modèle à partir de zéro.
Quelles questions poser avant de choisir un fournisseur d'agent conversationnel?
Une démo bien rodée ne vous en dit pas beaucoup. Ces huit questions vous montreront comment un agent se comporte avec de vrais appelants.
- Puis-je entendre un vrai appel, et non une démo scénarisée?
- Quel est le temps de réponse médian sur une vraie ligne téléphonique?
- Quels STT, LLM et voix utilisez-vous, et peut-on les changer?
- Où l'audio, les transcriptions et les enregistrements sont-ils traités et stockés?
- Que se passe-t-il quand un appelant interrompt l'agent?
- Comment l'agent transfère-t-il un appel à un humain avec tout le contexte?
- À quels systèmes peut-il se connecter, comme notre système téléphonique, notre CRM ou notre calendrier?
- Qui crée et met à jour les scénarios d'appel à mesure que nos besoins évoluent?
Vous voulez entendre l'oreille, le cerveau et la bouche gérer vos propres appels? Réservez une démo
FAQ
Qu'est-ce qu'un agent conversationnel vocal?
Un agent conversationnel vocal est un logiciel capable de tenir une conversation parlée en temps réel. Il écoute grâce à la reconnaissance vocale, réfléchit grâce à un modèle de langage et répond grâce à la synthèse vocale. Sur la ligne téléphonique d'une entreprise, il peut répondre aux appels, comprendre ce dont les appelants ont besoin et accomplir des tâches.
Un agent conversationnel vocal, est-ce la même chose qu'un chatbot?
Pas tout à fait. Un chatbot fonctionne à l'écrit, sur un site Web ou dans une application. Un agent conversationnel vocal fonctionne au téléphone. Il ajoute une oreille pour comprendre la parole et une bouche pour répondre à voix haute, avec le même type de cerveau entre les deux.
La synthèse vocale, est-ce de l'IA générative?
Oui, la synthèse vocale moderne relève de l'IA générative. Au lieu d'assembler des sons préenregistrés, elle crée une nouvelle parole à partir du texte. C'est pourquoi les voix d'IA actuelles sonnent naturelles, avec un vrai rythme et une vraie intonation.
Un agent conversationnel peut-il comprendre les accents et le français?
Oui, à condition de choisir l'oreille en fonction des langues des appelants. Certains modèles de STT gèrent beaucoup mieux le français québécois que d'autres, une raison de plus de garder chaque composant interchangeable.
Les appelants savent-ils qu'ils parlent à une IA?
Ils devraient. Le dire dès le début de l'appel inspire confiance, et des lois sur la protection des renseignements personnels comme la Loi 25 du Québec encadrent la transparence et l'enregistrement des appels.
Les agents de Vatel indiquent aux appelants qu'ils parlent à une IA dès le début de l'appel.
Un agent conversationnel peut-il transférer un appel à un humain?
Oui. Un agent bien conçu sait quand passer le relais, transfère l'appel et transmet ce que vous avez déjà dit, pour que vous n'ayez pas à vous répéter.
Chez Vatel, le transfert à un humain est une étape intégrée au scénario d'appel.
Que se passe-t-il quand l'agent ne connaît pas la réponse?
Il devrait le dire et proposer une suite, comme vous transférer ou planifier un rappel, plutôt que d'improviser. Des règles claires dans le scénario d'appel empêchent le cerveau d'inventer des réponses.
