Blog

Diagramme de séquence d'un tour de parole dans Vocale : le flux audio WebRTC parvient à un serveur LiveKit et à un agent, la détection d’activité vocale Silero identifie la parole, Faster-Whisper renvoie une transcription, l’échange est enregistré dans PostgreSQL, le contexte de chat est transmis à Qwen3-8B hébergé par vLLM, les tokens transmis en continu sont normalisés et agrégés en phrases, XTTS-v2 les convertit en audio, et le flux audio est renvoyé à l'appelant.

IA

Ce que nous avons appris en connectant un LLM local à une ligne téléphonique

L'IA vocale gérée facture à la minute ; ainsi, plus un agent est performant, plus la facture est élevée. Le développement de Vocale pour qu'il fonctionne soit sur une API hébergée, soit sur un GPU privé nous a appris quatre choses sur les véritables difficultés rencontrées lorsque les modèles sont déployés en interne.