Blog

Sequentiediagram van één gespreksbeurt in Vocale: WebRTC-audio bereikt een LiveKit-server en -agent, Silero-spraakactiviteitsdetectie identificeert spraak, Faster-Whisper retourneert een transcript, de beurt wordt opgeslagen in PostgreSQL, de chatcontext gaat naar Qwen3-8B, aangeboden door vLLM, gestreamde tokens worden genormaliseerd en samengevoegd tot zinnen, XTTS-v2 zet deze om in audio, en de audio wordt teruggestuurd naar de beller.

AI

Wat we hebben geleerd bij het aansluiten van een lokale LLM op een telefoonlijn

Bij managed voice-AI wordt per minuut gefactureerd, dus een agent die goed presteert, zorgt voor een hogere factuur. Door Vocale zo te ontwikkelen dat het zowel op een gehoste API als op een eigen GPU kan draaien, hebben we vier dingen geleerd over wat er daadwerkelijk lastig wordt wanneer de modellen intern worden ingezet.