Blog

Sequenzdiagramm einer Gesprächsrunde in Vocale: WebRTC-Audio erreicht einen LiveKit-Server und einen Agenten, die Sprachaktivitätserkennung von Silero identifiziert Sprache, Faster-Whisper gibt eine Transkription zurück, der Gesprächsabschnitt wird in PostgreSQL gespeichert, der Chat-Kontext wird an Qwen3-8B weitergeleitet, das von vLLM bereitgestellt wird, gestreamte Token werden normalisiert und zu Sätzen zusammengefasst, XTTS-v2 rendert diese als Audio, und das Audio wird an den Anrufer zurückgesendet.

KI

Was wir beim Einrichten eines lokalen LLM über eine Telefonleitung gelernt haben

Bei Managed Voice AI erfolgt die Abrechnung minutengenau, sodass ein erfolgreicher Agent eine höhere Rechnung erhält. Bei der Entwicklung von Vocale, das entweder über eine gehostete API oder auf einer privaten GPU läuft, haben wir vier Dinge gelernt, was tatsächlich schwierig wird, wenn die Modelle intern betrieben werden.