Blog

Diagramma di sequenza di un turno di conversazione in Vocale: l'audio WebRTC raggiunge un server LiveKit e un agente, il sistema di rilevamento dell'attività vocale Silero identifica il parlato, Faster-Whisper restituisce una trascrizione, il turno viene salvato su PostgreSQL, il contesto della chat viene inviato a Qwen3-8B gestito da vLLM, i token in streaming vengono normalizzati e aggregati in frasi, XTTS-v2 li riproduce come audio e l’audio viene restituito al chiamante.

IA

Cosa abbiamo imparato collegando un LLM locale a una linea telefonica

L'IA vocale gestita prevede una tariffazione al minuto, quindi il compenso per un agente che lavora si traduce in una fattura più alta. Sviluppare Vocale in modo che funzioni sia su un'API ospitata che su una GPU privata ci ha insegnato quattro cose su ciò che diventa davvero difficile quando i modelli vengono trasferiti in-house.