Answers the phone
Connects to the Yeastar or SIP system the business already runs, so calls reach the agent on the numbers customers have always dialled.
Caso di studio sull'agente vocale basato sull'intelligenza artificiale
Vocale
Un operatore che risponde alla linea telefonica di un'azienda, trova la risposta nei documenti della stessa azienda e apre il ticket di assistenza prima ancora che il chiamante abbia riattaccato — utilizzando i numeri già in loro possesso e, se lo desiderano, sul proprio hardware.
- Settore industrialeInbound support and telephony
- UtentiSupport teams on a Yeastar or SIP PBX
- CoperturaEvery call, around the clock
- ServiziProduct Design, Development, AI
Panoramica
Vocale integra un agente basato sull’intelligenza artificiale nella linea telefonica già in uso presso un’azienda. Il cliente compone il numero che ha sempre chiamato; l’agente risponde al primo squillo, parla la sua lingua, fornisce risposte basate sui manuali e sulle politiche aziendali e, quando la risposta è in realtà «qualcuno deve occuparsene», apre un ticket di assistenza con i dettagli già raccolti.
Il sistema telefonico rimane invariato. L’azienda mantiene il proprio provider, i propri numeri e il proprio piano tariffario; una piattaforma Yeastar o SIP compatibile viene collegata una sola volta tramite un modulo, e il trunk e l’instradamento delle chiamate vengono configurati a livello di piattaforma. A questo punto, il lavoro consiste nel caricare i documenti che l’operatore deve conoscere, scrivere le poche frasi che ne definiscono lo stile e testarlo in un browser finché non suona corretto — il tutto prima che gli venga inoltrata una sola chiamata reale.
Video
- Next.js 16
- TypeScript
- Tailwind CSS
- Supabase
- PostgreSQL
- LiveKit
- WebRTC
- SIP telephony
- OpenAI gpt-realtime
- Python
- FastAPI
- Redis
- Pinecone
- Docker
- Next.js 16
- TypeScript
- Tailwind CSS
- Supabase
- PostgreSQL
- LiveKit
- WebRTC
- SIP telephony
- OpenAI gpt-realtime
- Python
- FastAPI
- Redis
- Pinecone
- Docker
Key capabilities
Grounded in your documents
Manuals, policies and price lists are uploaded, indexed and searched at the moment of the question so the answer comes from the business's own material rather than the model's memory.
Opens tickets mid-call
When a caller needs a person, the agent gathers the subject, the contact and the urgency while it still has them on the line, then files the ticket itself.
Knows who is calling
An existing customer database connects read-only, so an inbound number is matched to an account before the agent says a word.
Two engines, one product
The same agent runs on a hosted model API or entirely on a private GPU. The business picks on cost and on where its data is allowed to go.
L'efficacia di una linea di assistenza dipende esclusivamente dalle persone che rispondono, e le domande che arrivano sono quasi sempre le stesse: quali sono gli orari di apertura, questo servizio è coperto, come si fa a resettarlo? Le risposte sono già scritte — in un manuale, in una politica aziendale, in un listino prezzi — ma non si trovano in un posto accessibile a chi chiama né a un operatore mentre qualcuno è in attesa. Mettere un'intelligenza artificiale in linea risolve la metà del problema della disponibilità. Noleggiarne una al minuto sostituisce silenziosamente il problema con uno di costi, perché meglio funziona, più viene utilizzata e più aumenta il costo mensile.
Chiamate al di fuori dell'orario di ufficio
La sera, nei fine settimana e nei giorni festivi le chiamate vengono deviate alla segreteria telefonica — e ciò che finisce lì sono per lo più richieste di routine che una persona avrebbe risolto in un minuto.
Risposte a cui nessuno può arrivare
Le informazioni sono contenute nei documenti, ma non in un formato che possa essere consultato mentre un chiamante è in attesa in linea.
Tariffa al minuto
Le piattaforme di IA vocale gestite prevedono una tariffa al minuto di chiamata, quindi il costo aumenta con l’aumentare dell’utilizzo: un incentivo sbagliato per attivare una linea di assistenza.
Vocale si colloca tra il sistema telefonico di un’azienda e il suo patrimonio di conoscenze. Il PBX si collega tramite un modulo e l’instradamento viene configurato a monte. I documenti vengono caricati e indicizzati. Il comportamento dell’agente viene impostato in linguaggio semplice anziché in codice, e l’intero processo può essere simulato in un browser prima che arrivi una chiamata reale. Una volta in funzione, tutte le sue azioni vengono registrate — la trascrizione, le ricerche effettuate, i ticket aperti — in modo che il team possa valutare se sta svolgendo correttamente il proprio lavoro prima di affidargli ulteriori incarichi.
Si collega al centralino, non lo aggira
Yeastar e i sistemi SIP compatibili si registrano tramite un modulo, e l'azienda mantiene il proprio provider, i propri numeri e il proprio piano tariffario.
Recupero prima che parli
Una domanda che richiede un dato di fatto avvia una ricerca tra i documenti indicizzati, e la risposta viene elaborata sulla base dei risultati ottenuti — anche l’assenza di risultati costituisce una risposta che l’agente è autorizzato a fornire.
In hosting o self-hosted, il comportamento è lo stesso
Il parlato, il linguaggio e la voce vengono eseguiti tramite un’API di terze parti o su una GPU privata. Il passaggio da una soluzione all’altra richiede solo una configurazione, non una ricompilazione.
UX researchFeb–Mar
MVPApr–Jul
OperationAug–Sep
DiscoveryFeb
ArchitectureMar
UI designApr–May
Backend and local AIMay–Jul
TestingJul–Aug
OperationAug–Sep
Provalo prima che lo faccia un cliente
A sandbox that runs the whole pipeline in the browser. Pick a caller, start the call, and the transcript arrives live beside it as the agent hears and answers. Every session it has ever handled, browser or phone, inbound or outbound, is one click away in the rail on the left.
I documenti a cui fa riferimento
Files are dropped straight onto the page, then parsed, split and indexed. Each row reports how many pages went in and how many searchable pieces came out, so it is obvious at a glance when a document is ready to be quoted on a call and when it is still being worked on.
Ciò a cui non è riuscita a rispondere diventa un ticket
The agent collects the subject, the customer and the urgency while the caller is still on the line and files the ticket itself, transcript attached. Support opens the queue to a list of real problems in the caller's own words instead of a column of missed calls.
Sa chi sta chiamando
An existing customer database connects read-only, with a mapping step for whichever columns hold the name and the number. From then on an inbound call is matched against it before the agent speaks, and the records stay where they are. Vocale reads them; it does not become the place they live.
Numeri assegnati dalla console
Telephony is the one part a business should not have to get right alone, so provisioning is an operator job rather than a self-service form. Each number is registered, pointed at an organisation, and switched on from here, which doubles as the fastest way to see which tenants are actually taking calls.
Quanto costa ogni minuto
Spend is metered the way the models bill it: caller speech, agent speech, and replayed history, broken out per model and per organisation. It is what turns the choice between a hosted API and a private GPU into a decision with a number attached rather than an argument.
Ciò che conta in una linea di assistenza non è la precisione in astratto, ma se la chiamata ha ricevuto risposta e se la risposta era corretta. Vocale risponde a tutte le chiamate, a qualsiasi ora, nella lingua del chiamante, e lascia una trascrizione in modo che la seconda domanda possa essere chiarita. Il costo indicato di seguito corrisponde a quanto addebitato dalla piattaforma sul piano in hosting per un mese di chiamate effettive; il piano self-hosted trasferisce tale costo sull’hardware già pagato dall’azienda, e la tariffa al minuto smette del tutto di variare.
- 24/7
- Copertura delle chiamate, senza turni prestabiliti né liste d'attesa
- $0.06
- Costo a minuto per chiamata, piano in hosting
- 6
- Lingue in cui è possibile impostare l'agente
- 2
- Modalità di esecuzione: API ospitata o GPU privata
User goal
- Caller dials in
- The agent answers
- Looks up the customer
- Searches the documents
- Opens a support ticket
- Emails it
Interface & channels
- Yeastar PBXPhone calls, bridged into LiveKit over SIP
- livekit-clientVoice testing in the browser
- NodemailerTicket emails, sent over SMTP
- User and admin portals
- Next.js 16
- React 19.2
- React Compiler
- TypeScript 5
- Tailwind CSS v4
- shadcn/ui
- Radix UI
- Framer Motion
- TanStack Query v5
- React Hook Form
- Zod v4
- EN / IT
- next-themes
- sonner
- cmdk
- lucide
- react-pdf
- md-editor
- lamejs
- pnpm
Planning & orchestration
- LiveKit Agents 1.6The agent worker behind every call
- Ticket flowA state machine of our own, from first question to sent ticket
- PydanticTyped orchestration models
- Silero VADTurn-taking, with LiveKit's turn detector
- Session gateCall caps per organisation and across the system
- StreamlitA scenario lab, for testing only
Memory & context
- RedisShort-term memory: a sliding window of the last 15 turns
- SupabaseLong-term memory: every turn of every conversation
- Tenant presetsConfiguration and presets for each organisation
- RAG plane
- Supabase StorageThe source documents
- pymupdf4llmPDF to Markdown
- ChunkerSplit on headers, then about 500 tokens with 50 overlapping
- multilingual-e5-largeEmbeddings, through Pinecone Inference
- PineconeA serverless vector index
- bge-reranker-v2-m3Reranks to the best 5, above a 0.20 threshold
- RedisIndexing jobs and their progress
- FastAPIThe retrieval API, served by Uvicorn
Models
- gpt-realtime-2.1Speech to speech: listening, reasoning and speaking in one model
- gpt-realtime-2.1-miniThe lighter realtime model
- gpt-4o-mini-transcribeTranscripts of what the caller said
- Legacy GPU pipeline, kept for rollback
- faster-whisperSpeech to text
- vLLMServing Qwen2.5-VL-7B-AWQ
- Piper and Kokoro-82MText to speech
Tools & actions
Functions the agent calls while the caller is still on the line.
- search_knowledge_baseAnswers from the documents, through RAG
- lookup_customer_detailsFinds the caller in the customer's own MySQL
- search_customer_identityConfirms who is calling
- Ticket toolsCreate, update and submit the ticket
- update_ticket_draftKeeps the draft and the contact details current
- end_callEnds the call cleanly
- Call recordingPCM to WAV, with FFmpeg
State & data
- PostgreSQL 17.6Supabase, self-hosted in Docker, across 47 migrations
- SupabaseAuth, and storage for documents and recordings
- KongThe API gateway, with Supabase Studio
- Redis 7Three instances: LiveKit, agent memory and RAG jobs
- PineconeThe vectors
- MySQLEach customer's own database, outside the system
- Customer Data PlaneFastAPI, with a pooled PyMySQL connection to each customer
Observability, safety & evals
- Cost meteringCost per call and per organisation, from usage and model pricing
- Resilience metricsSelf-repeats, talk-over, false barge-ins and latency
- Admin dashboardsMonitor, agent state, agent activity and database logs
- journaldFile logs, with systemd alerts on failure
- pytest26 test modules, a replay harness, and a transcript judge across 5 regression classes
- Call scenariosWritten in YAML, and replayed against the agent
- Agent safetyA leaked-reasoning detector, privacy and email read-back rules, an inactivity watchdog
Security
- NextAuth v5Credentials sign-in, bcrypt hashes, a 24-hour JWT in a secure cookie, email verification
- Access controlRoute guards, admin authorisation, and row-level security on Supabase
- AES-256-GCMCustomer database passwords encrypted at rest, readable from Node and Python
- Service keysAPI keys between services, and a secret for scheduled jobs
- Rate limitingOn every sign-in route
- Security headersCSP, HSTS with preload, no framing, and the microphone for this site only
- Private networkThe calling stack reachable only over VPN, and an allowlist on the SIP trunk
- WireGuardOne outbound IP for customers to allow into their MySQL
Deployment
- Ubuntu 24.04One self-hosted server, behind the VPN
- NGINXTLS, and one domain for both portals and Supabase
- systemdBoth portals, the agent worker, and a ticket email timer every 2 minutes
- Docker ComposeSupabase, LiveKit and SIP, RAG and customer data, on one shared network
- supervisordThe media plane container
- Vast.aiThe GPU box from the vLLM era
Cosa può fare un'azienda dalla dashboard
Sette aree accessibili con un unico login. La telefonia e la gestione delle informazioni vengono configurate una volta sola; le operazioni, la gestione dei ticket e i dati dei clienti sono le attività quotidiane. Anatomia di un singolo turno di parola
Input vocale, output vocale, in un unico passaggio — con entrambe le parti trascritte in tempo reale. Nel piano self-hosted, ogni modulo all’interno dell’agente è un modello che gira sulla GPU dell’azienda stessa.
Essere interrotti a metà frase
Solution: I chiamanti interrompono la risposta non appena l’hanno compresa, e un operatore che continua a parlare sembra confuso. Il rilevamento dell’attività vocale interrompe l’audio in uscita non appena il chiamante parla, quindi trunca la trascrizione dell’operatore limitandola a ciò che è stato effettivamente udito — in questo modo la conversazione prosegue sulla base della chiamata vissuta dal chiamante, anziché su quella che il sistema aveva pianificato.
Silenzio mentre riflette
Solution: La ricerca nei documenti richiede un tempo tale da sembrare una chiamata interrotta. L’operatore inserisce una breve pausa naturale dopo mezzo secondo e la interrompe se la ricerca restituisce il risultato per prima, il che concede il tempo necessario al recupero dei dati senza che si crei alcun momento di silenzio imbarazzante.
Testo che non viene letto ad alta voce
Solution: Ciò che è scritto per lo schermo non è scritto per la voce: importi in valuta, date espresse in cifre, acronimi. Un livello di normalizzazione riscrive importi, date, orari e abbreviazioni nella loro forma parlata, a seconda della lingua, prima ancora che raggiungano il modello vocale.
Una GPU, diverse conversazioni
Solution: Una sessione vocale in tempo reale mantiene i propri modelli nella memoria video, quindi la capacità è limitata dalla VRAM piuttosto che dalla potenza di calcolo pura. Le sessioni vengono assegnate per scheda e il carico di lavoro viene distribuito esplicitamente tra le schede: se si lascia il pooling predefinito, le attività relative al parlato e al linguaggio finiscono sulla stessa GPU e si ostacolano a vicenda.
Domande
No. Vocale si collega al sistema telefonico che già utilizzi — Yeastar e piattaforme SIP compatibili — e le chiamate continuano ad arrivare sui numeri che i tuoi clienti già possiedono. La connessione viene configurata una sola volta dalla dashboard, dopodiché vengono configurati il trunk e l'instradamento.
Come preferisci. L’agente può funzionare su un’API in modalità hosted, che rappresenta il modo più veloce per iniziare, oppure interamente su una GPU sotto il tuo controllo, in modo che nessun file audio, trascrizione o documento esca dalla tua infrastruttura. Si tratta di una scelta di configurazione che non modifica le funzionalità dell’agente.
Risponde attingendo dai tuoi documenti piuttosto che dalla memoria. Una domanda che richiede un dato di fatto attiva una ricerca tra tutto ciò che hai caricato e la risposta viene costruita sulla base dei brani individuati. Quando non viene trovato nulla di pertinente, la risposta corretta — ed è quella che fornisce — è segnalare l’assenza di risultati e proporre di aprire un ticket.
La chiamata viene trasferita. L’operatore raccoglie le informazioni relative all’oggetto, al contatto e alla priorità mentre il chiamante è ancora in linea, crea un ticket nella tua coda e allega la trascrizione — in modo che chiunque si occupi della pratica possa partire da ciò che è stato effettivamente detto, anziché da una semplice richiesta di richiamata.
Si perdono le chiamate dopo le cinque?
Mettiamo un operatore in linea con te.