La lista dei migliori in meno di un secondo: scegliere il modello OpenAI giusto per la voce in tempo reale

Tre numeri della corsa

Cosa è stato misurato e come

Un singolo passaggio vocale non è un parametro di riferimento. È un insieme complesso, e il modello ne rappresenta una singola porzione. Questo benchmark isola tale porzione e la sottopone a stress simulando il traffico reale.

A ciascuno dei dodici modelli è stato assegnato lo stesso prompt generato dall'IA vocale e lo stesso budget di generazione. Cinque esecuzioni cronometrate per modello dopo un periodo di riscaldamento, seguite da una fase di avvio a freddo separata per evidenziare il comportamento di coda. Ove supportato, sono stati testati sia il livello predefinito che quello prioritario; laddove la priorità non era disponibile, la richiesta è stata reindirizzata al livello predefinito e la riga è stata contrassegnata di conseguenza.

Vengono riportati tre valori per ciascun modello: TTFT mediana (tempo al primo token utile), TOTALE mediana (richiesta all'ultimo token di una breve risposta vocale) e TOTALE p95 (la coda che il chiamante alla fine sentirà). I modelli di ragionamento (GPT-5.2 / 5.4 / 5.5) sono stati eseguiti con sforzo=nessuno . I modelli non razionali sono stati eseguiti a temp=0,2 .

Cinque corse per modello, riscaldate, instradamento prioritario

Ordinati in base alla latenza mediana totale. Questa è la condizione più favorevole possibile per ogni modello: connessione preriscaldata, coda prioritaria, output di breve durata del turno vocale. La forma di questa tabella mostra quali modelli appartengono al turno live e quali ad altre fasi della pipeline.

L'instradamento prioritario non garantisce un aumento uniforme della velocità.

La priorità viene venduta come un upgrade a prezzo fisso. I dati dicono il contrario. I maggiori miglioramenti si sono registrati sui modelli più piccoli e veloci, proprio quelli la cui latenza di base era già dominata dal tempo di attesa in coda, non dal calcolo. I modelli di ragionamento hanno guadagnato centinaia di millisecondi in termini assoluti, ma il loro limite minimo è determinato dal ragionamento, non dal routing.

Due modelli (GPT-4o Mini e GPT-5.2) hanno effettivamente ottenuto Più lentamente In questa prova, la priorità è stata del 22% e del 16% rispettivamente. Questo è un segnale forte per non dare per scontato che la priorità sia un miglioramento gratuito; valutatela con i vostri parametri e nel vostro orario di lavoro prima di assegnarle un percorso vocale di produzione.

La stessa gamma di prodotti, vista attraverso gli occhi di un acquirente.

La latenza determina se un modello può mantenere un turno. Il costo del token, la finestra di contesto e il cutoff di conoscenza determinano se puoi permetterti di mantenerlo al turno su larga scala, con la cronologia corretta e in base ai fatti corretti.

Scegliere in base al comportamento, non in base ai parametri di riferimento.

La latenza indica se un modello è in grado di comunicare. Non indica se il modello debba mantenere la superficie dell'utensile, orchestrare un flusso a più fasi o valutare la chiamata al termine della stessa. Ogni livello della suite OpenAI ha una funzione specifica; i soli tempi non permettono di stabilire quale.

Livello Nano: il più veloce in partenza, il migliore come cancello

GPT-4.1 Nano e GPT-5.4 Nano presentano i valori TTFT più bassi e traggono maggior vantaggio dal routing prioritario. In pratica, i modelli Nano sono meno coerenti nelle chiamate di strumenti concatenate: gli argomenti JSON a volte presentano delle discrepanze e le sequenze di chiamate multiple possono interrompersi tra un turno e l'altro. Sono eccellenti come classificatori di intenti, rilevatori di lingua o gate di confidenza di primo passaggio; è meglio non utilizzarli come modello che gestisce l'interfaccia dello strumento in un flusso vocale a più fasi.

Mini livello: abbastanza veloce, ideale per sotto-attività circoscritte

GPT-4.1 Mini e GPT-5.4 Mini sembrano ideali a prima vista: circa 700 ms totali, p95 inferiore al secondo, throughput dei token discreto. Il problema si presenta nelle conversazioni. Durante flussi vocali più lunghi, i mini possono perdere il filo del discorso, saltare le precondizioni nelle chiamate agli strumenti e riproporre domande a cui l'interlocutore ha già risposto. Sono ottimi per attività singole (riassumere, estrarre, classificare); non sono adatti per l'orchestrazione di conversazioni lunghe.

Livello di ragionamento: intelligente, accurato, migliore fuori dal percorso live

GPT-5.2, GPT-5.4 e GPT-5.5 si attestano tra 1,27 e 1,36 secondi sulla mediana totale, con picchi p95 superiori a 4 secondi sugli eventi di coda. Questi modelli consumano la maggior parte del budget di turni da soli, lasciando poco spazio per la finalizzazione, il recupero, la validazione e il TTS dell'ASR. Sono esattamente ciò che serve per l'analisi, la valutazione, l'assegnazione dei punteggi e la sintesi post-chiamata, ma non in tempo reale.

Livello modello completo: GPT-4.1 è la scelta per l'orchestrazione

In questa simulazione, GPT-40 registra il TTFT più basso, la mediana totale più bassa e il p95 più stretto. È anche il modello con le debolezze più documentate in termini di esecuzione delle istruzioni e allucinazioni. GPT-4.1 risulta circa 250 ms più lento, con un tempo totale di 783 ms e un p95 di 885 ms, e rappresenta un miglioramento sostanziale in termini di esecuzione delle istruzioni, disciplina nell'utilizzo degli strumenti e veridicità. Per un turno in tempo reale che deve comportarsi in modo affidabile, vale la pena pagare quel divario di latenza.

La risposta corretta è un portafoglio per turno

Mantenere un tempo di rotazione inferiore al secondo su OpenAI non deriva dalla scelta di un modello migliore; deriva dall'instradamento dell'intera gamma di OpenAI, un livello per ogni lavoro, per turno .

1. GPT-4.1 in tempo reale. Il orchestratore della conversazione. Selezione degli strumenti, formulazione degli argomenti e risposta orale.
2. Mini per assistenti specializzati. Sotto-attività circoscritte e da svolgere una sola volta: riassunto, estrazione, classificazione, definizione dell'intento.
3. GPT-4.1 per catene complesse. Quando un flusso deve coordinare più chiamate di strumenti e uno stato persistente tra i vari turni, la stessa disciplina nel seguire le istruzioni e nel chiamare gli strumenti genera interessi composti.
4. Ragionamento basato sul filo. Valutare le chiamate, arricchire le note del CRM, eseguire le valutazioni durante la notte. Mai nel budget di turno in tempo reale.

Il modello vocale giusto è un portfolio

Per le conversazioni dal vivo, GPT-4.1 è la scelta ideale: leggermente più lento di GPT-40, ma con un notevole miglioramento in termini di capacità di seguire le istruzioni e di simulare allucinazioni, proprio ciò di cui ha bisogno la voce in produzione. Per gli assistenti specializzati per interventi singoli, la versione mini è adatta. Per le sequenze complesse a più fasi, lo stesso GPT-4.1 a livello completo si occupa dell'orchestrazione. Per la valutazione in tempo reale, si utilizzano modelli di ragionamento.

La domanda "quale modello OpenAI è il migliore per il riconoscimento vocale?" è sbagliata. Quella giusta è "quale modello OpenAI è più adatto in questo caso?".