La industria está obsesionada con los estándares de precisión. En la atención telefónica profesional, el tiempo que determina si una persona que llama confía en tu IA se mide en milisegundos.
Los tres umbrales que deciden la confianza en la línea
La precisión se evalúa según un valor de referencia. La presencia se evalúa en milisegundos. Si se superan los umbrales incorrectos, no importa cuán correcta sea la respuesta. La persona que llama ya ha emitido un juicio.
Intervalo promedio entre turnos de hablantes humanos en diferentes idiomas.
Límite máximo de latencia de extremo a extremo antes de que los usuarios dejen de confiar en la IA.
El umbral del silencio donde los oyentes leen ausencia, no pensamiento.
Cómo los humanos realmente toman turnos
Quienes llaman no están evaluando tu tasa de errores al hablar. Están evaluando tu presencia, y lo hacen en el primer segundo.
El análisis de conversaciones en diferentes idiomas sitúa la pausa promedio entre turnos de hablantes humanos en alrededor de 200 milisegundos El percentil 90 se sitúa aproximadamente en 500 ms. Si el silencio dura más de 700 ms, el oyente lo interpreta como una de tres cosas: confusión, desacuerdo o ausencia.
Una espera de 900 ms para la primera respuesta genera incertidumbre en cada frase posterior, independientemente de su corrección. Un tiempo de respuesta inferior a 500 ms indica competencia mucho antes de que se transmita el contenido.
“La precisión que no se puede oír no existe. Si la persona que llama ya ha colgado, tu puntuación F1 del 99 % es un error de redondeo.”
La latencia es un problema del sistema, no un problema del modelo.
La latencia de voz de extremo a extremo es una pila de facturas que nadie quiere pagar por completo. Si las sumas ingenuamente, superarás la barrera de los tres segundos antes del desayuno.
- Captura y códec: 40–150 ms. El audio se recibe desde la red telefónica pública conmutada (PSTN), a través del códec, y se integra en la pila de protocolos.
- Reconocimiento de voz: 150–350 ms. Procesamiento de parciales en tiempo real, más la sobrecarga de finalización.
- Recuperación: 50–400 ms. Almacén vectorial, BM25 o saltos de grafo de conocimiento.
- Razonamiento LLM: 400–1200 ms. Primer token útil, dependiendo del modelo y la solicitud.
- Conversión de texto a voz: 200–600 ms. Primer audio disponible, incluyendo la planificación de la prosodia.
- Salida de red: 30–80 ms. De vuelta a través del canal de comunicación hasta la persona que llama.
Si se superan los tres segundos con la suficiente frecuencia, la marca se vuelve desechable.
Precisión y latencia son lo mismo
Las plataformas de voz para producción que alcanzan tiempos de respuesta inferiores a un segundo de extremo a extremo no dividen la responsabilidad entre dos equipos. Consideran la velocidad y la precisión como una sola métrica. Los patrones que realmente funcionan son similares en todas las implementaciones de alto rendimiento que hemos analizado:
- Disponible en todas partes. Transmisión de fragmentos ASR a recuperación en tiempo real a generación en tiempo real a síntesis de voz en tiempo real. Cualquier paso de bloqueo consume todo el presupuesto posterior.
- Recuperación especulativa. Realiza la primera recuperación en la transcripción parcial del ASR, no en la transcripción final. En nuestros registros, esto recupera entre 120 y 180 ms sin pérdida de precisión cuando se combina con una puerta de confianza.
- Enrutamiento LLM de menor tamaño. Enrutar el 70-80% de los giros a un modelo más pequeño, rápido y optimizado. Recurrir al modelo insignia solo en rutas de baja confianza. El operador casi siempre escucha el modelo pequeño.
- Fichas de relleno. «Déjame comprobarlo» no es una táctica dilatoria; es una técnica para ocultar la latencia. Bien utilizada, permite ganar entre 400 y 700 ms de procesamiento invisible sin perder presencia.
La única regla que controla todas las demás características.
Nuestra regla de trabajo para cualquier hoja de ruta de IA de voz es simple. Si la latencia de extremo a extremo de P90 (desde el final de la primera locución hasta la primera salida de audio) no es inferior a tres segundos, nada más que publiques importará.
- Sub-3 s: producto. Convierte una demostración en algo que puedes presentar a personas que llaman de verdad sin necesidad de disculparte.
- Menos de 1,5 s: conversación. El intercambio de turnos comienza a sentirse natural. La tasa de contención y la satisfacción del cliente se acumulan.
- Sub-1 s: humano. Indistinguible de un agente bien entrenado en cuanto a presencia. Se desbloquean ventajas operativas.
Si no puedes generar estos cuatro números esta semana…
…su plataforma de IA de voz aún no se evalúa según la dimensión que sus interlocutores utilizan para calificarla. No empiece por la precisión. Empiece por aquí: por turno, por llamada, en una muestra aleatoria de 1000 llamadas.
- Latencia de intrusión. La rapidez con la que se detecta que la persona que llama ha empezado a hablar determina el nivel de respuesta percibido.
- Hora del primer token. Finalización de ASR para el primer token útil de LLM. El presupuesto más controlable de toda la pila.
- Es hora del primer audio. LLM realiza su primera prueba de habla audible en la red. Predominan el calentamiento de la síntesis de voz y la planificación de la prosodia.
- P90 de extremo a extremo. Final de la locución hasta la primera salida de audio. El único número que le importa a quien llama. Domina esto y lo demás vendrá solo.
Construye para tener presencia.
La IA de voz se decide en el primer segundo. Si el P90 se mantiene por debajo de los tres segundos, se diseña para que supere el primer segundo, el resto de la hoja de ruta se complica. Si se omite este paso, el resto de la hoja de ruta se reduce a volver a lanzar una demo.
“La arquitectura de voz de Cloudax está diseñada priorizando la latencia. Habitualmente mantenemos un P90 de extremo a extremo inferior a 0,9 segundos en el tráfico entrante de producción, independientemente del acento, el códec y el operador.”
Ingeniero para el primero segundo.
La arquitectura de voz de Cloudax está diseñada priorizando la baja latencia. Hable con nuestro equipo para saber cómo implementar P90 de extremo a extremo en su despliegue actual y qué se necesita para reducir la latencia a menos de un bit.
