Cómo probar agentes de voz con IA

La rápida implantación de agentes de voz con IA en sectores B2C como la sanidad, los servicios financieros, las telecomunicaciones o el comercio minorista ha creado la necesidad urgente de contar con metodologías de evaluación rigurosas y estandarizadas. A diferencia del software tradicional, los agentes de voz funcionan en la intersección del procesamiento de la señal acústica, la comprensión del lenguaje natural, la inferencia en tiempo real y la dinámica de las conversaciones humanas. Un fallo en cualquiera de estas dimensiones puede ir minando sin hacer ruido la satisfacción de los clientes, reducir las tasas de conversión y exponer a las organizaciones a riesgos de cumplimiento normativo.

Esta guía resume las conclusiones de un análisis de más de 4 millones de llamadas de agentes de voz en producción de más de 10 000 agentes desplegados, para ofrecer a profesionales, responsables de producto e ingenieros de IA un modelo de evaluación de referencia. Las recomendaciones de estas páginas reflejan el estado del arte en 2026 y se basan en investigaciones de Hamming AI, Braintrust, Maxim AI y Nurix AI.

Por qué la evaluación es imprescindible

Los agentes de voz se mueven en un entorno especialmente implacable. Un chatbot de texto que da una respuesta algo torpe causa una pequeña fricción; un agente de voz que entiende mal al usuario, que no deja de hablar cuando lo interrumpen o que suelta una respuesta inventada y sin relación con la conversación en una llamada con un cliente puede provocar que cuelguen al instante y dañar la marca de forma duradera. Las consecuencias de un mal rendimiento se miden en tiempo real: los usuarios no vuelven atrás para releer, cuelgan.

Los datos de producción indican que una latencia de respuesta superior a 1,5 segundos aumenta de forma notable el riesgo de que se abandone la llamada y de que el usuario se frustre, así que la latencia debe vigilarse como una métrica principal de la experiencia. Una tasa de error de palabras superior al 10 % con audio limpio es una clara señal de alarma sobre la calidad del reconocimiento en las fases posteriores y puede contribuir a errores de derivación y de ejecución. Las respuestas inventadas y sin relación con la conversación, incluso con tasas inferiores al 1 %, pueden minar la confianza de los usuarios y provocar acciones erróneas en ámbitos delicados como la programación de citas o las transacciones financieras.

Alcance y estructura

Esta guía se organiza en cinco secciones. Tras esta introducción, el resumen ejecutivo recoge los benchmarks y las prioridades estratégicas más importantes para los equipos de dirección. Las páginas 3 y 4 tratan en profundidad todas las métricas clave, organizadas según el marco de 4 capas: infraestructura, ejecución, comportamiento del usuario y resultados de negocio. La última página ofrece una selección de referencias para seguir leyendo.

El marco de 4 capas, desarrollado y validado por Hamming AI, es la metodología documentada públicamente más completa para evaluar la calidad de los agentes de voz. Va más allá de las métricas simplistas de precisión y abarca todo el ciclo de vida de una interacción por voz: desde la calidad de la señal de audio en bruto y la latencia, pasando por la precisión en la clasificación de intenciones y la fiabilidad de las herramientas, hasta los grandes resultados de negocio, como la tasa de contención de llamadas o la tasa de resolución en la primera llamada.

A quién va dirigido

Este documento está pensado para los profesionales técnicos que crean y gestionan sistemas de IA de voz, los responsables de producto que definen estándares de calidad y umbrales de KPI, y los directivos que quieren entender la relación cuantitativa entre el rendimiento de los agentes de voz y los resultados comerciales. Los benchmarks citados proceden de entornos de producción a gran escala y son objetivos alcanzables para sistemas bien diseñados, no ideales teóricos.

Tanto si estás evaluando un primer despliegue como si estás optimizando un sistema maduro que gestiona cientos de miles de llamadas al mes, los marcos y umbrales que se documentan aquí ofrecen la base empírica para gestionar la calidad a partir de datos.

Resumen ejecutivo

Los agentes de voz con IA están transformando la operativa de atención y gestión de clientes en todos los grandes sectores B2C. Su valor comercial, que se mide en menores costes operativos, más citas conseguidas y una mayor satisfacción de los clientes, depende directamente de la calidad de su rendimiento en cuatro dimensiones de evaluación interdependientes. Este documento presenta el marco de referencia de 4 capas y los umbrales concretos de cada métrica que distinguen los despliegues de primer nivel de los que se quedan cortos.

Fuente: Hamming AI, The 4-Layer Voice Agent Quality Framework

Prioridades estratégicas

La latencia en los peores casos marca la experiencia del usuario. La latencia mediana, por sí sola, no basta para medir la experiencia del usuario. Los eventos P99, los que afectan al peor 1 % de las llamadas, dañan la marca de forma desproporcionada y hay que vigilarlos y acotarlos por separado. Las organizaciones deberían configurar alertas automáticas para cualquier latencia P95 que supere en más de un 50 % el valor de referencia.

Las alucinaciones son un riesgo silencioso para los ingresos. La tasa de respuestas inventadas y sin relación con la conversación (HUN, por sus siglas en inglés) debe mantenerse por debajo del 1 % en condiciones normales de funcionamiento. Incluso con una tasa tan baja, las alucinaciones al programar citas o al responder consultas financieras pueden desencadenar acciones erróneas con consecuencias comerciales directas. La propagación de las alucinaciones a las fases posteriores debe reducirse a cero, porque los errores que se acumulan a lo largo de varios turnos hacen mucho más daño que los incidentes aislados.

Una contención alta sin resolución es una trampa. Una tasa de contención superior al 80 % que no va acompañada de una tasa equivalente de resolución en la primera llamada indica que los usuarios se quedan dando vueltas en los sistemas automatizados sin que su problema se resuelva de verdad. Esta configuración produce el peor resultado posible: un alto coste de automatización y una mala experiencia de cliente.

Los cambios en los prompts son la principal causa de regresiones. Cada modificación de un prompt debe activar un conjunto completo de pruebas de regresión. Los despliegues deberían bloquearse automáticamente si la TSR baja más de un 3 %, la latencia aumenta más de un 10 %, la WER sube más de un 2 % o las tasas de escalado aumentan más de un 5 %.

Depurar a partir del audio es imprescindible. El análisis basado solo en transcripciones es sistemáticamente ciego a las señales que mejor predicen que un usuario va a colgar: cambios en la prosodia, cambios en la velocidad del habla, voces que se solapan y marcadores acústicos como los suspiros. Un sistema de evaluación completo tiene que integrar el análisis del propio audio junto con los métodos basados en el texto.

Las métricas en detalle: infraestructura y ejecución

Capa 1: infraestructura

1.1 Métricas de latencia

En un agente de voz, la latencia se mide de principio a fin: desde que el usuario deja de hablar hasta que empieza a sonar el audio del agente. Esta medición, el tiempo hasta el primer audio (TTFA), abarca la detección de actividad de voz, la conversión de voz a texto, la NLU o clasificación de intenciones, el razonamiento del LLM, cualquier llamada a herramientas y la síntesis de voz (TTS). Cada componente suma su parte al presupuesto de latencia. El objetivo P50 de 1,5 a 1,7 segundos es el umbral en el que se mantiene la naturalidad de la conversación; el techo P99 de 8 segundos acota la peor experiencia posible para el usuario.

Fuente: Hamming AI, The 4-Layer Voice Agent Quality Framework

1.2 Tasa de error de palabras (WER)

La WER cuantifica la precisión del reconocimiento automático de voz con la fórmula: WER = (sustituciones + inserciones + eliminaciones) / total de palabras de referencia × 100. Es el principal diagnóstico del componente STT y anticipa directamente la calidad de la NLU en las fases posteriores. Los sistemas en producción de nivel empresarial buscan una WER inferior al 5 % con audio limpio. El rendimiento empeora de forma previsible según la calidad del entorno acústico: el ruido de oficina suele añadir entre un 3 % y un 5 % de WER, y el ruido intenso en exteriores, entre un 8 % y un 12 %, aunque estas cifras reflejan condiciones de prueba controladas y pueden variar según el proveedor de ASR y el entorno de despliegue.

Fuente: ai-coustics, Behind Quail Voice Focus 2.0: [5]; VoiceToNotes, State of AI Transcription Accuracy

Capa 2: ejecución

2.1 Tasa de éxito de tareas y precisión en la detección de intenciones

La TSR mide el porcentaje de interacciones en las que el agente completa con éxito la tarea que quería hacer el usuario. Es la métrica de ejecución más relevante desde el punto de vista comercial, porque está directamente relacionada con la conversión, la resolución y la satisfacción de los clientes. La precisión en la clasificación de intenciones tiene que superar el 95 % para evitar errores de derivación, que disparan las tasas de escalado y empeoran la TSR. Los despliegues para programar citas necesitan una TSR superior al 90 % por su impacto directo en los ingresos; no alcanzar este umbral tiene consecuencias medibles en la tasa de citas conseguidas.

Fuente: Hamming AI, The 4-Layer Voice Agent Quality Framework

2.2 Alucinaciones: tasa HUN y precisión de los datos

La tasa HUN (Hallucinated Unrelated Non-sequitur, respuestas inventadas y sin relación con la conversación) mide con qué frecuencia un agente de voz da una respuesta que no tiene relación semántica con lo que ha dicho el usuario. En entornos de voz en producción, incluso una tasa HUN del 1 % significa que 1 de cada 100 turnos genera una respuesta potencialmente incorrecta o que echa a perder la tarea. La propagación a fases posteriores, cuando en los turnos siguientes se construye sobre una afirmación errónea, debe reducirse a cero, porque los errores que se acumulan hacen mucho más daño que las alucinaciones aisladas. La metodología FActScore ofrece un marco riguroso para medir la exactitud de los hechos a nivel de cada afirmación elemental en los resultados generados.

El marco de evaluación de Nurix AI, además, estructura la detección de alucinaciones en las capas de razonamiento y de respuesta, y combina la puntuación basada en referencias, algoritmos de alineación semántica y la verificación de los turnos en varias fases para ofrecer una cobertura completa.

Fuente: Hamming AI, Voice Agent Evaluation Metrics [1b]; Nurix AI, How We Evaluate Voice AI Models [4]; Min et al., FActScore (EMNLP 2023)

Las métricas en detalle: comportamiento del usuario y resultados de negocio

Capa 3: comportamiento del usuario

3.1 Detección del barge-in y gestión de interrupciones

La gestión del barge-in es uno de los aspectos técnicamente más exigentes del diseño de un agente de voz. Cuando el usuario habla mientras el agente está emitiendo audio, el sistema tiene que identificar correctamente la interrupción, dejar de hablar en menos de 200 milisegundos y recuperar el contexto con coherencia para la siguiente respuesta. Los fallos, ya sean falsos positivos que hacen que el agente se calle por un ruido de fondo o falsos negativos que hacen que hable por encima del usuario, están entre las causas más citadas de frustración y de abandono de llamadas.

Fuente: Hamming AI, How to Evaluate Voice Agents

3.2 Evolución del sentimiento y tasa de repreguntas

La evolución del sentimiento sigue el arco emocional de una llamada a partir de señales del propio audio: el tono, la velocidad del habla, los cambios en la prosodia y marcadores acústicos como los suspiros, que el análisis de transcripciones no puede captar. Un sentimiento que va a peor es el mejor indicador adelantado disponible de que la persona está a punto de colgar o de pedir que la pasen con alguien. La tasa de repreguntas mide con qué frecuencia el agente tiene que volver a preguntar para aclarar algo, y sirve como indicador indirecto de la calidad conjunta del STT y la NLU en condiciones reales. Una tasa de repreguntas superior al 10 % indica de forma fiable que el rendimiento del ASR o de la NLU se ha degradado en el entorno de producción.

Fuente: Hamming AI Voice Agent Evaluation Metrics [1]; Braintrust, How to evaluate voice agents [2]; Maxim AI, Voice Simulation [3]

Capa 4: resultados de negocio

4.1 Tasa de contención y patrones de escalado

Tasa de contención = (llamadas gestionadas por el agente / total de llamadas) × 100. Los contact centers más avanzados logran una contención superior al 80 %, aunque la mayoría de los despliegues maduros se mueven entre el 60 % y el 75 %. La clave es que una contención superior al 80 % sin una tasa de FCR equivalente indica que los usuarios están atrapados en bucles automatizados: una configuración que deteriora la satisfacción aunque, a primera vista, parezca eficiente en los cuadros de mando. La tasa de escalado debe mantenerse por debajo del 30 % en los despliegues que buscan una contención del 70 %, y por debajo del 20 % cuando la contención supera de forma constante el 80 %. Además, conviene analizarla por tipo de patrón para distinguir los fallos estructurales del agente de las derivaciones legítimas por complejidad.

Fuente: Hamming AI, How to Evaluate Voice Agents

4.2 Resolución en la primera llamada y pruebas de regresión

La FCR mide la proporción de llamadas que se resuelven en el primer contacto, sin llamadas repetidas ni escalados. En entornos B2C, una FCR superior al 75 % es el mínimo para considerar aceptable el rendimiento de la automatización, y los sistemas más avanzados alcanzan el 85 % o más. La FCR es el vínculo más directo entre la calidad de un agente de voz y el valor del ciclo de vida del cliente.

Las pruebas de regresión protegen la FCR y todas las demás métricas de resultados de negocio durante el ciclo de desarrollo continuo. Cada modificación de un prompt activa un conjunto completo de pruebas; los despliegues se bloquean automáticamente si se supera cualquier umbral de control de regresiones. Las pruebas en modo sombra, que ejecutan las nuevas versiones del prompt en paralelo al tráfico real sin afectar a los usuarios, ofrecen un entorno de validación equivalente al de producción para iterar con seguridad.

Fuente: Hamming AI, Voice Agent Evaluation Metrics [1]; Braintrust, How to Evaluate Voice Agents [2]

Cumplimiento normativo

Los agentes de voz desplegados en entornos B2C regulados tienen que cumplir las normas de protección de datos y seguridad aplicables, además de los requisitos de calidad del rendimiento. En el ámbito sanitario, los despliegues están sujetos a las salvaguardas de la HIPAA Security Rule, que regulan la divulgación de información sanitaria protegida (PHI), los controles de acceso basados en roles y los registros de auditoría, con las modificaciones propuestas en 2024 todavía pendientes de aprobación definitiva en 2026. Los agentes de voz que procesan información de pago tienen que cumplir los requisitos de cifrado y control de acceso de PCI DSS v4.0.1. Las plataformas que gestionan datos sensibles de clientes en cualquier sector deberían contar con la certificación SOC 2 Tipo II para ofrecer una garantía continua sobre los controles de seguridad, disponibilidad e integridad del procesamiento. Estos requisitos de cumplimiento funcionan de forma independiente, pero en paralelo, al marco de evaluación del rendimiento que se documenta en esta guía.

Por qué elegir telli

El marco de evaluación que se describe en este artículo refleja una complejidad técnica real: coordinar el presupuesto de latencia entre el ASR, la NLU, el razonamiento del LLM y el TTS; seguir la tasa de error de palabras en distintas condiciones acústicas; y dar visibilidad a las métricas de alucinaciones, contención y resolución en la primera llamada. La mayoría de las organizaciones no tienen capacidad para construir y mantener esta infraestructura internamente.

telli se encarga de esta complejidad para que las empresas puedan poner en marcha agentes de voz listos para producción en días, no en meses. En lugar de montar un sistema a base de juntar proveedores de ASR, LLM y TTS e instrumentar cada capa por separado, los equipos despliegan directamente sobre la plataforma de telli y disponen desde el primer momento de su infraestructura optimizada para la latencia y de su monitorización integrada.

Supervisar y mejorar el rendimiento tampoco exige un sistema de evaluación aparte. telli ofrece a cada cliente cuadros de mando en tiempo real con tasas de conversión, duración de las llamadas y seguimiento de resultados, además de resultados de llamada personalizados. Los equipos definen sus propios campos estructurados, más allá de los predefinidos, para recoger exactamente lo que importa en su caso de uso, ya sea la confirmación de una cita, el estado de cualificación o la finalización de un pago. Cada llamada se analiza automáticamente para extraer el sentimiento y un resumen, y las grabaciones y transcripciones completas siguen disponibles para revisarlas con más detalle.

Igual de importante: telli cierra el ciclo entre la medición y la mejora. Los equipos pueden probar y afinar los guiones directamente en el Prompt Editor de telli con Charlie, nuestro asistente de prompts con IA, comparar versiones del agente en paralelo y marcar llamadas para revisar su calidad, de modo que el agente de IA mejora por sí mismo de forma iterativa sin necesidad de un ciclo de desarrollo completo para cada cambio en el prompt. Y como transfiere la llamada a una persona del equipo siempre que hace falta, telli permite a las empresas centrarse en los resultados y olvidarse de la infraestructura.

Fuentes

1. hamming.ai - The 4-Layer Voice Agent Quality Framework
2. ai-coustics.com - Rendimiento del ASR y tasa de error de palabras (WER) según las condiciones acústicas
3. hamming.ai - Métricas, definiciones y benchmarks para evaluar agentes de voz
4. hamming.ai - Marco completo de gestión de interrupciones y escalado
5. voicetonotes.ai - Benchmarks de precisión del reconocimiento de voz y la transcripción en sistemas en producción
6. arxiv.org - Metodología FActScore para evaluar la precisión factual
7. nurix.ai - Evaluación multicapa de la IA de voz y detección de alucinaciones
8. getmaxim.ai - Metodologías de evaluación basadas en el audio y simulación de voz
9. braintrust.dev - Buenas prácticas para evaluar agentes de voz y pruebas en modo sombra
10. hhs.gov - Normas de salvaguardas técnicas de la HIPAA Security Rule
11. pcisecuritystandards.org - PCI DSS v4.0.1, norma de seguridad de datos para el procesamiento de pagos
12. aicpa.org - Criterios de servicios de confianza de SOC 2 Tipo II para garantizar la seguridad
13. telli.com - Prompt Editor de telli Studio y optimización continua de guiones