Cómo funcionan los agentes de voz con IA: guía de arquitectura y flujo de llamadas

La mayoría de las explicaciones sobre los agentes de voz con IA empiezan y terminan en “es una IA que habla por teléfono”. Lo cual, por supuesto, es cierto. Pero lo más interesante ocurre en el intervalo entre que alguien abre la boca y oye una respuesta. De hecho, ahí pasan bastantes cosas, y todas en menos de 2 segundos.

Imagina por un momento que un cliente llama a su dentista para aplazar una cita del jueves a la semana siguiente. Para el cliente, es una conversación sencilla de treinta segundos. Pero para el sistema, la situación es mucho más compleja: tiene que analizar la llamada, entenderla, comprobarla con la agenda de citas, confirmarla y comunicar la respuesta de viva voz antes de que quien llama tenga ocasión de colgar o de pedir que le pasen con otra persona. A lo largo de este artículo usaremos este ejemplo para desgranar cada parte del proceso.

Por cierto, este es precisamente el tipo de problema que la plataforma de agentes de voz de telli está diseñada para resolver. Las empresas suelen usar agentes de voz con IA para tareas como la cualificación de leads y la reserva de citas, en las que la conversación tiene que sonar natural y, a la vez, conectarse con los sistemas de la empresa. Por eso usaremos este ejemplo para mostrar cómo resuelve cada paso del proceso un sistema real como telli, en lugar de quedarnos en la teoría.

La cadena de procesamiento de un agente de voz con IA

En esencia, todos los agentes de voz con IA siguen más o menos la misma serie de pasos:

Quien llama habla → Reconocimiento de voz → Comprensión del lenguaje → Razonamiento del LLM → Búsqueda en la base de conocimiento → Llamadas a herramientas → Generación de voz → Quien llama oye una respuesta

Cada uno es imprescindible para que la cadena funcione, y todos dependen estrechamente unos de otros. Tener un modelo de lenguaje fantástico, por ejemplo, no servirá de mucho si tu motor de transcripción es impreciso y no oye bien lo que dice el cliente. Una gran calidad de audio apenas marcará la diferencia si tu motor de voz es lento y hace esperar al cliente uno o dos segundos. Cada eslabón de esta cadena es tan importante como cualquier otro.

Esto es, a grandes rasgos, de lo que se encarga cada eslabón de la cadena:

Sigamos el ejemplo del cambio de cita a través de cada fase de la cadena.

Paso 1: convertir la voz en texto

En cuanto quien llama dice “Necesito cambiar mi cita del jueves”, un motor de conversión de voz a texto (STT), o de reconocimiento automático de voz (ASR), ya está trabajando entre bastidores. Proveedores como Deepgram, Speechmatics, Whisper y los modelos de voz de Google lo implementan de muchísimas formas, pero todos buscan el mismo resultado: obtener una transcripción con puntuación de lo que se dice, lo más cerca posible del tiempo real.

Todos los componentes posteriores heredan los errores que se originan en la transcripción: si “cambiar mi cita del jueves” se transcribe como “cancelar mi cita del jueves”, lo que quiere el cliente cambia por completo y se pueden generar fricciones innecesarias.

Los acentos, el ruido de fondo, las malas conexiones telefónicas o simplemente que alguien hable entre dientes hacen que esta fase sea compleja, pero decisiva. Por eso, la mayoría de los sistemas en tiempo real usan reducción de ruido y reconocimiento de voz multilingüe en lugar de depender de una sola pasada.

Según la investigación sobre el rendimiento del ASR, los factores que de verdad afectan a la precisión de la transcripción son estos:

No es una diferencia menor. Un estudio de 2020 muy citado por los investigadores mostró una diferencia significativa en la tasa de error de los modelos ASR al escuchar a hablantes afroamericanos frente a hablantes estadounidenses blancos, debida sobre todo a limitaciones de los datos y no a problemas de la tecnología. Es un buen recordatorio de que la calidad de la transcripción varía según quién hable, y de que las cifras de precisión basadas en una gama reducida de acentos pueden no reflejar el rendimiento real.

Paso 2: entender lo que quiere decir de verdad quien llama

Acertar con las palabras no es lo mismo que acertar con el significado. Aquí entran en juego la comprensión del lenguaje natural (NLU) y la detección de intenciones. Por ejemplo, “¿Me puedes enviar la factura?” y “¿Me puedes reenviar la factura?” son casi idénticas desde el punto de vista gramatical, pero requieren resultados distintos.

Para este ejercicio, quien llama dice: “Necesito cambiar mi cita del jueves”. El sistema tiene que determinar la intención (cambiar la cita, no cancelarla), identificar la entidad correcta (esa cita concreta del jueves), recordar los datos mencionados antes en la llamada (quién llama y si ya se ha verificado su identidad) y percibir su estado de ánimo (si está molesto, entusiasmado, etc.).

Paso 3: cómo decide el LLM qué decir

Este es el paso que más se suele malinterpretar. El LLM que hay detrás de un agente de voz no se limita a improvisar respuestas como haría en la demo de un chatbot. Funciona dentro de unos límites definidos: un prompt de sistema que establece las políticas de la empresa, el historial de la conversación, la información que obtiene de la base de conocimiento de la empresa y las acciones con herramientas que tiene autorizadas de antemano.

Cuando quien llama quiere cambiar la cita del jueves, el LLM no se inventa una frase verosímil sobre el cambio de cita. Se plantea preguntas como: “¿Permitimos cambios de cita dentro de la misma semana?”, “¿Está disponible la herramienta de calendario?”, “¿Qué información adicional (una nueva fecha, por ejemplo) hace falta para actuar?”.

Solo cuando tiene información suficiente responde, ya sea pidiendo a quien llama más datos o activando la función adecuada. Esta es la diferencia fundamental entre generar texto y razonar usando herramientas. Y también la diferencia entre decir algo que suena verosímil y hacer de verdad lo que hay que hacer.

En función del LLM de base (GPT, Claude, Gemini, Llama, etc.), el riesgo de alucinaciones aumenta considerablemente cuando los modelos pueden responder libremente a partir de sus datos de entrenamiento en lugar de usar información verificada que se obtiene mediante búsqueda. Los buenos sistemas se esfuerzan por evitar estas situaciones.

Paso 4: obtener la información propia de la empresa

Que un LLM sea capaz de generar texto inteligente no significa que “conozca” las tarifas de tu clínica, los detalles de tu política de cancelación o el horario de tu tienda. Los agentes basados en LLM tienen que obtener esta información en el momento en que la necesitan.

De eso se encarga la generación aumentada por recuperación (RAG), un enfoque descrito en un artículo de 2020 que complementa el conocimiento que el LLM ya tiene (o conocimiento “paramétrico”) con información externa que se obtiene cuando el LLM la necesita. En lugar de usar lo que el LLM aprendió durante su entrenamiento (que es general y puede no incluir nada sobre los datos concretos de la empresa), el sistema extrae de la base de conocimiento de la empresa los documentos relevantes, como preguntas frecuentes, documentos internos, CRM o políticas, transforma esos datos y los incorpora a la fase de generación del lenguaje.

La diferencia está en dónde reside el conocimiento. Un modelo entrenado lo lleva incorporado, así que actualizarlo implica volver a entrenarlo o hacer un ajuste fino (fine-tuning), y sus respuestas sobre tu negocio concreto suelen ser genéricas o directamente erróneas. La recuperación obtiene esa misma información en directo de tus propios documentos y bases de datos, se actualiza en cuanto actualizas tu base de conocimiento y basa cada respuesta en algo real, no en una suposición inventada.

En nuestro ejemplo, el agente tiene que confirmar si quien llama tendrá que pagar algún cargo por cambiar la cita dentro de la misma semana, porque es un dato que el LLM genérico no conoce.

Hay que obtenerlo de la documentación de políticas de la propia clínica. Este es uno de los puntos en los que la práctica se aleja de la teoría.

Los agentes de telli, por ejemplo, pueden acceder a un conjunto de documentos subidos (preguntas frecuentes, listas de precios, políticas) y decidir por sí mismos durante la llamada si usan la búsqueda semántica, la búsqueda por palabras clave o ambas. Si la política está en un PDF, por ejemplo, el agente la lee y la usa directamente en lugar de suponerla. Si no la encuentra, vuelve a lo que indica el prompt en lugar de inventarse una respuesta.

Paso 5: conectar con sistemas externos

¿De qué sirve una IA que habla si no puede hacer nada más? Las empresas quieren agentes de IA capaces de actuar: consultar su CRM, crear perfiles de cliente, verificar información o transferir llamadas. Todas estas tareas dependen de integraciones, API y webhooks.

En nuestro caso, una vez verificada la identidad de quien llama, el agente consultaría el calendario para ver los huecos libres del jueves, cambiaría la cita, actualizaría el perfil del cliente y se aseguraría de que todo quede registrado en el CRM, sin que intervenga ninguna persona.

telli lo resuelve permitiendo que los agentes activen “llamadas a herramientas” (tool calls) en plena conversación. Pueden ser funciones que terminan la llamada o que llaman a un endpoint HTTP personalizado para comprobar la disponibilidad del calendario. Quien llama no sabe si hay llamadas a herramientas de por medio; solo oye: “Un momento, que lo compruebo”.

Paso 6: convertir el texto en voz

Por último, cuando el LLM determina lo que tiene que decir, la conversión de texto a voz (TTS) transforma esa respuesta en el audio que oye quien llama. Los sistemas modernos ofrecen voces neuronales sofisticadas, frente a las voces robóticas de hace una década, hechas a base de empalmar sílabas, y eso influye en el ritmo con el que hablan los agentes, en cómo articulan y en el tono que transmiten.

Estos son los factores que distinguen una voz que suena humana de una voz artificial:

• Prosodia: subidas y bajadas naturales de la entonación, sin un tono plano
• Pronunciación: decir bien nombres, números y abreviaturas
• Ritmo: ni precipitado ni artificialmente lento
• Latencia: una respuesta en menos de un segundo, para que parezca una conversación en tiempo real
• Streaming: el audio empieza a sonar antes incluso de que se haya terminado de generar toda la respuesta

La latencia importa aquí más que en casi cualquier otro punto de la cadena. Una voz perfecta, pero con dos segundos de retraso, da la sensación de que algo no funciona. Las personas esperamos que nos respondan con el mismo ritmo con el que respondería otra persona. En todos los idiomas, la gente espera una media de 200 ms entre el final de una frase y el comienzo de otra.

La IA de voz, que combina varios proveedores para el reconocimiento de voz, el modelo de lenguaje y la síntesis de voz, suele tardar entre 600 ms y 1700 ms de principio a fin, y en general, según los benchmarks del sector, cualquier respuesta que tarde más de 800 ms ya se percibe claramente como un retraso.

La propia experiencia de telli es un buen ejemplo de lo importante que es hacer bien este paso. telli crea agentes de IA conversacionales para conversaciones de venta B2C, en las que una voz forzada y poco humana no solo suena mal, sino que perjudica directamente la conversión en ventas, porque quien llama cuelga en cuanto la voz deja de sonarle “humana”. Por eso telli da prioridad a un proveedor de TTS de baja latencia y preparado para la clonación de voz, en lugar de dejar la calidad de la voz en segundo plano, detrás del LLM.

Cómo gestionan las interrupciones los agentes de voz con IA

Las conversaciones reales no van por turnos como un chat de texto. Nos interrumpimos, hacemos pausas para pensar o dejamos frases a medias. Esta característica de las conversaciones reales se conoce como barge-in y es uno de los problemas más difíciles de resolver en el sector de la IA de voz.

Si en mitad de la confirmación del cambio de cita quien llama dice de repente “no, espera, mejor la cancelamos”, el sistema tiene que detectar esa interrupción al instante, dejar de hablar y volver a procesar lo nuevo que ha dicho, en lugar de terminar su frase y darse cuenta solo después de que quien llama ha cambiado de opinión. Para detectar bien estos cambios de intención y estas interrupciones, el sistema necesita detectar la actividad de voz de forma continua y en tiempo real, no solo al principio y al final de cada turno.

Cómo se pasa la llamada a una persona

Además, no todas las buenas conversaciones con IA terminan con el agente. Si la IA no puede resolver la solicitud, o si quien llama pide expresamente hablar con una persona, hay que hacer una transferencia a un humano: la llamada pasa al agente humano adecuado junto con un resumen de lo que ya se ha hablado, para que el cliente no tenga que repetir la información.

En esta fase fallan muchos sistemas de IA de voz que, por lo demás, son buenos. Si al pasar la llamada se pierden la transcripción o el contexto entre la IA y el agente humano, es como empezar la llamada desde cero con alguien de quien no sabes nada. La intención, los datos del CRM y los datos ya confirmados tienen que llegar al agente humano junto con la llamada.

En telli, la transferencia a un humano pone a quien llama en espera, informa al agente humano sobre la conversación con un resumen automático y después los conecta. Si la transferencia no se completa a tiempo o salta el buzón de voz, la llamada vuelve al agente de IA.

Problemas técnicos habituales

La IA de voz falla de formas muy concretas. En lugar de la típica lista genérica de pros y contras, te contamos cómo se manifiestan esos fallos en la práctica:

• La latencia se debe al procesamiento secuencial STT → LLM → TTS. Se soluciona con una arquitectura de streaming y la inferencia en paralelo.
• Las alucinaciones aparecen cuando el modelo responde con conocimientos generales en lugar de con datos obtenidos de tus fuentes. Se solucionan anclando estrictamente las respuestas a esas fuentes y con prompts que obligan a buscar la información antes de responder.
• El ruido de fondo del entorno de quien llama empeora la calidad del audio de entrada. Se soluciona con supresión de ruido y umbrales de confianza.
• Una documentación deficiente implica una base de conocimiento escasa o desactualizada. Se soluciona revisando la base de conocimiento con regularidad.
• Los fallos de API se deben a errores o tiempos de espera agotados en integraciones de terceros. Se solucionan con lógica de reintentos y mensajes de respaldo que mantienen la conversación con naturalidad.
• Las preguntas inesperadas surgen cuando quien llama se sale del guion. Se solucionan con respuestas de respaldo y protocolos de escalado bien definidos.

Qué cambia en los agentes de voz con IA para grandes empresas

Lo que necesita una pequeña empresa que prueba su primer recepcionista con IA es bastante distinto de lo que necesita una gran empresa que amplía sus interacciones telefónicas con IA. En resumen, esto es lo que suele distinguir los despliegues en grandes empresas de las operaciones más pequeñas:

• Cumplimiento normativo: grabación de llamadas, residencia de datos, normativas específicas del sector (servicios financieros, sanidad, etc.)
• Trazabilidad: transparencia sobre cómo se tomó cada decisión durante la llamada, más allá de la transcripción.
• Analítica: seguimiento de conversiones, análisis de abandonos y de tendencias en el conjunto de llamadas.
• Control de versiones de los prompts: despliegues estructurados, con la posibilidad de revertir los cambios.
• Pruebas: pruebas con llamadas simuladas antes de que cualquier nuevo despliegue llegue a producción.
• Monitorización: alertas en tiempo real si se disparan la latencia o las tasas de error.
• Gestión del conocimiento: un marco que garantiza que la capa de búsqueda de información se mantenga al día cuando cambian las políticas

Esto es lo que separa una demo que funciona de un sistema que aguanta diez mil llamadas al mes.

Por ejemplo, la función de trazabilidad de telli usa el concepto de “campos autoestructurados”. Durante una llamada, el sistema desglosa cada interacción en campos clave definidos para cada agente, como un valor booleano, una categoría, un número o un campo de texto libre. Estos datos se extraen directamente de la transcripción, ciñéndose estrictamente al esquema. Si en la transcripción no se puede identificar ningún valor para un campo, se deja vacío (null). Así, miles de llamadas desordenadas y sin estructura se convierten en datos estructurados y comparables, que se pueden consultar y aprovechar. Esa es, de verdad, la esencia de construir algo “de nivel empresarial”.

Ideas equivocadas habituales

Algunas cosas que conviene aclarar directamente:

• “Los LLM memorizan los datos de tu empresa”. No es así: los obtienen mediante RAG de fuentes de la empresa como preguntas frecuentes, PDF, bases de conocimiento, etc.
• “La IA de voz no es más que reconocimiento de voz con un bot de texto detrás”. El reconocimiento de voz es solo una de las muchas piezas que tienen que coordinar los agentes de voz con IA, y normalmente no es la más difícil.
• “Un modelo más potente significa automáticamente un mejor agente de voz”. Aunque los modelos siguen mejorando, un modelo mejor no mejorará el rendimiento global del agente de voz con IA si no cuenta con una búsqueda de datos fiable y con acceso a herramientas para ejecutar correctamente las acciones.

En resumen: cómo encaja todo

Si quitamos todas las capas que hay entre cada paso del proceso de la IA de voz, el único trabajo de todo el sistema es recibir una consulta hablada y dar un resultado adecuado en el tiempo normal de una conversación. Empieza con el reconocimiento de voz, que pasa las palabras de audio a texto. Después, la comprensión del lenguaje interpreta esas palabras. Un modelo de lenguaje de gran tamaño decide qué hacer a partir de esas palabras y de la intención. La búsqueda de información aporta los datos propios de esa empresa. Las llamadas a herramientas ejecutan las acciones y, por último, la síntesis de voz vuelve a convertir la respuesta de texto en voz. Cualquiera de estos componentes puede hacer que se venga abajo toda la cadena, por bien que funcionen los demás.

Fuentes utilizadas

1. researchgate.net - Dificultades del reconocimiento de voz en entornos ruidosos
2. pnas.org - Disparidades raciales en el reconocimiento automático de voz
3. arxiv.org - Generación aumentada por recuperación (RAG)
4. docs.telli.com - Visión general de la base de conocimiento
5. docs.telli.com - Visión general de las llamadas a herramientas
6. researchgate.net - Rasgos universales de la toma de turnos en la conversación
7. telnyx.com - Benchmark de latencia de la IA de voz
8. cartesia.ai - La integración de voz de baja latencia de telli
9. telli.com - Barge-in en agentes de voz con IA / gestión de interrupciones
10. docs.telli.com - Transferencia de llamadas
11. docs.telli.com - Análisis de llamadas