Las métricas para agentes de IA no deberían limitarse a contar respuestas o tareas completadas. Para confiar en un agente hay que medir si interpreta correctamente el contexto, utiliza bien sus herramientas, respeta los límites y produce un resultado válido para el negocio.
La diferencia entre una demostración llamativa y un sistema que puede trabajar en producción está en la evaluación. Sin métricas, el agente puede parecer autónomo mientras acumula errores, costes y revisiones manuales.
Por qué hay que medir un agente de IA antes de darle autonomía
Un workflow tradicional sigue reglas definidas. Si la entrada cumple una condición, ejecuta una acción previsible. Un agente añade decisiones probabilísticas: puede clasificar, elegir una herramienta, construir argumentos o determinar el siguiente paso.
Esa flexibilidad permite resolver casos más complejos, pero también introduce incertidumbre. Dos entradas parecidas pueden producir respuestas distintas. Un cambio de modelo, prompt, contexto o fuente de datos puede modificar el comportamiento.
Medir permite responder preguntas concretas:
- ¿Resuelve correctamente el tipo de caso para el que fue diseñado?
- ¿Reconoce cuándo no dispone de información suficiente?
- ¿Utiliza la herramienta adecuada y con los parámetros correctos?
- ¿Cuántas decisiones necesitan corrección humana?
- ¿Qué coste tiene obtener un resultado válido?
- ¿Está mejorando el proceso o solo produciendo más actividad?
Las métricas esenciales de un agente de inteligencia artificial
1. Calidad del resultado
Mide si la salida cumple los criterios definidos. No siempre existe una única respuesta correcta, así que la evaluación puede combinar reglas objetivas y una rúbrica.
En un agente editorial, por ejemplo, se puede comprobar si el contenido responde a la intención de búsqueda, utiliza las fuentes indicadas, respeta la estructura, evita afirmaciones no verificadas y entrega todos los campos obligatorios.
La calidad debe dividirse en criterios. Una puntuación global oculta qué está fallando.
2. Tasa de finalización válida
No basta con contar tareas terminadas. Hay que contar resultados que superan la validación y pueden utilizarse sin rehacer el trabajo.
Una fórmula sencilla es:
Finalización válida = resultados aprobados / tareas iniciadas
Si el agente completa el 95 % de las ejecuciones pero solo la mitad son utilizables, su autonomía real es mucho menor.
3. Tasa de intervención humana
Indica qué porcentaje necesita revisión, corrección o aprobación. La intervención no es necesariamente un fallo: puede ser una decisión de seguridad. Lo importante es registrar el motivo.
- confianza insuficiente;
- datos incompletos;
- acción sensible;
- resultado fuera de los límites;
- error de una herramienta;
- selección aleatoria para control de calidad.
Con el tiempo, esta clasificación muestra qué casos pueden automatizarse más y cuáles deben seguir supervisados.
4. Exactitud en el uso de herramientas
Un agente puede redactar bien y utilizar mal una API. Conviene medir si eligió la herramienta correcta, envió parámetros válidos, interpretó la respuesta y evitó repetir la acción.
Cuando la herramienta puede modificar datos, enviar mensajes o crear documentos, esta métrica es más importante que la calidad del texto.
5. Errores y recuperación
Hay que distinguir entre errores del modelo, fallos de validación, APIs no disponibles, límites de uso y problemas de datos. Cada tipo necesita una respuesta distinta.
También se debe medir cuántos errores se recuperan automáticamente, cuántos reintentos necesita una ejecución y cuántos casos terminan bloqueados.
6. Latencia
Es el tiempo desde que empieza la tarea hasta que existe un resultado utilizable. Puede desglosarse en tiempo del modelo, consultas a herramientas, esperas y revisión humana.
Una respuesta más rápida no siempre es mejor. En procesos asíncronos puede ser preferible dedicar más tiempo a validar que entregar antes un resultado incorrecto.
7. Coste por resultado válido
El coste real no es únicamente el consumo del modelo. Incluye APIs, infraestructura, reintentos y tiempo humano de revisión.
Coste válido = coste total del sistema / resultados aprobados
Esta cifra permite comparar modelos, prompts y arquitecturas sin caer en la falsa economía de una ejecución barata que necesita muchas correcciones.
8. Impacto en el negocio
Es la métrica que justifica el sistema. Depende del proceso: tiempo ahorrado, oportunidades atendidas, errores evitados, conversión, resolución de incidencias, velocidad editorial o satisfacción del cliente.
Un agente puede obtener una puntuación técnica excelente y no mejorar ningún resultado importante.
Qué debería registrar cada ejecución
Para evaluar y depurar el agente es necesario conservar una trazabilidad proporcionada. Como mínimo:
- identificador de la ejecución y fecha;
- tipo de tarea y versión del workflow;
- modelo y configuración relevante;
- fuentes o contexto utilizado;
- herramientas llamadas y resultado;
- validaciones superadas o fallidas;
- decisión final y nivel de confianza;
- intervención humana y correcciones;
- coste, duración y resultado de negocio.
Esto no significa guardar indefinidamente datos personales o prompts completos. El registro debe aplicar minimización, permisos y periodos de conservación adecuados.
Cómo construir un conjunto de evaluación
Antes de dar más autonomía al agente conviene crear una colección de casos representativos. Debe contener ejemplos normales, ambiguos, incompletos y deliberadamente difíciles.
- Selecciona casos reales del proceso.
- Elimina o protege los datos personales que no sean necesarios.
- Define el resultado esperado y los criterios de aprobación.
- Incluye situaciones que el agente debe rechazar o escalar.
- Ejecuta la evaluación con cada cambio importante.
- Compara resultados, coste, latencia e intervención humana.
El conjunto debe crecer con los fallos encontrados en producción. Cada error relevante puede convertirse en un caso de regresión para impedir que reaparezca.
Un cuadro de mando sencillo para un agente
| Área | Métrica | Pregunta |
|---|---|---|
| Calidad | Resultados aprobados | ¿La salida se puede utilizar? |
| Autonomía | Intervención humana | ¿Cuánto trabajo sigue requiriendo? |
| Fiabilidad | Errores y recuperación | ¿Qué sucede cuando algo falla? |
| Eficiencia | Coste por resultado válido | ¿Compensa frente al proceso anterior? |
| Velocidad | Latencia total | ¿Llega a tiempo para ser útil? |
| Negocio | Indicador final del proceso | ¿Mejora un resultado relevante? |
Los umbrales no tienen que ser universales. Un borrador interno puede tolerar más errores que una respuesta enviada a un cliente. La exigencia debe aumentar con el impacto de la acción.
Cómo aumentar la autonomía de forma progresiva
La autonomía no debería activarse como un interruptor. Puede ampliarse por fases:
- Observación: el agente analiza casos, pero no ejecuta acciones.
- Propuesta: prepara una decisión para que una persona la apruebe.
- Ejecución limitada: actúa solo en casos de bajo riesgo y alta confianza.
- Autonomía supervisada: ejecuta y una muestra de resultados se revisa.
- Autonomía ampliada: trabaja dentro de límites, con alertas y capacidad de detenerse.
Cada fase necesita criterios de entrada y salida. El agente obtiene más autonomía cuando los datos demuestran que puede asumirla.
Errores habituales al evaluar agentes de IA
Medir solo la respuesta final
El resultado puede parecer correcto aunque el agente haya utilizado una fuente inadecuada o ejecutado una herramienta con parámetros peligrosos.
Utilizar una única puntuación
Calidad, seguridad, coste y resultado de negocio son dimensiones diferentes. Comprimirlas demasiado dificulta saber qué mejorar.
Evaluar con ejemplos demasiado fáciles
Un sistema que solo funciona con entradas perfectas no está preparado para producción.
No volver a evaluar después de los cambios
Modificar el modelo, el prompt, las herramientas o el contexto puede introducir regresiones. Las pruebas deben repetirse.
Optimizar una métrica aislada
Reducir coste puede empeorar la calidad. Reducir la intervención humana puede aumentar el riesgo. Las decisiones deben considerar el sistema completo.
Preguntas frecuentes sobre métricas para agentes de IA
¿Qué métrica es la más importante?
El resultado válido para el negocio. Sin embargo, debe acompañarse de métricas de calidad, seguridad y coste para entender cómo se ha conseguido.
¿Cómo se mide una respuesta que no tiene una única solución?
Mediante una rúbrica con criterios separados, ejemplos de referencia y revisión humana en una muestra representativa.
¿Cuándo puede actuar un agente sin aprobación?
Cuando la acción tiene un riesgo aceptable, existen validaciones suficientes y el rendimiento demostrado supera los umbrales definidos.
¿Hay que guardar todo lo que hace el agente?
Hay que guardar la trazabilidad necesaria para evaluar y depurar, respetando privacidad, seguridad y periodos de conservación.
Un agente no mejora porque utilice un modelo más grande. Mejora cuando observa sus resultados, aprende de los fallos y trabaja dentro de límites medibles. En el Laboratorio de automatización documento este tipo de sistemas y en el servicio de inteligencia artificial para empresas los aplico a procesos empresariales reales.