Cómo saber si un agente de IA realmente hizo bien su trabajo

El problema: “terminado” no significa correcto

Cuando un agente responde que completó una tarea, solemos tratarlo como éxito. En flujos empresariales puede ser peligroso: una reserva, reembolso o cambio de estado puede quedar mal aunque la conversación parezca perfecta.

ThinkingBox construye un entorno para evaluar esa diferencia.

Qué evalúa ThinkingBox

Cada tarea comienza con un estado controlado, objetivo, herramientas y reglas. Después, jueces deterministas comparan el estado terminal y efectos secundarios con el resultado esperado.

La evaluación no depende de que el agente diga que tuvo éxito. Esa separación entre actor y juez es la idea reutilizable.

Qué encontraron

En el análisis publicado, alrededor del 79,9% de los fallos etiquetados correspondió a manejo de herramientas. Otros grupos incluyeron actualizaciones de estado incorrectas, resoluciones incompletas y ausencia de una acción de cambio.

La lección: antes de cambiar de modelo, revisa herramientas, precondiciones, recuperación de errores y verificación final.

ThinkingBox también repite tareas porque una ejecución correcta no demuestra confiabilidad. Para un proceso importante interesa saber con qué frecuencia produce el resultado correcto.

Cómo aplicar el patrón

1. Define el estado inicial

Prepara datos de prueba conocidos.

2. Especifica postcondiciones

Escribe qué debe cambiar, qué debe conservarse y qué efectos secundarios son aceptables.

3. Ejecuta el agente

Permite las herramientas normales del flujo.

4. Verifica desde fuera

Otro componente consulta base de datos, API o sistema final. No preguntes al agente si funcionó.

5. Repite

Ejecuta el mismo escenario varias veces. La consistencia importa cuando el proceso manejará clientes o dinero.

6. Añade aprobación humana donde revertir sea caro

Pagos, eliminaciones, publicaciones sensibles o cambios irreversibles deben conservar una barrera humana cuando el riesgo lo justifique.

Ejemplo aplicado al Radar IA

En el flujo actual de Radar IA, confirmar una aprobación debe dejar el artículo en approved y consumir sus enlaces de decisión, sin hacerlo público. La verificación debe consultar ese estado y comprobar que no aparezca en la vista pública. La publicación es una acción separada: cuando se autorice, debe verificarse el estado published, la fecha y la lectura pública; una respuesta HTTP 200 por sí sola no basta.

Qué medir

Éxito en primer intento, éxito repetido, errores de herramienta, actualizaciones incorrectas, efectos secundarios y costo por tarea confiablemente completada.

Limitaciones

ThinkingBox usa tareas sintéticas que reconstruyen patrones empresariales; no son clientes reales. Sus porcentajes no deben trasladarse directamente a nuestros sistemas. El valor está en el método.

Oportunidad comercial

Podemos incorporar “verificación de resultado” a nuestras automatizaciones: no vender solo un agente que ejecuta acciones, sino un sistema que comprueba postcondiciones, registra fallos y escala a una persona.

Conclusión

La respuesta del agente es una afirmación. El estado real del negocio es la evidencia.

Fuente y alcance

Consultar la fuente original. Fuente revisada el 13 de octubre de 2026. Las propuestas de aplicación de esta guía son recomendaciones editoriales; no son resultados medidos en nuestros proyectos.