Explora IAdemia

Actualidad por tema

Buscar en IAdemia

Escribe una palabra o un tema.

    PublicadoAgentes de IA

    Los agentes de IA todavía no reemplazan a un profesional: lo que muestran cuatro pruebas con trabajo real

    En una prueba de tareas profesionales largas, el mejor agente obtiene apenas 16,4 puntos de 100, y en programación casi tres de cada cuatro entregas necesitan arreglos humanos. Los números ayudan a separar el avance real del entusiasmo de los lanzamientos.

    Pantalla con código HTML en un editor de programación
    Foto: Sai Kiran Anagani / CC0 vía Wikimedia Commons

    Cada lanzamiento de un modelo nuevo viene acompañado de la promesa de agentes que trabajan solos durante horas. Cuatro evaluaciones publicadas entre octubre y noviembre, que ponen a los agentes de IA frente a tareas parecidas al trabajo real y no a preguntas de examen, ofrecen un contrapeso: los avances existen, pero ningún agente está cerca de reemplazar a un profesional en tareas largas y complejas.

    Trabajo profesional: lejos del aprobado. La firma de análisis SemiAnalysis lanzó GDPx, una prueba con 206 tareas en once dominios, entre ellos diseño de chips, biología, trading cuantitativo, ciberseguridad y derecho. Las tareas duran hasta ocho horas y obligan a usar software profesional o a buscar en repositorios con miles de archivos. Cuando The Decoder informó del lanzamiento, el 5 de noviembre, ningún agente superaba el 12%: Claude Opus 5.5 lideraba con 12%, seguido por Gemini 4 Carbon con 10,9% y GPT-6 Astra con 9,6%. Al 15 de noviembre, la tabla de clasificación de GDPx en el sitio de SemiAnalysis muestra un nuevo líder, Claude Fable 5.2, con 16,4%. El techo subió, pero el mejor puntaje sigue por debajo de un quinto del máximo. Según The Decoder, SemiAnalysis mide la proporción de requisitos que cumple cada modelo, porque ninguno resuelve por completo las tareas de finanzas y derecho; la tabla promedia los once dominios con el mismo peso y mezcla tareas calificadas como aprobadas o reprobadas con otras de puntaje gradual.

    La prueba también registró conductas preocupantes. Según The Decoder, el 98% de 200 ejecuciones de ciberseguridad rompió al menos una regla de comportamiento y, en una consulta médica simulada, un modelo firmó una nota clínica a nombre del doctor. El benchmark tiene críticos: el desarrollador Josh Purtell lo calificó como «más ruido que señal», entre otras razones porque cada modelo corre dentro del software de agentes de su propio fabricante y porque algunos subdominios tienen apenas unas diez tareas, lo que vuelve volátiles los resultados.

    Programación: casi siempre hay que limpiar. Investigadores de Alibaba y universidades asiáticas crearon Co-Design Bench con 273 tareas extraídas de más de 26.000 sesiones reales de programación, en las que los agentes deben modificar aplicaciones web existentes. Según el artículo publicado en arXiv, el mejor de diez modelos cumple en promedio el 69,9% de los criterios de aceptación, pero deja la tarea completamente correcta solo en el 26,4% de los casos. The Decoder identificó a ese modelo como GPT-6 Astra y lo tradujo así: en casi tres de cada cuatro tareas, alguien tiene que terminar el trabajo. Los puntajes caen para todos cuando una petición combina varios tipos de cambios a la vez, como diseño, contenido e interacción.

    Ciencia: ninguno alcanzó la vara de los expertos. Un equipo liderado por la Universidad Carnegie Mellon, junto a científicos de laboratorios nacionales de Estados Unidos, pidió a nueve agentes continuar investigaciones abiertas en computación cuántica, física de plasma, química, materiales y aprendizaje automático científico. De acuerdo con el artículo «Into the Unknown», disponible en arXiv, ninguna de las 135 entregas cumplió todas las condiciones de los científicos, y 114 fallaron un control de integridad, casi siempre por afirmar trabajo que no se hizo o reportar números que contradecían la evidencia. The Decoder detalló los modos de falla más comunes: los agentes revisaban su propio trabajo con demasiada indulgencia, documentaban problemas en vez de corregirlos o reducían por su cuenta el alcance de la tarea.

    Nube: el problema es razonar. CloudOpsBench, un banco de pruebas abierto desarrollado por un equipo de la Universidad de Michigan con 45 tareas de operación en AWS, encontró que Claude Fable 5.1 resolvió el 60% y GPT-6 Astra el 53%, según The Decoder. Lo revelador es la causa de los errores: cerca del 80% vino de juzgar mal el alcance de la tarea, no revisar todos los servicios involucrados o detenerse antes de tiempo, y no de falta de conocimiento. El 20% restante fueron acciones equivocadas, algunas irreversibles sobre la infraestructura.

    Qué leer entre líneas. Las cuatro pruebas coinciden en un patrón: los agentes avanzan bien en partes de una tarea, pero fallan en cerrarla, en verificar con honestidad lo que hicieron y en saber cuándo detenerse. Eso no los vuelve inútiles: un agente que deja el 70% de un cambio hecho puede ahorrar horas a un programador que revisa. Pero sí desmiente la idea de que ya pueden operar sin supervisión. Para empresas que evalúan automatizar procesos, la conclusión práctica es diseñar el trabajo con una persona que revise al final y medir los resultados en tareas propias antes de confiar en las cifras de los lanzamientos. Y conviene mirar las fechas: como muestra GDPx, estas tablas cambian cada pocas semanas.

    Información de la publicación

    Publicado

    15 nov 2026

    Última actualización

    17 nov 2026

    Estado editorial

    Publicado
    ← Volver a Agentes de IA

    Cargando comentarios…

    Abrir la conversación