Buena parte de lo que se sabe sobre los modelos de lenguaje tiene fecha de vencimiento, y es más corta de lo que parece. Un estudio de Owen Queen y James Zou, de la Universidad de Stanford, volvió a poner a prueba 50 hallazgos muy citados sobre estos sistemas usando 20 modelos lanzados entre julio de 2024 y septiembre de 2026 por ocho desarrolladores distintos. El resultado: el estudio clasificó como «vencido» al 44% de esas afirmaciones bajo sus criterios de evaluación, otro 34% se debilitó de forma importante, apenas el 16% se mantiene y un 6% incluso se reforzó.
El trabajo, publicado el 2 de noviembre en la página del grupo de investigación de Zou en Stanford, se titula en inglés «La vida útil de los hallazgos sobre LLM». Los autores repitieron para cada afirmación el mismo experimento del artículo original con su panel de modelos, grandes y pequeños, abiertos y cerrados, y ajustaron una línea de tendencia para ver cómo cambia el efecto según la fecha de lanzamiento de cada modelo. El criterio principal de vencimiento fue que la curva ajustada quedara en una quinta parte del efecto original o menos al 30 de septiembre de 2026; dos casos se clasificaron por los resultados de los modelos más recientes. Esto no supone que la falla desaparezca en todos los modelos.
El caso que abre el estudio es ilustrativo. En 2023, dos investigadores pidieron a ChatGPT, que entonces funcionaba con GPT-3.5, que escribiera breves revisiones de literatura y buscaron cada trabajo citado: el 55% de las referencias era inventado. Con esas instrucciones, los investigadores encontraron muy pocas citas inventadas en GPT-6.1 Sol y Claude Sonnet 5.5. Según The Decoder, que cubrió el estudio el 3 de noviembre, GPT-6.1 Sol no inventó ninguna y Claude Sonnet 5.5 inventó el 1%, aunque Qwen3.7-Flash todavía fabricó el 69%. La conclusión no es que el problema desapareció, sino que depende del modelo concreto.
Entre los hallazgos vencidos hay varios que circularon mucho en redes y en la prensa: los errores al contar las letras de una palabra como strawberry, la aritmética en sistemas numéricos distintos del decimal, la pérdida de información situada en la mitad de un texto largo y la tendencia a abandonar una respuesta correcta cuando el usuario insiste. Según los autores, predominan las fallas de capacidad cuyo efecto se redujo bajo los criterios del estudio, con diferencias entre modelos. También se desvanecieron otros efectos, como la filtración de datos privados en resúmenes de reuniones. Para los 22 hallazgos con fecha estimada de vencimiento, el tiempo entre su publicación y su vencimiento fue en promedio de 15,7 meses, con una mediana de 14,7, según el estudio.
Lo que no cambia es igual de importante. Según la página del estudio, los efectos que persisten o se refuerzan tienen que ver más con preferencias y criterio que con capacidad: la adulación y la tendencia a darle la razón al usuario, los modelos que actúan como jueces y prefieren sus propias respuestas, las respuestas casi idénticas ante preguntas abiertas, una inclinación política hacia la izquierda, la generación de números aleatorios que no son realmente uniformes y la costumbre de responder cuando deberían abstenerse. Hay además un grupo intermedio de efectos debilitados pero vigentes, como la llamada maldición de la inversión, las preguntas que exigen encadenar dos datos, la invención de nombres de paquetes de software y la vulnerabilidad ante intentos de vulneración e inyección de instrucciones.
Por eso los autores advierten, según The Decoder, que estos resultados no deben leerse como una señal de que todo está resuelto. Que un modelo ya no cuente mal las letras no significa que haya dejado de ser complaciente, y un riesgo de seguridad que se debilitó sigue siendo un riesgo.
La recomendación central del estudio apunta a quienes investigan y a quienes leen: los hallazgos empíricos sobre modelos de lenguaje deberían presentarse como observaciones sobre modelos específicos en un momento determinado. En la práctica, eso implica documentar siempre el modelo, la versión y la fecha, y publicar las instrucciones y el código de análisis para que el experimento pueda repetirse con los modelos que vengan.
Para quien sigue la IA desde fuera de la academia, el estudio deja una guía de lectura útil. Ante cualquier titular del tipo «la IA no puede hacer X» o «la IA siempre hace Y», conviene preguntar tres cosas: con qué modelo se probó, cuándo se hizo la prueba y si alguien la repitió con modelos actuales. Un hallazgo de hace un año y medio puede seguir siendo cierto, pero ya no se puede dar por sentado. Y en sentido contrario, que los modelos mejoren en tareas concretas no borra los problemas de fondo que, según este trabajo, se mantienen o incluso crecen.

