AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: probar cómo los modelos de lenguaje siguen los cambios de estado en documentos largos
Ai2 presenta StateBench, un benchmark de seguimiento de estado en contexto largo con cuatro niveles de dificultad, que evalúa qué tan bien los modelos de lenguaje siguen la información de las entidades a medida que evoluciona en documentos largos.
- StateBench tiene cuatro niveles de dificultad: r-trivial (asignación inmutable), aperiódico (reasignación por valor), soluble (actualizaciones autorreferenciales) y general finito (asignación por referencia).
Los desarrolladores de sistemas de contexto largo deberían evaluar las arquitecturas por separado según la complejidad del seguimiento de estado, ya que los transformers fallan en el nivel más difícil incluso con entrenamiento directo, mien...
Costo por tarea: usar clasificadores baratos para enrutar entre modelos Gemini y niveles de pensamiento
Una publicación del blog Google for Developers aborda el enrutamiento desde el costo por tarea, usando clasificadores baratos para enrutar entre modelos Gemini y niveles de pensamiento.
- La fuente es el blog Google for Developers, sobre el tema del costo por tarea.
- El enfoque usa clasificadores baratos para enrutar entre modelos Gemini y niveles de pensamiento.
Para quienes construyen con IA, dejar la decisión de enrutamiento en un clasificador de bajo costo permite asignar cómputo por tarea entre modelos y niveles de pensamiento.
Anthropic informa avances en inferencia demostrable para grandes modelos de lenguaje
Anthropic publicó una actualización de investigación sobre los avances hacia la inferencia demostrable en grandes modelos de lenguaje.
- La fuente es Anthropic; la categoría es investigación.
- El tema son los avances en inferencia demostrable para grandes modelos de lenguaje.
Los avances en inferencia demostrable podrían dar a los desarrolladores mayores garantías sobre la corrección del razonamiento, por lo que conviene seguirlos.
Agentic World Modeling para el escalado en tiempo de prueba de agentes sin réplica del entorno
El artículo presenta Agentic World Modeling (AWM), que reformula la predicción de la siguiente observación como una tarea de adquisición de evidencia en múltiples turnos: un simulador agéntico consulta el entorno real mediante interfaces seguras de solo lectura, razona sobre la evidencia devuelta y usa cómputo ejecutab...
- El artículo reporta que AWM supera a una línea base de simulación de un solo intento en un 40,07 % en promedio en τ-bench, AppWorld y OfficeBench.
- El artículo reporta que AWM supera a una línea base de world model entrenada en un 12,36 % en promedio.
- AWM consulta el entorno real mediante interfaces seguras de solo lectura y afirma que no modifica el estado compartido.
Para quienes construyen agentes, AWM ofrece una vía para explorar trayectorias en paralelo sobre un único entorno compartido sin replicarlo, lo que importa cuando el estado de producción no se puede reiniciar.
CWE-bench v2: más cobertura, calidad y transparencia
Collinear AI publica CWE-bench v2, un conjunto público de 100 tareas que abarcan 91 CWE con puntuación programática determinista, además de un conjunto reservado para seguir el progreso.
- El conjunto público contiene 100 tareas que cubren 91 CWE diferentes.
- De 11 modelos evaluados, Gemini 4 Argon lidera con 67,8 % pass@1 y 81,0 % pass@4, por delante de Claude Opus 5.5 con 67,3 % pass@1 y 78,0 % pass@4.
- 95 tareas son resueltas por al menos un modelo, pero incluso el líder falla el 19 % del conjunto en cada intento.
- DeepSeek V4.1 Flash alcanza 57,0 % pass@1 a 0,04 $ por rollout, Opus a 1,83 $ y Gemini a 3,92 $.
Los desarrolladores pueden ejecutar este benchmark determinista directamente desde el repositorio de Hugging Face y reutilizar los mismos entornos y verificadores como recompensas RL para entrenar agentes defensivos.
DeepSeek lanza el modo Creador y planea preentrenar su próximo gran modelo en chips Huawei Ascend
Según ThePaper.cn, DeepSeek lanzó el modo Creador y planea preentrenar su próximo gran modelo en chips Huawei Ascend.
- ThePaper.cn informa que DeepSeek lanzó el modo Creador.
- ThePaper.cn informa que DeepSeek planea preentrenar su próximo gran modelo en chips Huawei Ascend.
Si el próximo modelo se preentrena realmente en Ascend, los desarrolladores de IA deberán evaluar los costes de migración y la madurez de la cadena de herramientas fuera de NVIDIA.
Escalar Git en OpenAI: el backend Pando
OpenAI construyó Pando, un backend compatible con Git diseñado para la escala de desarrollo que Codex hace posible.
- Pando se describe como un backend compatible con Git.
- OpenAI afirma que Pando está diseñado para la escala de desarrollo que Codex hace posible.
Para los constructores de IA, esto indica que la adopción de agentes de programación está impulsando rediseños de la infraestructura interna de control de versiones.
baidu/Unlimited-OCR-2: un modelo OCR multimodal de 3,3B parámetros con SR-SWA para el análisis de documentos sin límite de longitud
Baidu publicó Unlimited-OCR-2, que utiliza Sparse Reference Sliding Window Attention (SR-SWA) para comprimir las interacciones de atención texto-visión en un conjunto de referencias de tamaño fijo (por ejemplo, 512 tokens), manteniendo la latencia de decodificación por paso y el uso de memoria casi constantes independi...
- El modelo tiene 3,3B parámetros, usa tipos de tensor I64 y BF16, y se publica bajo licencia MIT.
- SR-SWA comprime las interacciones de atención texto-visión a un conjunto de referencias de tamaño fijo (por ejemplo, 512 tokens), manteniendo la latencia de decodificación por paso y el uso de memoria casi constantes.
- El artículo reporta rendimiento de vanguardia tanto en benchmarks de decenas de páginas como MPDocBench como en benchmarks extremos de cientos de páginas como MarathonDocBench.
- Transformers se probó con Python 3.10, torch 2.13.0 y transformers 4.52.1 en una NVIDIA A800-80GB; se recomienda SGLang para el servicio.
Para quienes construyen canalizaciones de análisis de documentos, SR-SWA convierte el coste de atención de documentos largos de dependiente de la longitud a casi constante, permitiendo analizar documentos de cientos de páginas en una sola s...