AI FRONTIER

TurboMamba: inferencia más rápida, entrenamiento más rápido y mejor predicción con memoria léxica

El artículo presenta TurboMamba, una arquitectura de modelo de lenguaje en la que un modelo Mamba-3 global se ejecuta una vez por cada bloque de tokens completado y un Transformer pequeño usa ese contexto global y los tokens previos del bloque para predecir el siguiente token.

• Su NLL media es 9,4 % menor que la de Mamba-3, 7,3 % menor que la de la versión Jamba y 18,3 % menor que la de la versión Zamba.
• El rendimiento de entrenamiento de extremo a extremo es 2,60x el de Mamba-3, 2,81x el de la versión Jamba y 4,82x el de la versión Zamba.

Dado que las mejoras reportadas de pérdida y rendimiento se obtienen con parámetros y presupuesto de entrenamiento comparables, conviene reproducirlas en cargas de contexto largo o alto rendimiento antes de adoptarlas.

Nuevo modelo de OpenRouter: Reflection Beam 1.0 501B A23B

Beam 1.0 es el modelo de razonamiento de pesos abiertos de Reflection para programación y flujos de trabajo agénticos de largo horizonte; usa una arquitectura sparse mixture-of-experts con 501B de parámetros totales y 23B activos por token, una ventana de contexto de 1M de tokens y se publica bajo Apache 2.0.

• Arquitectura sparse mixture-of-experts: 501B de parámetros totales, 23B de parámetros activos por token
• Ventana de contexto de 1.048.576 tokens, con soporte de hasta 131.072 tokens de finalización
• Precio de 0,25 $ por 1M de tokens de entrada y 1,00 $ por 1M de tokens de salida
• Publicado el 16 de octubre de 2026, con corte de conocimiento el 30 de junio de 2026, bajo Apache 2.0

Para los equipos que construyen agentes de programación, Beam 1.0 combina pesos abiertos Apache 2.0, un contexto de 1M de tokens y solo 23B de parámetros activos por token, lo que hace disponible el razonamiento de largo horizonte ya sea au...

Expanding Attention: una ruta por series de Taylor hacia Transformers de tiempo lineal con un número fijo de estados recurrentes

El artículo expande el núcleo exponencial de la atención en una serie de Taylor truncada de n términos y factoriza cada término en un producto interno de potencias tensoriales, lo que colapsa el historial causal en exactamente n estados recurrentes, cada uno actualizado por un producto externo de rango uno por token e ...

• La recursión es sin pérdida respecto al núcleo truncado con 2,2 × 10^-16 en float64, y los estados son aditivos entre fragmentos con 5,7 × 10^-14, por lo que el prefill admite un escaneo paralelo.
• El artículo reporta exponentes medidos de t ∝ N^2,28 para softmax frente a N^0,91 para los estados, con un cruce en N ≈ 728 y 20,8× en N = 8192.
• La latencia de decodificación por token es constante en 7,3 μs frente a N^1,04 para softmax, lo que da 76,0× en N = 65536.
• La normalización de query y key es un requisito previo: sin ella el argumento supera el radio de convergencia y añadir términos deja de ayudar.

Para los desarrolladores, esto indica que la atención lineal de estados fijos solo compensa por encima de unos 728 tokens y exige normalización de query y key, sin la cual añadir términos de Taylor es ineficaz.

Nuevo modelo en OpenRouter: XingChen Xing4.0 29B A4B (gratis)

Xing4.0-29B-A4B es un modelo de lenguaje de mezcla de expertos con pesos abiertos del equipo de IA de China Telecom (TeleAI) y el sucesor de la serie TeleChat, con 29B de parámetros totales, 4B activos por token y una ventana de contexto nativa de 256K tokens.

• 29B de parámetros totales con 4B activos por token y una ventana de contexto nativa de 256K tokens; OpenRouter indica el contexto como 262.144 tokens.
• Entrenado íntegramente en NPU Ascend con el framework MindSpore.
• Ajustado para ingeniería compleja y trabajo de agentes: llamada a herramientas, planificación de varios pasos y ejecución de contexto largo; el razonamiento está activado por defecto y puede desactivarse.
• Gratis en OpenRouter, publicado el 16 de octubre de 2026, y admite tools y tool_choice para llamadas a funciones, además de salidas estructuradas mediante un esquema JSON en response_format.

Para quienes construyen agentes, es un endpoint MoE de pesos abiertos de 29B sin coste, con contexto de 256K y llamada a herramientas, útil para probar flujos de planificación de varios pasos con contexto largo.

The World Won't Wait: evaluar y enseñar a agentes bajo un reloj en vivo

El artículo presenta RealtimeBench, 180 tareas en seis tipos de juegos que evalúan a los agentes mientras los juegos siguen ejecutándose durante la inferencia, y propone TORSI, donde un profesor lento estudia los fallos y prueba correcciones entre intentos antes de escribir instrucciones reutilizables para un estudiant...

• RealtimeBench contiene 180 tareas en seis tipos de juegos, con los juegos siguiendo en ejecución durante la inferencia.
• Las evaluaciones emparejadas muestran que GPT-6.1-sol supera al más rápido Jev cuando los juegos están pausados, pero queda por detrás cuando siguen ejecutándose.
• En TORSI, el estudiante actúa sin llamadas al profesor durante el juego, y las puntuaciones de validación determinan qué actualizaciones se adoptan.
• El artículo reporta que dos rondas elevan la puntuación media de prueba de Jev de 13,51 a 24,19 en una escala de progreso de 0 a 100, mejorando los seis tipos de juegos.

Para quienes construyen agentes, el resultado muestra que la latencia puede invertir el ranking de modelos, por lo que conviene separar el aprendizaje offline lento de la ejecución online rápida en lugar de optimizar solo la inferencia de u...

Misma respuesta, nueva caja: ¿cuánto de la ganancia fuera de dominio de RLVR es formato de respuesta?

El artículo vuelve a puntuar las mismas salidas con extractores de respuesta copiados de código público y con su propio extractor: en cuatro pares base-RL 7B SimpleRL publicados, el 82 % de la ganancia fuera de dominio en opción múltiple que reportan esos extractores desaparece con el extractor de los autores, lo que i...

• En cuatro pares base-RL 7B SimpleRL publicados, el 82 % de la ganancia fuera de dominio en opción múltiple reportada por extractores copiados de código público desaparece con el extractor de los autores.
• Lectores LLM independientes en lugar del extractor de los autores sitúan la cifra en 77 %, y un prompt que pide la caja la sitúa en 79 % con el extractor de los autores.
• Los modelos base ya enuncian la mayoría de sus respuestas en texto, y el RL las traslada a la caja \boxed{}, donde estos extractores miran primero.
• En un par 32B entrenado con otra receta, casi ninguna de las ganancias reportadas es ganancia de formato: su modelo base pone las respuestas en la caja cuando se le pide, y su modelo RL rara vez lo hace cuando no.

Los desarrolladores deberían volver a puntuar las salidas almacenadas con un segundo extractor antes de interpretar las ganancias fuera de dominio de RLVR, porque una ganancia reportada es en parte propiedad del extractor que la leyó.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.