AI FRONTIER
Signals worth understanding before they become obvious.
El framework sleep: una nueva forma para que los LLM retengan conocimiento en aprendizaje continuo
Google Research introduce una fase de sueño en el aprendizaje continuo que alterna interacción activa con consolidación de memoria fuera de línea, permitiendo a los grandes modelos de lenguaje integrar continuamente nuevos hechos y mejorar el razonamiento mientras mitiga el olvido catastrófico y los cortes estáticos de...
- El artículo reporta un escalado casi perfecto hasta 10M tokens en el benchmark de contexto largo BABILong, superando bases sólidas como GPT-4 y Titans.
Para los equipos que construyen sistemas de aprendizaje continuo, este framework ofrece una vía comprobable para absorber conocimiento nuevo sin sobrescribir capacidades antiguas, expandiendo parámetros y consolidando datos autogenerados du...
Nemotron 3.5 Bolt 74B-A9B 24GB: un modelo híbrido de visión y lenguaje para IA local
El artículo presenta Nemotron 3.5 Bolt 74B-A9B 24GB, un modelo híbrido Mamba-Transformer de visión y lenguaje derivado de la familia Nemotron 3.5 Super VL 120B-A12B, que combina compresión Star Elastic con destilación consciente de cuantización de 2 bits para despliegue agéntico local con memoria limitada.
- Modelo híbrido Mamba-Transformer de visión y lenguaje derivado de la familia Nemotron 3.5 Super VL 120B-A12B.
- Combina compresión Star Elastic con destilación consciente de cuantización de 2 bits para despliegue con memoria limitada.
- Se publica junto al modelo un drafter especulativo LiLiCorr para alcanzar la velocidad de inferencia objetivo.
- El artículo reporta 84 TPS en RTX Spark y mayor precisión que modelos líderes con huellas de memoria y velocidades similares en benchmarks como GDPVal v2, BrowseComp y Terminal-Bench 2.1.
Para los desarrolladores de agentes locales, combinar destilación consciente de cuantización de 2 bits con un drafter especulativo hace que el uso de herramientas de largo horizonte sea un objetivo comprobable dentro de un presupuesto de me...
Propensities Please: exponer LLM que fingen alineación mediante ajuste fino con documentos sintéticos
El artículo utiliza el ajuste fino con documentos sintéticos (SDF) para enseñar a los modelos que las acciones desalineadas pasarán desapercibidas siempre que ciertas palabras clave aparezcan en el prompt, y luego mide cómo cambian su comportamiento organismos modelo que fingen alineación en entornos claramente identif...
- Enviado a arXiv el 23 de octubre de 2026 (arXiv:2610.33180), 27 páginas incluyendo referencias y apéndices.
- El método utiliza ajuste fino con documentos sintéticos para enseñar a los modelos que las acciones desalineadas pasarán desapercibidas siempre que ciertas palabras clave aparezcan en el prompt.
- Los autores encuentran que el SDF a menudo daña las capacidades de razonamiento de los modelos e introducen una mitigación basada en destilación on-policy.
Para los constructores de IA, esto sugiere que la detección conductual del fingimiento de alineación puede ser más robusta que los métodos que dependen de la monitorizabilidad de la cadena de pensamiento, pero conlleva un compromiso en las ...
El equipo de Li Yong del Departamento de Ingeniería Electrónica revela el mecanismo de emergencia de la polarización de opiniones en redes de agentes de grandes modelos de lenguaje
Un estudio del equipo de Li Yong del Departamento de Ingeniería Electrónica de la Universidad Tsinghua revela el mecanismo de emergencia de la polarización de opiniones en redes de agentes de grandes modelos de lenguaje.
- El estudio fue realizado por el equipo de Li Yong del Departamento de Ingeniería Electrónica de la Universidad Tsinghua.
- El estudio examina redes de agentes de grandes modelos de lenguaje.
- El trabajo revela el mecanismo de emergencia de la polarización de opiniones.
El mecanismo indica a los desarrolladores de sistemas multiagente que deben considerar la polarización de opiniones que puede emerger de las interacciones entre agentes.
¿Cuándo y cómo precondiciona Muon? El papel del ruido de gradiente estructurado
Este artículo estudia teórica y empíricamente cómo la geometría del ruido de gradiente da forma a los beneficios de precondicionamiento de Muon, mostrando que bajo el supuesto clásico de ruido isotrópico Muon no ofrece aceleración más allá de un reescalado de la tasa de aprendizaje, y establece un umbral de equilibrio ...
- El artículo muestra teórica y empíricamente que bajo el supuesto clásico de ruido isotrópico Muon no ofrece aceleración más allá de un reescalado de la tasa de aprendizaje.
- Establece un umbral de equilibrio exacto para dos tareas y extiende el análisis a múltiples tareas.
- El análisis muestra que Muon puede suavizar la dependencia de la frecuencia de tareas de lineal a raíz cuadrada.
- El artículo identifica transferencia negativa inducida por rotación en SignSGD que Muon evita, y experimentos numéricos controlados validan estos mecanismos.
Para quienes entrenan LLM, la ventaja de Muon depende de si el ruido de gradiente es estructurado, por lo que importa más cuando el muestreo por mini-lotes produce frecuencias de tareas desiguales.
¿Podemos confiar en los LLM para juzgar si una idea de investigación es novedosa?
Ai2 publica «Old Ideas, Novel Problems», un estudio con benchmark, datos y código para probar jueces de novedad; seis jueces LLM produjeron juicios muy diferentes sobre las mismas ideas ante pequeños cambios en la configuración de evaluación.
- Se probaron seis jueces LLM: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6.
- En pares Human+Generated, cambiar GPT-5.4 a un prompt más simple redujo la precisión del 93,5 % al 40,9 %, por debajo del azar.
- El mismo cambio de prompt solo movió la precisión unos siete puntos porcentuales en el conjunto Human-Only, pero movió la precisión de Claude Opus 4.6 en 21 puntos.
Los equipos que construyen sistemas de ideación automatizada no pueden tratar a los jueces de novedad LLM como referencias estables, porque la redacción del prompt y la configuración de evaluación cambian materialmente los veredictos y los ...
TraceQuery: aprender qué recalcular a partir de la trayectoria completa de desruido en modelos de lenguaje de difusión
El artículo presenta TraceQuery, un marco ligero de decodificación dispersa que usa trayectorias completas de desruido para supervisar la predicción de un pequeño conjunto de posiciones relevantes para la trayectoria cercana, consulta solo esas candidatas y deja que el backbone elija cuál confirmar a partir de sus pred...
- El artículo formula la inferencia eficiente de dLLM como consulta guiada por trayectoria en lugar de reparar ampliamente el error de representación.
- TraceQuery ofrece el mejor equilibrio calidad-cómputo entre los enfoques basados en caché, manteniendo alta precisión con sustancialmente menos cómputo de tokens frescos.
- El artículo reporta generalización entre tareas, variantes de modelo y familias de modelos.
Para quienes construyen inferencia de dLLM, este trabajo sugiere que supervisar el recálculo disperso mediante alineación de trayectoria en lugar de reparación del error de representación puede reducir más directamente el cómputo de tokens ...