AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: codificación por libro de códigos de activaciones residuales de Transformer para inferencia distribuida en el borde eficiente en comunicación
El artículo presenta TRACE, un marco que coloca un cuantizador vectorial (VQ) en el residual posterior a la atención de cada capa Transformer y precalcula representaciones de clave/valor indexadas por libro de códigos, permitiendo a los receptores recuperar claves y valores mediante búsqueda en tabla en lugar de ejecut...
- En comparación con la inferencia secuencial paralela sin comprimir, TRACE reduce la sobrecarga de comunicación hasta 22.624x.
- El agrupamiento jerárquico estructura el libro de códigos aprendido en una jerarquía multirresolución, lo que permite adaptar la tasa de bits de comunicación en tiempo de ejecución sin reentrenamiento.
- El marco admite dos variantes de operación: una prioriza la precisión y la otra equilibra precisión y eficiencia mediante cuantización compatible con búfer.
Para quienes construyen inferencia distribuida en el borde, precalcular claves y valores como índices de libro de códigos elimina el cálculo posterior en el receptor y permite el solapamiento comunicación-cómputo, aunque las ganancias repor...
Structured Authority Injection: control humano persistente para agentes LLM mediante overrides MCP tipados
El artículo propone Structured Authority Injection (SAI), un protocolo que enruta las correcciones del operador mediante llamadas a herramientas Model Context Protocol (MCP) tipadas y validadas por esquema, y mantiene un contexto de autoridad clasificado antepuesto a cada prompt del LLM, sin requerir ajuste fino ni acc...
- El artículo reporta menor sobrecarga de prompt en los modelos más fuertes, de hasta el 38 % según el modelo y el escenario, aunque el beneficio varía sustancialmente entre modelos.
- El método no requiere ajuste fino ni acceso a los pesos del modelo y se aplica a LLM ajustados por instrucciones que admiten el uso de herramientas MCP.
Para quienes construyen orquestadores de agentes, SAI ofrece un patrón a nivel de protocolo para overrides humanos persistentes y tipados sin reentrenar modelos, pero el beneficio reportado varía sustancialmente según el modelo.
Dónde perjudica la reducción de expertos en prefill a los modelos MoE: unos pocos tokens de prompt concentran la mayor parte de la pérdida de F1 en respuestas cortas
Mediante intervenciones en tokens, capas y rutas de atención en cuatro familias MoE, el artículo localiza el daño de pasar los tokens del prompt por menos expertos enrutados durante el prefill: en Qwen3-30B-A3B la pérdida se produce en los dos tokens de plantilla de chat antes de la respuesta, y en DeepSeek-V2-Lite en ...
- Con la mitad de los expertos, la pérdida de F1 de tres familias es sobre todo forma de respuesta: el modelo aún encuentra la respuesta pero deja de responder de forma breve.
- En Qwen3-30B-A3B la pérdida se produce en los dos tokens de plantilla de chat antes de la respuesta; en DeepSeek-V2-Lite en los primeros 8-32 tokens del prompt, donde está su instrucción.
- Según la verosimilitud de la respuesta, estas posiciones explican aproximadamente la mitad y un quinto del daño.
- La reducción cambia la masa de atención, la norma y la mayor activación del primer token en menos del 4 %, y restaurar super experts o massive activations recupera como máximo alrededor de un cuarto de la pérdida.
Para el serving de MoE, mantener el enrutamiento a expertos completos en los extremos del prompt, especialmente en las posiciones de plantilla de chat e instrucción, preserva mejor el F1 en respuestas cortas que restaurar super experts o ma...
RealCLI: un benchmark unificado para la colaboración humano-agente en agentes CLI
El artículo presenta REALCLI, un benchmark emparejado que unifica la evaluación de la ejecución de tareas y la calidad de la colaboración humano-agente en tareas CLI realistas, con un marco de cinco dimensiones, 22 subdimensiones, 51 plantillas de escenarios de interacción y dos modos emparejados: REALCLI-EXEC y REALCL...
- REALCLI construye un marco de colaboración de cinco dimensiones, operacionalizado en 22 subdimensiones y 51 plantillas de escenarios de interacción.
- El artículo reporta que la mejor configuración alcanza una puntuación media de solo 49,2 %, y que el rendimiento máximo en la puntuación de colaboración conjunta J_collab llega apenas al 37,6 %.
- El artículo reporta que los modelos tienen dificultades consistentes en capacidad de dirección, calibración de confianza y gestión de límites de seguridad.
Para los desarrolladores de agentes CLI, la marcada divergencia entre efectividad de tareas y calidad de colaboración significa que optimizar solo la finalización de tareas no bastará para superar la evaluación en condiciones interactivas r...
FlashControl: generador controlable en un paso mediante profesores de flujo único aptos para destilación
El artículo presenta DeltaControl, que ajusta un subconjunto seleccionado de capas del modelo de difusión texto-a-imagen original para habilitar directamente la generación con condición espacial, sin añadir ramas condicionales adicionales. La destilación por pasos sobre este profesor produce FlashControl, un modelo de ...
- El artículo fue aceptado en NeurIPS 2026 y se envió el 15 de octubre de 2026.
- DeltaControl es un modelo de difusión de flujo único y múltiples pasos que, según el artículo, iguala el rendimiento de los enfoques de doble rama.
- FlashControl se obtiene aplicando destilación por pasos a DeltaControl y admite generación controlable espacialmente con una sola pasada hacia adelante.
- El artículo afirma que los modelos controlables existentes, como ControlNet, dependen de un diseño de doble rama que dificulta la destilación.
Para los desarrolladores de IA, esto muestra que se puede obtener un profesor controlable apto para destilación sin una arquitectura de doble rama, lo que reduce la barrera para la generación de imágenes controlable en un paso.
Trust but Verify: diseñar dinámicas forward no homogéneas por región para difusión discreta
El artículo combina kernels absorbentes y de mezcla uniforme con tasas dependientes de la región: las posiciones faltantes siguen una dinámica absorbente, mientras que el contexto sufre sustitución aleatoria de baja tasa, exponiendo al modelo a tokens observados pero inciertos durante el entrenamiento. En inferencia, u...
- Un finetuning de 8.000 pasos de un modelo de difusión enmascarado preentrenado de 170 M de parámetros tarda menos de cinco horas en una GPU de portátil de 6 GB.
- El modelo base asigna aproximadamente un 50 % de probabilidad a los tokens observados incluso cuando son basura uniformemente aleatoria.
- Ante corrupción uniformemente aleatoria, el finetuning detecta contexto corrupto con 0,96 de recall y 0,91 de precisión, y mejora el token-F1 de infill en 3,8 puntos con 10 % de corrupción y 6,4 puntos con 20 %.
Los resultados sugieren que se alcanza una confianza intermedia cambiando la dinámica forward en lugar de la arquitectura en un modelo de difusión discreta de 170 M, y que la detectabilidad y el daño dependen conjuntamente de la distancia a...