AI FRONTIER
Signals worth understanding before they become obvious.
Manipulación de clasificaciones: las evaluaciones de modelos basadas en preferencias son vulnerables a la manipulación
El artículo informa de que las clasificaciones estilo Arena, que agregan comparaciones por pares de modelos anónimos mediante el modelo Bradley-Terry, son vulnerables al voto estratégico, al prompting estratégico y a la nominación estratégica.
- El artículo demuestra el voto estratégico, el prompting estratégico y la nominación estratégica sobre datos de clasificaciones públicas.
- El artículo informa de que cada ataque puede subir un modelo hasta 15-20 puestos en una clasificación y, combinados, hasta 45 puestos.
- El artículo señala que estos problemas se aplican a cualquier evaluación basada en preferencias que use el modelo Bradley-Terry y permita prompting, votación o envío de modelos abiertos.
Los equipos que construyen o dependen de clasificaciones estilo Arena necesitan salvaguardas contra la manipulación en la votación, el prompting y el envío de modelos, o los proveedores podrán inflar estratégicamente las posiciones.
Estimación de estado robusta y consciente de la tarea a partir de percepción preentrenada
El artículo propone un Conjunto de Creencias Mínimo con θ-confianza (MBS_θ), construido a partir de las probabilidades que un modelo de percepción ya produce, como las distribuciones de tokens de la capa de salida de un VLM, definido como el subconjunto mínimo de estados cuya probabilidad acumulada alcanza un umbral de...
- El artículo es de Guy Azran y Sarah Keren y aparece en NeurIPS 2026.
- MBS_θ se define como un subconjunto mínimo de estados cuya probabilidad acumulada alcanza un umbral de masa de creencia especificado por el usuario.
- PRaVaSS construye un MBS_θ con garantías de corrección y complejidad polinómica en el caso no restringido.
Para los desarrolladores de agentes, conservar las probabilidades del modelo de percepción en lugar de determinizarlas a una única mejor conjetura puede mejorar la robustez de las decisiones sin mantener una distribución completa sobre esta...
Together Compiler: compilación continua para inferencia de IA
Together AI presenta Together Compiler (TKCC), un bucle de agentes continuo para la optimización de inferencia de IA que combina un Tiered Persistent Engine con un modelo de costos para seleccionar configuraciones de paralelismo y así reducir el compromiso entre rendimiento de medición y fidelidad.
- El artículo reporta que TKCC supera hasta 1,7x a Megakernels escritos a mano y altamente optimizados en la carga de trabajo Llama 1B.
- El artículo reporta rendimiento de vanguardia con batch size 1: 1111 TPS en M3.1 Flash y 1205 TPS en DeepSeek v4.1 Flash.
- El artículo indica que TKCC sirve billones de tokens en la flota de producción de Together AI.
Para los equipos de serving de inferencia, TKCC plantea la compilación como un bucle continuo en línea en lugar de ajuste offline de kernels, aunque sus mejoras de velocidad son reportadas por el artículo y no verificadas de forma independi...
Limpiar el historial de un agente perjudica cuando el mundo aún contiene el error
El artículo congela a un agente a mitad de tarea con su estado exacto del mundo en AgentCE-Bench y AppWorld, edita el historial o el mundo y deja continuar a un modelo receptor, y halla que el efecto de una edición del historial depende del mundo que describe.
- AgentCE-Bench: tras confirmar el agente un valor erróneo, mantener el mundo fijo y añadir una nota veraz junto al error preservado eleva la recuperación del 51 % con una nota neutra emparejada al 66 %.
- AgentCE-Bench: añadir en su lugar la acción completada del propio agente reduce la recuperación por debajo del historial sin editar, del 50 % al 44 %.
- AppWorld: tras una escritura en base de datos, un recibo de éxito baja el éxito de la tarea completa del 45 % al 28 % cuando el efecto está ausente y lo sube del 38 % al 49 % una vez presente.
- El artículo informa de que los dos efectos difieren en 27 puntos agrupando dos receptores, positivo en seis de ocho receptores al 97,5 % y en siete al 95 %.
Quienes construyan sistemas de compactación o traspaso del historial de agentes deben alinear las ediciones del historial con el estado real del mundo, pues un historial que parece limpio mientras el mundo aún contiene el error puede dejar ...
SynthCorp: una plataforma para crear benchmarks para agentes de datos
El artículo presenta SynthCorp, una plataforma que crea patrimonios de datos y benchmarks personalizables al simular cómo los eventos empresariales producen y modifican datos corporativos a lo largo del tiempo, y la usa para generar benchmarks iniciales de siete patrimonios de datos y 256 tareas.
- Cada patrimonio de datos de SynthCorp combina bases de datos relacionales, un almacén de documentos y un catálogo de datos, junto con tareas de evaluación y programas de referencia ejecutables.
- Los benchmarks iniciales comprenden siete patrimonios de datos (hasta 1K tablas operativas) y 256 tareas en cinco dominios.
- El artículo reporta la evaluación de tres modelos en cuatro configuraciones de contexto de datos, mostrando que los benchmarks separan contextos de datos y niveles de modelos.
Para los equipos que construyen agentes de datos empresariales, SynthCorp ofrece una vía de generación de benchmarks personalizable que verifica programas de referencia sin anotación manual.
Yao Shunyu y Yang Zhilin firman su primer artículo conjunto: ninguna IA resolvió por sí sola uno de los 30 problemas matemáticos de nivel mundial
Un primer artículo conjunto de Yao Shunyu y Yang Zhilin informa que ninguno de los 30 problemas matemáticos de nivel mundial fue resuelto de forma independiente por una IA.
- El artículo es la primera publicación conjunta de Yao Shunyu y Yang Zhilin.
- El artículo abarca 30 problemas matemáticos de nivel mundial.
- El artículo informa que ninguno de los 30 problemas fue resuelto de forma independiente por una IA.
Para los desarrolladores de IA, el resultado reportado señala una brecha clara de los modelos actuales en problemas matemáticos que deben resolverse de forma independiente.