AI FRONTIER
Signals worth understanding before they become obvious.
Cómo especializar el vocabulario de los SLM puede recortar el coste de inferencia un 77% en aplicaciones reales
VocabX, de Dharma-AI, reconstruye el vocabulario de un modelo en torno al coste de cada token en lugar de su frecuencia, sin cambiar el modelo base, los datos ni la receta de entrenamiento, y reporta una reducción medida del coste de inferencia del 77,0 % en un corrector de ensayos en portugués.
- El corrector se basa en Qwen3-4B y su capa de salida pasó de unas 152.000 a unas 65.000 filas.
- Se entrenaron siete versiones del corrector con el mismo modelo base, datos, receta y semilla; la única diferencia era el tokenizador, y todas ejecutaron las mismas 500 peticiones en una RTX 5090 con vLLM.
- La respuesta del modelo bajó de 350 a 101 tokens de media, el coste cayó un 77,0 % y la puntuación bench subió de 0,703 a 0,810.
- El artículo reporta que VocabX comprimió más que el método de referencia más fuerte en las quince combinaciones de cinco dominios públicos y tres familias de modelos, entre 1,2 y 9,3 puntos.
Para un modelo pequeño de un solo dominio, el tokenizador es una palanca de coste fijada antes de cualquier paso de entrenamiento, y reconstruirlo según el coste del lado de generación reduce el gasto de servicio sin cambiar el modelo base.
Los Transformers aprenden dos algoritmos de ordenación en competencia, y solo uno generaliza en longitud
El artículo informa de que Transformers de dos capas entrenados hasta una pérdida cercana a cero en una tarea de ordenación convergen a una de dos clases de solución mecánicamente distintas según su inicialización. Una clase no usa la segunda capa de atención para ordenar y falla en generalizar en longitud, mientras qu...
- El artículo informa de que, eligiendo cuidadosamente la inicialización de pesos, los autores pueden dirigir el modelo hacia el aprendizaje de una solución u otra.
- El artículo identifica tipos de entrada raros en la longitud de entrenamiento pero cada vez más comunes en longitudes de secuencia mayores como fuente de esta disparidad en la generalización en longitud.
- El artículo halla que la especialización por capas de la segunda clase de soluciones les permite manejar estas secuencias raras con mayor precisión.
Para quienes construyen modelos de secuencias, la inicialización puede determinar si el entrenamiento produce un algoritmo que generaliza en longitud o uno que no generaliza, lo que convierte la inicialización y la especialización por capas...
NVIDIA Kumo Relational supera al aprendizaje automático supervisado en datos relacionales, sin entrenamiento
NVIDIA publicó Kumo Relational, un modelo fundacional relacional preentrenado que predice directamente sobre bases de datos empresariales: dada una consulta predictiva, reúne hasta 10.000 ejemplos históricos como contexto y predice en una sola pasada hacia adelante, sin entrenamiento específico de tarea, ingeniería de ...
- En tareas de clasificación de RelBench V1, Kumo Relational supera a los árboles de gradiente boosting sobre características diseñadas por expertos en casi 4 puntos AUROC en promedio.
- En el benchmark empresarial SAP SALT, supera a los conjuntos AutoGluon en un 8 % en rango recíproco medio (MRR), y el ajuste fino amplía la ventaja al 16 %.
- Rinde bien con tan solo el 0,2 % de los datos de entrenamiento como contexto, se mantiene estable cuando se eliminan hasta el 75 % de los enlaces de clave externa y apenas se degrada al añadir muchas columnas ruidosas.
- El código se publica bajo licencia Apache 2.0 y los pesos del modelo bajo el OpenMDW License Agreement, versión 1.1; está disponible mediante la biblioteca structured-data-models o como NVIDIA NIM.
Para los equipos que construyen predicciones empresariales, Kumo Relational ofrece una alternativa sin entrenamiento a los pipelines de características de XGBoost, aunque los modelos supervisados específicos de tarea aún pueden superar las ...
Más allá de las clasificaciones escalares: muestreo adaptativo para la identificación de la frontera de Pareto en arenas LLM multiobjetivo
El artículo presenta Vector-Borda Empirical-Gap Elimination (VB-EGE), un algoritmo de muestreo adaptativo de confianza fija para identificar eficientemente modelos en la frontera de Pareto en evaluación tipo arena, donde cada comparación evalúa un par de modelos sobre un prompt respecto a una dimensión de rendimiento s...
- El artículo establece además una cota inferior en el peor caso que muestra que VB-EGE es minimax-óptimo salvo factores logarítmicos.
- Simulaciones y experimentos en tres conjuntos de datos de arena del mundo real (Arena, SearchArena y VisionArena) demuestran la eficacia empírica de VB-EGE.
- El artículo tiene 51 páginas, incluidas referencias y apéndices, y se envió el 20 de octubre de 2026.
Para la evaluación de LLM que depende de retroalimentación humana costosa, VB-EGE ofrece una estrategia de muestreo que reduce las comparaciones mientras identifica fronteras de compromiso multiobjetivo con confianza fija.
MIT^3: internalización de memoria mediante entrenamiento en tiempo de prueba para la comprensión de vídeos largos
El artículo presenta MIT^3, un marco de adaptación por vídeo que escribe cada vídeo largo en parámetros adaptativos compactos y específicos del vídeo para responder preguntas sin vídeo y solo con texto. El trazado causal selecciona las ubicaciones de adaptación, y la destilación de memoria visual entrena la memoria de ...
- El artículo reporta respuesta a preguntas sin vídeo y eficiente en datos en LVBench, LongVideoBench y Video-MME.
- El artículo afirma usar sustancialmente menos muestras sintetizadas que métodos previos de memoria de vídeo parametrizada.
- El método usa trazado causal bajo supervisión multiescala compacta para medir la utilidad de memoria causal de cada capa del modelo para responder con base en el vídeo.
- La destilación de memoria visual entrena la memoria de solo texto para reproducir el cambio de representación inducido por el clip de vídeo relevante.
Para quienes construyen sistemas de preguntas y respuestas sobre vídeos largos, este trabajo indica que la internalización depende tanto de dónde se escribe el conocimiento del vídeo como de cómo se destila la evidencia visual, no solo de a...
Rúbricas guiadas por expertos como señales de recompensa densas para el aprendizaje por refuerzo en dominios no verificables
El artículo presenta un método que convierte una pequeña inversión fija de juicio de expertos en una recompensa densa y la combina con métricas de recuperación para formar una señal de entrenamiento híbrida compatible con GRPO, destinada a tareas de recuperación no verificables como los servicios financieros.
- El artículo reporta mejoras de hasta 6 % en Recall@3 y 6,7 % en MRR@3 en comparación con las líneas base de recompensa sparse.
- El método convierte una pequeña inversión fija de juicio de SME en una recompensa densa y la combina con métricas de recuperación para formar una señal de entrenamiento híbrida.
- El artículo se envió el 17 de octubre de 2026, tiene 11 páginas y 4 figuras, y forma parte del RL4LLM-Agents workshop ICAIF ACM.
Para los equipos que construyen agentes en dominios no verificables, este resultado indica que convertir un pequeño conjunto de rúbricas de expertos en recompensas densas puede mitigar el estancamiento de la optimización de GRPO con recompe...
Generación de código RTL Pareto-óptima mediante aprendizaje por refuerzo multiobjetivo con grandes modelos de lenguaje
El artículo propone un método de aprendizaje para la generación de circuitos basada en LLM que optimiza la calidad y diversidad del conjunto completo de circuitos obtenido mediante múltiples generaciones en el espacio de objetivos PPA, en lugar de la calidad de un solo circuito. El método consta de un pipeline de entre...
- El artículo reporta +13,3 puntos porcentuales de Hypervolume relativo frente a una línea base sin optimización PPA en el benchmark RTLLM v2.
- El artículo reporta +14,4 puntos porcentuales de Hypervolume relativo frente a un método de aprendizaje por refuerzo de objetivo único.
- El artículo afirma que el método también demuestra superioridad en diversidad de circuitos.
- El artículo fue aceptado en COLM 2026 y enviado el 16 de octubre de 2026.
Para los constructores de IA, tratar los compromisos PPA como un problema de cobertura Pareto a nivel de conjunto proporciona candidatos RTL diversos que pueden seleccionarse a posteriori cuando cambian las restricciones de diseño.