AI FRONTIER
Signals worth understanding before they become obvious.
Presentamos AlphaProof Code: un avance en la verificación profunda de software complejo
Investigadores de Google DeepMind usaron AlphaProof Code, un marco agéntico, para verificar formalmente propiedades de seguridad clave del código real del protocolo Signal, con agentes que generaron más de seis millones de líneas de Lean.
- AlphaProof Code es un marco agéntico multi-LLM en el que expertos humanos deciden con IA qué demostrar y un grupo de agentes de IA realiza las pruebas.
- Los agentes generaron más de seis millones de líneas de Lean para demostrar propiedades de seguridad de la implementación del protocolo criptográfico de Signal.
- La revisión humana abarcó solo el uno por ciento del código, y Lean verificó automáticamente el resto.
- El proceso de verificación tomó cuatro semanas, una tarea que históricamente lleva años a equipos de expertos.
Para los constructores de IA, esto muestra que la demostración multiagente junto con la verificación automática de Lean puede llevar la verificación formal del nivel de diseño al código compilado real, concentrando la revisión humana en una...
Presentación del benchmark Multimodal Knowledge Agent
Google presenta el benchmark Multimodal Knowledge Agent para medir el rendimiento de los modelos en tareas específicas.
- El benchmark se llama Multimodal Knowledge Agent benchmark.
- La fuente es blog.google.
- El resumen del artículo indica que propone o utiliza una nueva evaluación de tipo benchmark para medir el rendimiento de los modelos en tareas específicas.
Los desarrolladores de IA pueden usar este benchmark para evaluar agentes de conocimiento multimodales en tareas específicas.
OpenRouter incorpora Baidu ERNIE-Light-DT-1.0
ERNIE-Light-DT-1.0 se basa en modelos GLM de código abierto e incorpora hallazgos del gran modelo Lightning de Baidu Search, con Baidu Sparse Attention (BSA) y compresión de historial guiada por retroalimentación para reducir el almacenamiento de la caché KV y el coste computacional.
- La ventana de contexto es de 1.024.000 tokens, con hasta 131.072 tokens de finalización.
- El precio es de 1,13 $ por millón de tokens de entrada y 3,94 $ por millón de salida, con lectura de caché a 0,113 $ por millón de tokens.
- Lo aloja un único proveedor, Baidu Qianfan, con 83 tok/s de rendimiento, 1,05 s de latencia y 100,00 % de disponibilidad en 3 días.
- Admite llamadas a funciones mediante tools y tool_choice, y salidas estructuradas mediante un esquema JSON en response_format.
Para quienes trabajan con contextos de un millón de tokens, BSA y la compresión de historial son los mecanismos que conviene medir en cargas reales de documentos y sesiones largas donde domina el coste de la caché KV.
Nuevo modelo de OpenRouter: Thinking Machines Inkling 2 Small (gratis)
Inkling 2 Small es un modelo de razonamiento multimodal de mezcla de expertos de Thinking Machines Lab, con 17B de parámetros activos sobre 594B totales, y el primer modelo de la segunda generación Inkling. Se entrenó con aprendizaje por refuerzo en tareas de programación de largo horizonte en numerosos agent harnesses...
- 17B de parámetros activos sobre 594B totales.
- Ventana de contexto de 1.048.576 tokens, con hasta 131.072 tokens de finalización.
- Acepta entrada de texto e imágenes y devuelve texto; sin soporte de audio.
- El endpoint gratuito solo está disponible para su uso con agent harnesses, y las indicaciones y salidas se registran y se usan para mejorar los modelos de Thinking Machines Lab.
Los desarrolladores obtienen una forma sin coste de probar un modelo de programación agéntica con contexto de 1M, pero las condiciones de registro del endpoint gratuito implican que no se deben enviar datos confidenciales ni personales.
RL-ATTACK: un ataque adversario de caja negra generalizado contra modelos de lenguaje mediante aprendizaje por refuerzo
El artículo propone un marco de aprendizaje por refuerzo de caja negra entrenable que aprende del modelo objetivo para generar transformaciones adversarias a medida, en lugar de adivinar transformaciones a partir de conocimiento externo. Reporta menor precisión posterior al ataque, mayor eficiencia de consultas y mejor...
- En inferencia de lenguaje natural, el artículo reporta llevar la precisión posterior al ataque al 2 % en 20 consultas.
- Frente a modelos de lenguaje generativos, el atacante entrenado logra de forma consistente menor precisión posterior al ataque que el atacante no entrenado.
- En comparación con una línea base fuerte basada en optimización, el artículo reporta victorias en 4 de 6 configuraciones.
- El artículo experimenta con múltiples diseños de recompensa y configuraciones de entrenamiento y no encuentra ningún diseño o configuración consistentemente dominante.
Para los constructores de IA, esto indica que los atacantes de caja negra pueden entrenarse a partir de las señales del propio modelo objetivo para exponer vulnerabilidades con menos consultas en la evaluación de seguridad.
Obsidian Security lanza un motor de políticas en tiempo de ejecución para controlar las acciones de los agentes de IA
Obsidian Security lanzó un motor de políticas en tiempo de ejecución para controlar las acciones de los agentes de IA. El lanzamiento fue reportado por Unite.AI.
- Obsidian Security lanzó un motor de políticas en tiempo de ejecución para controlar las acciones de los agentes de IA.
- El lanzamiento fue reportado por Unite.AI.
Para quienes construyen agentes de IA, la aplicación de políticas en tiempo de ejecución significa que las acciones del agente pueden restringirse en el momento de la ejecución en lugar de depender solo de la configuración estática previa a...