AI FRONTIER
Signals worth understanding before they become obvious.
리더보드 해킹: 선호도 기반 모델 평가는 조작에 취약
논문은 익명 모델 간 쌍대 비교 투표를 Bradley-Terry 모델로 집계하는 Arena 방식 순위가 전략적 투표, 전략적 프롬프트, 전략적 지명의 세 가지 조작에 취약하다고 보고했다.
- 논문은 공개 리더보드 데이터에서 전략적 투표, 전략적 프롬프트, 전략적 지명의 세 가지 조작 전략을 실증했다.
- 논문에 따르면 각 공격은 모델 순위를 최대 15-20계단 끌어올릴 수 있고, 결합하면 최대 45계단까지 끌어올릴 수 있다.
- 논문은 이러한 문제가 개방형 프롬프트, 투표 또는 모델 제출을 허용하는 Bradley-Terry 모델 기반의 모든 선호도 평가에 적용된다고 밝혔다.
Arena 방식 리더보드를 구축하거나 의존하는 팀은 투표, 프롬프트, 모델 제출 단계에 조작 방지 장치를 넣지 않으면 순위가 전략적으로 부풀려질 위험이 있다.
사전 학습된 인식 기반의 견고한 작업 인식 상태 추정
이 논문은 VLM의 출력층 토큰 분포 등 인식 모델이 이미 생성하는 확률을 활용해, 누적 확률이 사용자 지정 신념 질량 임계값에 도달하는 최소 상태 부분집합인 θ-신뢰 최소 신념 집합(MBS_θ)을 구성하는 방법을 제안한다.
- 논문은 Guy Azran과 Sarah Keren이 제출했으며 NeurIPS 2026에 게재되었다.
- MBS_θ는 누적 확률이 사용자 지정 신념 질량 임계값을 충족하는 최소 상태 부분집합으로 정의된다.
- PRaVaSS 알고리즘은 제약이 없는 경우 정확성 보장과 다항식 복잡도를 가진다.
- 저자들은 VLM을 상태 추정기 백본으로 사용해 이론적 성질, 문제 규모에 따른 확장성, 작업 계획 파이프라인에서의 하위 의사결정 개선을 검증했다.
에이전트 개발자에게는 단일 최선 추측으로 확정하는 대신 인식 모델의 확률을 유지함으로써 전체 기호 상태 분포를 유지하지 않고도 의사결정 견고성을 높일 수 있다는 의미다.
Together Compiler: AI 추론을 위한 지속적 컴파일
Together AI는 AI 추론 최적화를 위한 지속적 에이전트 루프인 Together Compiler(TKCC)를 제안하며, 계층형 영구 엔진과 병렬 구성 비용 모델로 측정 처리량과 충실도 간의 트레이드오프를 완화한다.
- 논문은 TKCC가 Llama 1B 주력 워크로드에서 고도로 최적화된 수작업 Megakernels보다 최대 1.7배 빠르다고 보고한다.
- 논문은 InferenceX 벤치마크에서 Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash 등 최신 프런티어 모델에 대해 여러 하드웨어 플랫폼에서 최고 오픈소스 엔진보다 최대 2.6배 높은 TPS를 달성했다고 보고한다.
- 논문은 배치 크기 1에서 M3.1 Flash 1111 TPS, DeepSeek v4.1 Flash 1205 TPS를 기록했다고 보고한다.
- 논문은 TKCC가 프로덕션 플릿에서 수조 개 토큰을 처리한다고 밝힌다.
추론 서빙 팀에게 TKCC는 커널 단위 오프라인 최적화에서 지속적 온라인 루프로의 전환을 보여주지만, 성능 수치는 논문 자체 보고이며 독립 검증이 아니라는 점을 유의해야 한다.
세상에 오류가 남아 있으면 에이전트 기록 정리는 오히려 해롭다
이 논문은 AgentCE-Bench와 AppWorld에서 에이전트의 세계 상태를 고정한 뒤 기록이나 세계를 편집하고 수신 모델이 이어받게 하여, 기록 편집의 효과가 그것이 기술하는 세계 상태에 달려 있음을 보였다.
- AgentCE-Bench: 에이전트가 잘못된 값을 확정한 뒤 세계를 고정하고 오류를 보존한 채 진실한 주석을 추가하면, 대응하는 중립 주석의 51%에서 회복률이 66%로 올라갔다.
- AgentCE-Bench: 대신 에이전트 자신의 완료된 행동을 추가하면 회복률이 편집되지 않은 기록의 50%에서 44%로 떨어졌다.
- AppWorld: 데이터베이스 쓰기 후 성공 영수증은 효과가 없을 때 전체 작업 성공률을 45%에서 28%로 낮추고, 효과가 있을 때는 38%에서 49%로 높였다.
- 논문은 두 수신 모델에 걸쳐 합산한 두 효과의 차이가 27포인트이며, 8개 수신 모델 중 6개가 97.5%, 7개가 95% 수준에서 양수였다고 보고한다.
에이전트 기록 압축이나 인수인계를 설계할 때 기록 편집을 세계의 실제 상태와 일치시켜야 하며, 그렇지 않으면 깨끗해 보이는 기록이 편집하지 않은 것보다 나쁠 수 있다.
SynthCorp: 데이터 에이전트를 위한 벤치마크 생성 플랫폼
이 논문은 비즈니스 이벤트가 시간에 따라 기업 데이터를 생성하고 수정하는 과정을 시뮬레이션하여 맞춤형 데이터 자산과 벤치마크를 만드는 플랫폼 SynthCorp를 제안하고, 7개 데이터 자산과 256개 태스크로 구성된 초기 평가 벤치마크를 생성했다.
- SynthCorp의 데이터 자산은 관계형 데이터베이스, 문서 저장소, 데이터 카탈로그를 결합하고 평가 태스크와 실행 가능한 골드 프로그램을 갖춘다.
- 초기 벤치마크는 7개 데이터 자산(최대 1K 운영 테이블)과 5개 도메인에 걸친 256개 태스크로 구성된다.
- 논문은 데이터 자산이 외래 키 위반, 미선언 쓰기, 재발 위반, 데이터베이스 실행 실패와 같은 결정론적 파이프라인 검사를 거의 0에 가까운 오류율로 통과한다고 보고한다.
- 논문은 4가지 데이터 컨텍스트 설정에서 3개 모델을 평가하여 벤치마크가 데이터 컨텍스트와 모델 계층을 구분함을 보여준다.
기업 데이터 에이전트를 구축하는 팀에게 SynthCorp는 수동 주석 없이 골드 프로그램을 검증할 수 있는 맞춤형 벤치마크 생성 경로를 제공한다.
야오치즈와 양즈린 첫 공동 논문, 수학 세계 난제 30개 중 AI가 단독으로 푼 문제 없어
야오치즈와 양즈린이 처음으로 공동 발표한 논문은 수학 세계 난제 30개 중 어느 것도 AI가 단독으로 풀지 못했다고 보고한다.
- 논문은 야오치즈와 양즈린의 첫 공동 발표다.
- 대상은 수학 세계 난제 30개다.
- 보고에 따르면 그 30개 문제 중 AI가 단독으로 푼 문제는 없다.
AI 빌더에게 이 결과는 독립적으로 해결해야 하는 수학 난제에서 현재 모델에 뚜렷한 공백이 있음을 시사한다.