AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: 언어 모델이 긴 문서에서 상태 변화를 어떻게 추적하는지 테스트
Ai2가 긴 문맥 상태 추적을 위한 벤치마크 StateBench를 공개했다. 네 가지 난이도 수준으로 구성되며, 문서 내에서 엔티티 정보가 변화할 때 언어 모델의 추적 능력을 평가한다.
- StateBench는 r-trivial(불변 할당), aperiodic(값에 의한 재할당), soluble(자기 참조 업데이트), general finite(참조에 의한 할당)의 네 단계로 구성된다.
- 사전학습 모델 테스트에서 거의 모든 모델이 r-trivial에서 좋은 성능을 보였고, aperiodic에서는 입력이 길어질수록 정확도가 떨어졌으며, general finite에서는 우연 수준에 머물렀다.
- 네 가지 프런티어 모델 Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol과 Luna는 soluble 및 general finite에서 입력이 길어질수록 정확도가 급격히 하락해 가장 긴 general finite 문제에서 13% 이하로 떨어졌다.
- 처음부터 학습한 275M 파라미터 모델 중 Gated DeltaNet과 하이브리드 모델은 r-trivial, aperiodic, soluble에서 수만 번의 할당까지 거의 완벽하게 일반화했지만, transformer는 general finite를 학습하지 못했다.
긴 문맥 시스템을 구축하는 개발자는 상태 추적 복잡도별로 아키텍처를 따로 평가해야 한다. transformer는 직접 학습해도 최난도 수준을 학습하지 못하는 반면 Gated DeltaNet과 하이브리드 설계는 학습할 수 있다.
작업당 비용: 저렴한 분류기로 Gemini 모델과 사고 수준 간 라우팅
Google for Developers 블로그는 작업당 비용 관점에서 저렴한 분류기를 사용해 Gemini 모델과 사고 수준 사이를 라우팅하는 방식을 제시한다.
- 출처는 Google for Developers 블로그이며 주제는 작업당 비용이다.
- 방식은 저렴한 분류기로 Gemini 모델과 사고 수준 간을 라우팅하는 것이다.
AI 빌더에게 라우팅 판단 자체를 저비용 분류기가 맡으면 작업별로 모델과 사고 수준에 연산을 배분할 수 있다.
Anthropic, 대규모 언어 모델의 증명 가능한 추론 진전
Anthropic이 대규모 언어 모델의 증명 가능한 추론(provable inference) 진전에 관한 연구 업데이트를 공개했다.
- 출처는 Anthropic, 분류는 연구.
- 주제는 대규모 언어 모델의 증명 가능한 추론 진전.
증명 가능한 추론의 진전은 빌더에게 추론 정확성 보장 수단을 제공할 수 있어 주시할 가치가 있다.
환경 복제 없이 에이전트 테스트 시 확장을 위한 Agentic World Modeling
논문은 다음 관측 예측을 다중 턴 증거 수집 작업으로 재정식화한 Agentic World Modeling(AWM)을 제안한다. 에이전트형 시뮬레이터는 안전한 읽기 전용 인터페이스로 실제 환경에 질의하고, 공유 상태를 변경하지 않으면서 실행 가능한 계산으로 관측 결과를 구성한다.
- 논문은 τ-bench, AppWorld, OfficeBench에서 AWM이 단일 샷 시뮬레이션 기준선을 평균 40.07% 상회한다고 보고한다.
- 논문은 AWM이 학습된 월드 모델 기준선을 평균 12.36% 상회한다고 보고한다.
- AWM은 안전한 읽기 전용 인터페이스를 통해 실제 환경에 질의하며 공유 상태를 변경하지 않는다고 밝힌다.
- 기업 워크스페이스와 클라우드 서비스가 공유·영속적이어서 복제가 어렵거나 비용이 크고, 행동이 되돌릴 수 없는 부작용이나 궤적 간 간섭을 일으킬 수 있는 배포 환경을 대상으로 한다.
에이전트 개발자에게 AWM은 복제할 수 없는 공유 프로덕션 환경에서 궤적을 안전하게 병렬 탐색하는 방법을 제시한다.
CWE-bench v2: 더 넓은 커버리지, 품질, 투명성
Collinear AI가 91개 CWE를 아우르는 100개 공개 태스크를 제공하는 CWE-bench v2를 공개하고, 진행 상황 추적을 위한 비공개 홀드아웃 세트를 유지합니다.
- 공개 세트는 100개 태스크로 91개의 서로 다른 CWE를 포함합니다.
- 평가된 11개 모델 중 Gemini 4 Argon이 67.8% pass@1과 81.0% pass@4로 선두이며, Claude Opus 5.5는 67.3% pass@1과 78.0% pass@4입니다.
- 95개 태스크는 최소 한 모델이 해결했지만, 선두 모델도 매 시도마다 19%를 실패합니다.
- DeepSeek V4.1 Flash는 롤아웃당 0.04달러로 57.0% pass@1을 기록했고, Opus는 1.83달러, Gemini는 3.92달러입니다.
빌더는 Hugging Face 저장소에서 이 결정적 벤치마크를 바로 실행하고 동일한 환경과 검증기를 방어 에이전트의 RL 보상으로 재사용할 수 있습니다.
DeepSeek, 크리에이터 모드 공개…차세대 대형 모델은 Huawei Ascend 칩 기반 사전 학습 계획
ThePaper.cn 보도에 따르면 DeepSeek는 크리에이터 모드를 공개하고 차세대 대형 모델을 Huawei Ascend 칩 기반으로 사전 학습할 계획이다.
- ThePaper.cn 보도에 따르면 DeepSeek는 크리에이터 모드를 공개했다.
- ThePaper.cn 보도에 따르면 DeepSeek는 차세대 대형 모델을 Huawei Ascend 칩 기반으로 사전 학습할 계획이다.
차세대 모델이 실제로 Ascend에서 사전 학습된다면 AI 개발자는 비NVIDIA 학습 스택으로의 전환 비용과 툴체인 성숙도를 평가해야 한다.
OpenAI의 Git 확장: Pando 백엔드
OpenAI는 Codex가 가능하게 하는 개발 규모를 위해 설계된 Git 호환 백엔드 Pando를 구축했다.
- Pando는 Git 호환 백엔드로 설명된다.
- OpenAI는 Pando가 Codex가 가능하게 하는 개발 규모를 위해 설계되었다고 밝혔다.
AI 빌더에게 이는 코딩 에이전트 도입이 내부 버전 관리 인프라의 재설계를 이끌고 있음을 시사한다.
baidu/Unlimited-OCR-2: SR-SWA로 무한 길이 문서 파싱을 구현한 3.3B 파라미터 멀티모달 OCR 모델
바이두가 Unlimited-OCR-2를 공개했으며, Sparse Reference Sliding Window Attention(SR-SWA)을 통해 텍스트-시각 어텐션 상호작용을 고정 크기 참조 집합(예: 512 토큰)으로 압축해 문서 길이와 무관하게 단계별 디코딩 지연과 메모리 사용량을 거의 일정하게 유지한다. Transformers와 SGLang 추론을 지원하며 초장문 문서 파싱 벤치마크 MarathonDocBench도 함께 공개했다.
- 모델 크기는 3.3B 파라미터이며 텐서 타입은 I64와 BF16, 라이선스는 MIT이다.
- SR-SWA는 텍스트-시각 어텐션 상호작용을 고정 크기 참조 집합(예: 512 토큰)으로 압축해 단계별 디코딩 지연과 메모리 사용량을 거의 일정하게 유지한다.
- MPDocBench 등 수십 페이지 벤치마크와 MarathonDocBench 등 100페이지급 벤치마크 모두에서 SOTA를 달성했다고 보고되었다.
- Transformers는 Python 3.10, torch 2.13.0, transformers 4.52.1, NVIDIA A800-80GB에서 테스트되었으며 SGLang이 서빙에 권장된다.
문서 파싱 파이프라인을 구축하는 개발자에게 SR-SWA는 긴 문서의 어텐션 비용을 길이 의존에서 거의 일정하게 바꿔, 100페이지급 문서를 유한한 컨텍스트 윈도 내에서 단일 요청으로 파싱할 수 있게 한다.