AI FRONTIER
Signals worth understanding before they become obvious.
Magnetar를 통한 증명 기반 범용 컴퓨팅
Microsoft Research가 Rust, Go, C로 작성된 RISC-V 프로그램 실행을 증명하는 범용 영지식 가상 머신(zkVM) Magnetar를 공개했다. 보안은 표준 해시 함수에만 의존한다.
- Magnetar는 노트북에서 초당 720만~870만 개의 프로세서 명령을 증명한다.
- 15개 벤치마크 프로그램에서 논문은 동일 머신의 가장 빠른 기존 zkVM보다 평균 10~39배 빠르고, 토큰 전송 벤치마크에서는 다른 두 시스템보다 300배 이상 빠르다고 보고한다.
- 최적화된 Magnetar는 초당 950만~1280만 사이클을 증명하여 보고된 각 속도 향상을 약 1.3배 높이며, 증명 검증은 약 12밀리초가 걸린다.
- 보안은 SHA-256 또는 SHA-3 같은 표준 해시 함수에만 의존하며, 타원 곡선, 격자, 특수 목적 해시 함수, 신뢰 설정, 증명되지 않은 오류 정정 부호 추측이 필요 없다.
AI 빌더에게 Magnetar는 일반 컴파일 프로그램을 암호 전문 지식 없이 증명 가능하게 하고, 포스트 양자 마이그레이션 부담을 제거한다.
상하이AI랩 '서생-S2' 대형 모델, 최전선 수학 연구 과정에 진입: 3차원 Ghys 추측 증명 지원 및 형식 검증 통과
상하이AI랩의 '서생-S2' 대형 모델이 최전선 수학 연구 과정에 진입해 3차원 Ghys 추측 증명을 지원하고 형식 검증을 통과했다.
- 상하이AI랩의 '서생-S2' 대형 모델이 최전선 수학 연구 과정에 진입했다.
- 이 모델이 3차원 Ghys 추측 증명을 지원했다.
- 관련 증명은 형식 검증을 통과했다.
대형 모델이 최전선 수학 증명에 참여해 형식 검증 가능한 결과를 낼 수 있음을 보여주며, AI 지원 수학 연구의 검증 가능한 과정 사례가 된다.
OpenRouter에 NVIDIA Nemotron 3.5 Super VL 공개, 멀티모달 MoE 모델
NVIDIA Nemotron 3.5 Super VL은 전체 120B 파라미터 중 12B를 활성화하는 오픈 멀티모달 MoE 모델로, 하이브리드 Mamba-Transformer 아키텍처와 멀티 토큰 예측을 사용하며 1M 토큰 컨텍스트를 지원한다.
- 전체 파라미터 120B, 활성 파라미터 12B이며 하이브리드 Mamba-Transformer 아키텍처와 멀티 토큰 예측을 채택.
- 컨텍스트 윈도우는 1,048,576 토큰이고 최대 262,144개의 완성 토큰을 지원.
- 입력은 텍스트, 이미지, 문서, GUI 스크린샷, 비디오를 받고 텍스트를 출력하며, 추론은 기본 활성화 상태로 끄거나 토큰 예산을 지정할 수 있음.
- OpenRouter 가격은 1M 입력 토큰당 $0.10, 출력 토큰당 $0.40, 캐시 읽기 $0.08/M이며 Crusoe, Together, DeepInfra, CoreWeave 4개 제공자가 서비스.
장시간 실행되는 에이전트를 만드는 팀에게 12B 활성 파라미터로 1M 컨텍스트와 시각 입력을 제공하므로 문서 인텔리전스, GUI 조작, 비디오 이해를 하나의 모델로 처리할 수 있다.
Joint Subspace Sparse Attention: 효율적인 장문맥 디코딩을 위한 희소 어텐션
JSSA는 공유 저차원 query-key 부분공간을 학습해 토큰 단위 희소 선택의 순위 품질을 높이고, GQA KV-cache 레이아웃에서 KV 헤드별로 서로 다른 선택을 지원하는 gather 없는 토큰 단위 인덱스 어텐션 커널을 개발했다.
- 논문은 NVIDIA B200 GPU에서 128K 컨텍스트 기준 JSSA의 디코딩 처리량이 full-KV attention의 최대 6.43배에 달한다고 보고한다.
- 논문은 표준 GQA, 하이브리드 sliding-window/global attention, Multi-head Latent Attention (MLA) 모델에서 JSSA가 full-KV 정확도에 근접한다고 밝힌다.
- 논문은 JSSA가 모델 학습 없이 모델 네이티브 DSA에 필적하는 추론 정확도를 달성하고 700B 규모 대형 모델에서도 그 디코딩 처리량의 96–99%에 도달한다고 보고한다.
- 논문은 정확한 목적함수를 직접 정교화하는 것이 테스트 설정에서 측정 가능한 개선을 주지 않았다고 밝힌다.
장문맥 추론을 구축하는 개발자에게 JSSA는 토큰 단위 희소 선택과 gather 없는 커널을 결합해 기존 GQA 및 MLA KV-cache 레이아웃에서 디코딩 비용을 직접 낮춘다는 점이 중요하다.
WorldMemBench: 비디오 월드 모델의 기억을 평가하는 종합 벤치마크
논문은 WorldMemBench를 제안하며, 260개의 테스트 케이스로 비디오 월드 모델의 세계 기억을 체계적으로 평가한다. 정적 기억(인물 정체성과 외형, 객체 외형과 기하, 환경 내용과 기하)과 동적 기억(이벤트 진행과 상태 지속)을 다룬다.
- 벤치마크는 260개의 테스트 케이스에서 정적 기억과 동적 기억을 평가한다.
- 통제된 카메라 이탈과 다중 재방문 궤적을 사용해 정적 콘텐츠는 고정된 초기 참조와, 동적 이벤트는 예상 상태 전이와 비교한다.
- 대표 모델 9개를 평가한 결과 강한 정적 유지가 신뢰할 수 있는 동적 상태 진화를 의미하지는 않았다.
- 반복 재방문에서는 첫 번째 복귀 이후 기억 저하가 나타났으며, 인간 연구는 자동 평가와 인간 판단의 일치를 뒷받침한다.
비디오 월드 모델을 만드는 팀에게 이 벤치마크는 기억을 측정 가능한 정적·동적 축으로 분해하며, 정적 유지 능력으로 재방문 시 상태 지속을 대신 판단할 수 없음을 보여준다.
비슷한 모델, 깨진 승산: Chatbot Arena에서 Luce 공리가 실패하는 지점
논문은 Chatbot Arena가 Bradley-Terry 모델로 각 모델에 단일 점수를 부여하므로 Luce 선택 공리를 가정한다고 지적하며, 180만 개 Arena 투표에서 한 모델의 버전 간 투표가 Bradley-Terry 예측보다 더 결정적임을 보인다.
- 180만 개 Arena 투표에서 한 모델의 버전 간 투표는 Bradley-Terry 예측의 1.37배로 결정적이었다.
- 한 세대의 크기 간에는 1.26배, 한 연구실의 모델 간에는 1.12배였다.
- 4~6개 파라미터 보정은 수백 개 파라미터 모델과 Bradley-Terry보다 홀드아웃 투표를 더 잘 예측했으며, 이득은 주로 동점에 집중되었다.
- 언어 모델 심판과 세 답변 메뉴에서 거의 동일한 모델은 프롬프트를 통합한 선택에서 주로 쌍둥이 모델로부터 표를 가져갔고, 로그 오즈 이동은 +0.10, 95% 구간은 0.05~0.16이었다.
빌더에게 이는 Arena식 쌍대 비교에서 거의 동일한 모델 간 승률이 체계적으로 과대평가될 수 있음을 뜻하므로, 유사 모델의 단일 점수 순위는 신중히 해석해야 한다.
fishaudio/drama-3: 35B 파라미터 MoE 음성 합성 모델, 16개 화자와 스트리밍 지원
Fish Audio가 다인물 장면과 장문 콘텐츠를 겨냥한 차세대 텍스트 음성 합성 모델 Drama 3를 공개했다. 다중 화자 생성, 음성 복제, 자연어 제어를 지원한다.
- 35B 파라미터에 토큰당 3B를 활성화하는 MoE 텍스트 백본으로, 전체 어텐션과 선형 어텐션을 결합한 하이브리드 구조다.
- <|speaker:0|>부터 <|speaker:15|>까지 화자 태그를 지원하며, 하나의 텍스트에 최대 16개 캐릭터를 담을 수 있다.
- 오디오 디코더는 Codebook-MTP로, 10개 코드북을 전체 시퀀스에 걸쳐 인과적으로 디코딩한다.
- MoE 전문가 가중치는 FP8, 나머지 가중치는 bf16이다. 모델 페이지에는 모델 크기 36B 파라미터, 텐서 타입 BF16·F8_E4M3로 표시된다.
다인물 장문 오디오가 필요한 빌더에게 Drama 3는 16개 화자 태그, 스트리밍 청킹, SGLang-Omni 배포를 한 번에 제공하지만 연구용 라이선스와 FP8 MoE 하드웨어 요건을 감안해야 한다.