AI FRONTIER

TurboMamba: 어휘 메모리로 더 빠른 추론, 더 빠른 학습, 더 나은 예측

논문은 TurboMamba 언어 모델 아키텍처를 제안한다. 전역 Mamba-3 모델이 완료된 토큰 블록마다 한 번 실행되고, 소형 Transformer가 이 전역 문맥과 블록 내 이전 토큰을 사용해 다음 토큰을 예측한다.

• 공개 FineWeb-Edu에서 유사한 파라미터 수와 공통 학습 예산 상한으로 12개 소규모 구현을 비교한 결과, TurboMamba가 가장 낮은 평균 테스트 예측 손실(NLL)을 기록했다.
• 평균 NLL은 Mamba-3보다 9.4%, Jamba 버전보다 7.3%, Zamba 버전보다 18.3% 낮다.
• 엔드투엔드 학습 처리량은 Mamba-3의 2.60배, Jamba 버전의 2.81배, Zamba 버전의 4.82배다.
• 배치 32개 시퀀스, 각 256토큰 프롬프트와 128개 생성 토큰 워크로드에서 엔드투엔드 지연은 Mamba-3 대비 3.12배, Jamba 버전 대비 3.53배, Zamba 버전 대비 6.21배 빨라졌다.

동일 파라미터 수와 학습 예산에서 손실과 처리량을 함께 개선하므로, 고처리량 추론이나 긴 문맥 응용에서 재현 검증할 가치가 있다.

OpenRouter 신규 모델: Reflection Beam 1.0 501B A23B

Beam 1.0은 코딩과 장기 에이전트 워크플로를 위한 Reflection의 오픈 웨이트 추론 모델로, 총 501B 파라미터와 토큰당 23B 활성 파라미터를 사용하는 희소 전문가 혼합(MoE) 아키텍처를 채택했으며 1M 토큰 컨텍스트 윈도우를 제공하고 Apache 2.0으로 공개되었습니다.

• 희소 전문가 혼합 아키텍처: 총 501B 파라미터, 토큰당 23B 활성 파라미터
• 컨텍스트 윈도우 1,048,576 토큰, 최대 131,072 완성 토큰 지원
• 가격은 입력 100만 토큰당 0.25달러, 출력 100만 토큰당 1.00달러
• 2026년 10월 16일 출시, 지식 컷오프 2026년 6월 30일, Apache 2.0 라이선스

코딩 에이전트를 만드는 팀에게 Beam 1.0은 Apache 2.0 오픈 웨이트, 1M 컨텍스트, 토큰당 23B 활성 파라미터로 장기 추론을 자체 호스팅하거나 종량제로 호출할 수 있는 선택지를 제공합니다.

Expanding Attention: 고정된 수의 순환 상태로 선형 시간 Transformer를 구현하는 테일러 급수 경로

이 논문은 어텐션의 지수 커널을 n개 항의 절단된 테일러 급수로 전개하고 각 항을 텐서 거듭제곱 내적으로 분해하여, 인과적 이력을 정확히 n개의 순환 상태로 축약한다. 각 상태는 토큰당 한 번의 랭크-1 외적으로 갱신되며 문맥 길이 N과 무관하다.

• 재귀는 절단된 커널에 대해 무손실이며 float64에서 2.2 × 10^-16이고, 상태는 청크 간 가산적이어서 5.7 × 10^-14이므로 프리필은 병렬 스캔을 허용한다.
• 논문이 보고한 측정 지수는 softmax가 t ∝ N^2.28, 상태가 N^0.91이며, 교차점은 N ≈ 728이고 N = 8192에서 20.8배이다.
• 토큰당 디코딩 지연은 7.3 μs로 일정하고 softmax는 N^1.04이며, N = 65536에서 76.0배이다.
• 정확도는 n에 대해 지수적으로 향상되지만 비용은 조합적으로 증가하며, m번째 상태의 폭은 C(d+m-1, m)이고 SVD가 이 상한을 확인했으며, 최적은 2차인 n = 3으로 오차 6.5 × 10^-4, 헤드당 9,945개 요소이다.

구축자에게 이는 고정 상태 선형 어텐션이 약 728 토큰 이상에서 이득이며 쿼리와 키 정규화가 필수이고, 없으면 테일러 항을 늘려도 무효라는 것을 의미한다.

OpenRouter 신규 모델: XingChen Xing4.0 29B A4B (무료)

Xing4.0-29B-A4B는 중국전신 AI 팀(TeleAI)이 공개한 오픈 웨이트 Mixture-of-Experts 언어 모델로 TeleChat 시리즈의 후속 모델이며, 총 파라미터 29B에 토큰당 4B를 활성화하고 네이티브 256K 토큰 컨텍스트 윈도우를 갖춥니다.

• 총 파라미터 29B, 토큰당 4B 활성화, 네이티브 256K 토큰 컨텍스트 윈도우이며 OpenRouter 표기는 262,144 토큰입니다.
• Ascend NPU와 MindSpore 프레임워크만으로 학습되었습니다.
• 도구 호출, 다단계 계획, 장문맥 실행 등 복잡한 엔지니어링과 에이전트 작업에 맞춰 튜닝되었고 추론은 기본 활성화되며 끌 수 있습니다.
• OpenRouter에서 무료이며 2026년 10월 16일 출시되었고 tools와 tool_choice 함수 호출 및 JSON schema 구조화 출력을 지원합니다.

에이전트 개발자에게는 256K 컨텍스트와 도구 호출을 갖춘 29B 오픈 웨이트 MoE 엔드포인트를 무료로 시험할 수 있어 장문맥 다단계 계획 검증에 적합합니다.

The World Won't Wait: 라이브 클록 아래에서 에이전트 평가와 교육

이 논문은 추론 중에도 게임이 계속 실행되는 환경에서 에이전트를 평가하는 RealtimeBench(6개 게임 유형에 걸친 180개 과제)를 제안하고, 느린 교사가 실패를 연구하고 수정을 검증한 뒤 빠른 학생을 위한 재사용 가능한 지침을 작성하는 TORSI를 제시한다.

• RealtimeBench는 6개 게임 유형에 걸친 180개 과제로 구성되며 추론 중에도 게임이 계속 실행된다.
• 짝지은 평가에서 게임을 일시정지하면 GPT-6.1-sol이 더 빠른 Jev를 앞서지만, 게임이 계속 실행되면 GPT-6.1-sol이 뒤처진다.
• TORSI에서 학생은 게임 플레이 중 교사를 호출하지 않으며, 어떤 업데이트를 채택할지는 검증 점수로 결정된다.
• 논문은 TORSI 두 라운드가 Jev의 평균 테스트 점수를 0–100 진행 척도에서 13.51에서 24.19로 높였고 6개 게임 유형 모두 개선했다고 보고한다.

에이전트를 만드는 팀에게 이 결과는 지연이 모델 순위를 바꿀 수 있음을 보여주므로, 단일 추론 품질만이 아니라 느린 오프라인 학습과 빠른 온라인 실행을 분리해 설계해야 한다.

같은 답, 새로운 상자: RLVR의 도메인 외 이득 중 얼마가 답변 형식인가

이 논문은 공개 코드에서 가져온 답변 추출기와 저자 자체 추출기로 동일한 출력을 두 번 채점하여, 공개된 7B SimpleRL 베이스-RL 쌍 네 개에서 추출기가 보고한 도메인 외 객관식 이득의 82%가 자체 추출기에서는 사라지며 이는 답변 개선이 아닌 답변 형식 이득임을 보였다.

• 공개된 7B SimpleRL 베이스-RL 쌍 네 개에서 공개 코드 추출기가 보고한 도메인 외 객관식 이득의 82%가 저자들의 추출기에서 사라졌다.
• 자체 추출기 대신 독립 LLM 리더를 사용하면 이 수치는 77%였고, \boxed{}를 요구하는 프롬프트에서는 자체 추출기가 79%로 측정했다.
• 베이스 모델은 이미 대부분의 답을 텍스트로 진술하며, RL이 이를 \boxed{} 상자로 옮기고 공개 추출기는 그 상자를 먼저 읽는다.
• 다른 레시피로 훈련된 32B 쌍에서는 보고된 이득 중 형식 이득이 거의 없다. 그 베이스 모델은 요구받으면 답을 상자에 넣고, RL 모델은 요구받지 않으면 거의 넣지 않는다.

RLVR의 도메인 외 이득을 읽기 전에 저장된 출력을 두 번째 추출기로 다시 채점해야 한다. 보고된 이득은 이를 읽은 추출기의 속성이 일부이기 때문이다.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

당장 도입할 필요는 없지만 계속 추적할 가치가 있는 기술 신호입니다.