AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: 언어 모델을 위한 탄력적 잠재 순환
논문은 Elastic Latent Recurrence(ELR)를 제안한다. 이는 루프 언어 모델을 한 번의 루프에서 동일 규모의 비순환 모델과 같은 서빙 비용으로 비슷한 정확도에 도달하도록 훈련하는 방법이며, 추가 루프마다 더 많은 추론 연산으로 정확도를 높인다.
- 4B dense 및 30B-A3B MoE 하이브리드 모델에서 ELR의 한 번 루프는 10개 과제 평균에서 각각 매칭 베이스라인보다 0.52점 낮고 1.04점 높았다.
- 네 번 루프는 각각 7.25점과 4.75점을 더했다.
- MoE 모델에서 이후 루프에 첫 루프의 전문가 라우팅을 재사용하면 혼합 깊이 업데이트 시간이 11.7% 줄고 측정 가능한 정확도 변화는 없었다.
- 추론 시 마지막 루프의 attention KV 캐시만 유지하면 attention KV 메모리를 한 번 루프 수준으로 유지하면서 추가 루프 이득의 대부분을 보존한다.
하나의 체크포인트로 루프 수를 조절해 지연과 정확도를 맞바꿀 수 있어, 루프 모델이 지연에 민감한 배포에서도 선택지가 된다.
SpireBench: Slay the Spire로 에이전트 모델의 장기 전략 플레이 평가
이 논문은 완전한 상용 덱빌딩 게임 Slay the Spire를 최고 난이도로 플레이하게 하여 20개 대규모 언어 모델의 장기 전략 추론을 평가하는 SpireBench를 제안한다.
- 논문은 Slay the Spire 최고 난이도에서 20개 대규모 언어 모델을 평가했다.
- 논문에 따르면 프런티어 모델은 휴리스틱 베이스라인을 앞서고 평균적인 인간 플레이어와 비슷하지만 전문가에게는 크게 뒤진다.
- 논문에 따르면 가장 강한 모델은 1막 승률에서 전문가와 비슷하지만 런이 길어질수록 격차가 벌어진다.
- 논문은 모든 게임 용어를 포괄적이고 자기일관적으로 개명한 실험에서 성능 일부가 게임에 대한 사전 지식에 의존하며 모델이 런 간에 기록한 기억으로 개선되지 않는다고 보고한다.
에이전트 개발자에게 SpireBench는 실패 지점을 찾아낼 수 있는 장기 지평 평가를 제공하고 위험 판단과 기억 활용의 구체적 약점을 보여준다.
이진 검증 가능 보상 너머: SWE 에이전트를 위한 행동 자기 보상
논문은 동일 작업과 동일 검증기 결과를 가진 궤적들 사이에서 관찰 가능한 디버깅 행동을 정책 스스로 비교하고, 쌍별 선호를 작업 국소 점수로 집계해 유계 보조 보상으로 변환하는 보상 정제 기법인 Behavioral Self-Rewarding(BSR)을 제안한다.
- BSR은 SWE-bench Verified와 SWE-bench-Live에서 평가된 Qwen3-14B 및 Qwen3-32B 구성 전반에 걸쳐 일관된 개선을 보고한다.
- 이 방법은 정책을 재사용해 동일 작업과 동일 검증기 결과를 가진 궤적들의 관찰 가능한 디버깅 행동을 비교하며, 별도로 학습된 보상 모델을 필요로 하지 않는다.
- BSR은 쌍별 선호를 작업 국소 점수로 집계하고 검증기가 정의한 통과/실패 순서를 유지하면서 보상 대비를 도입하는 유계 보조 보상으로 변환한다.
- 이 방법은 이미 수집된 궤적에서 추가 감독을 얻으므로 새로운 환경 상호작용이 필요하지 않다.
SWE 에이전트를 구축하는 팀에게 BSR은 이진 테스트 통과/실패를 넘어 정책 자체의 비교 판단을 추가 환경 상호작용이나 별도 보상 모델 없이 보완적 학습 신호로 사용할 수 있음을 보여준다.
Kairos: 모든 모달리티를 위한 바이트 수준 파운데이션 모델
Kairos는 양방향 게이트 DeltaNet 선형 어텐션과 슬라이딩 윈도 어텐션(LiZAttention2), 블록 단위 Attention-Residual 집계, 희소 MoE 피드포워드 층, 다중 스케일 바이트 수준 코덱을 결합하고 텍스트·이미지·오디오·비디오·라이다·제어 스트림이 공유하는 단일 바이트 공간에서 균일 노이즈 제거 목표로 학습한다. 이 보고서는 유용성보다 먼저 이 조합이 최적화되는지를 묻는다.
- 1–15M 파라미터, 텍스트 전용, 440바이트 단일 문장 과적합 테스트에서 LiZAttention2와 단독 윈도 어텐션은 3,000 스텝에서 최소 손실 약 10^-3에 도달했다.
- 600 스텝 후 평균 최소 손실은 0.018(patch 코덱)에서 0.354(depthwise 합성곱 코덱) 범위였고 세 시드에서 동일한 순위를 보였다.
- 공유 어텐션 투영이 분리 투영보다 유리해 보이는 효과는 스텝이나 데이터 다양성이 늘면 사라지고 투영을 고정하면 역전되며, 이는 용량 효과가 아니라 수렴 속도 효과다.
- 200M 총 파라미터/25M 활성 목표를 해석적으로 추정했지만 처리량 수치는 측정되지 않았고, 코드와 Python 패키지는 공개되어 있다.
빌더에게 Kairos는 현재 재현 가능한 수렴 점검에 그치며, 바이트 수준 멀티모달 설계의 일반화와 멀티모달 학습 가치는 계획된 사전학습으로 검증되어야 한다.
ForcingBooster: 빠른 자기회귀 비디오 확산을 위한 적응적 패치 단위 디노이징
이 논문은 비디오 패치별로 디노이징 스텝 수를 동적으로 할당하는 프레임워크 ForcingBooster를 제안한다. 쉬운 패치는 조기에 중단하고 어려운 패치는 더 많은 정제 스텝을 받는다. 논문은 4스텝 기준선과 비슷한 시각적 품질을 유지하면서 비디오 패치 전체에 적용되는 총 디노이징 스텝 수를 약 50% 줄인다고 보고한다.
- 논문은 비디오 패치 전체의 총 디노이징 스텝 수를 약 50% 줄인다고 보고한다.
- 논문은 시각적 품질이 4스텝 기준선과 비슷하다고 보고한다.
- 이 방법은 대부분의 기존 소수 스텝 자기회귀 확산 모델과 호환되며, 가벼운 라우팅 모듈과 적당한 학습만 필요로 한다.
- 논문은 2026년 10월 8일 제출되었고 arXiv:2610.12625로 공개되었으며, 저자는 Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin, Yuan Liu이다.
실시간 대화형 비디오 생성과 비디오 월드 모델을 만드는 팀에게 패치 단위 디노이징 예산 배분은 소수 스텝 자기회귀 확산 백본을 바꾸지 않고 계산을 쉬운 영역에서 어려운 영역으로 옮길 수 있게 한다.
Google DeepMind, 740M 파라미터 오픈 멀티모달 임베딩 모델 EmbeddingGemma 2 공개
EmbeddingGemma 2는 텍스트(코드 포함), 이미지, 비디오, 오디오를 단일 768차원 벡터 공간에 매핑하며 Apache 2.0 라이선스로 모바일과 노트북 등 소비자 하드웨어에서 실행되도록 설계되었습니다.
- 총 파라미터 740M: 텍스트 백본 270M(130M transformer + 140M embedder), 비전 인코더 170M, 오디오 인코더 300M.
- 논문 보고에 따르면 MTEB 다국어 v2는 61.36, MTEB 코드 v1은 78.68로 이전 EmbeddingGemma 1의 68.76 대비 약 14% 향상.
- MRL을 통해 128d, 256d, 512d, 768d로 임베딩 축소를 지원하며 벡터 저장 비용을 최대 6배 절감 가능.
- 컨텍스트 길이 8,192 토큰, 100개 이상 언어 지원, Apache 2.0 라이선스.
개발자는 소비자 하드웨어에서 텍스트·이미지·비디오·오디오를 하나의 768차원 임베딩 공간으로 처리할 수 있고, 인코더 선택적 로딩으로 실효 크기를 740M에서 270M으로 줄일 수 있습니다.
MagicBeanStalk: 재귀적 데이터 합성으로 RLVR 제로 어드밴티지 함정 탈출
이 논문은 상향식 재귀 데이터 합성과 하향식 분해를 결합한 MagicBeanStalk를 제안하여, 시드 문제의 추론 청사진을 유지하면서 정책과 예산에 맞춰 조정된 새로운 훈련 문제군으로 확장한다.
- 논문 보고: 고정된 목표 정책과 롤아웃 예산에서 널리 쓰이는 RLVR 데이터셋에서 모은 대규모 오픈소스 수학 코퍼스의 약 88% 문제가 모든 롤아웃에서 해결되거나 모두 실패한다.
- 논문 보고: 8개 수학 벤치마크에서 MagicBeanStalk 문제로 지속적 RLVR을 수행하면 16K 토큰 예산에서 gpt-oss-120b가 61.2에서 69.8(+8.6), DeepSeek v4Flash가 72.4에서 77.9(+5.4)로 향상된다.
- 논문 보고: 전체 78K 소스 코퍼스 훈련은 +1.1에 그쳤고, 최고의 필터링된 실제 데이터 부분집합은 +5.8이었다.
- 논문 보고: 금융 분야에서 340개 해답만으로 14K개 이상의 검증 가능한 문제를 합성해 SecQue와 FinanceBench에서 각각 6.9점과 2.4점 향상했다.
RLVR 데이터 구축에서 중요한 것은 코퍼스 크기가 아니라 목표 정책과 롤아웃 예산 아래 비영(非零) 어드밴티지를 만드는 문제이며, 재귀 합성은 난이도를 조정하고 추론 구조를 보존할 수 있다.