AI FRONTIER
Signals worth understanding before they become obvious.
MoEZip: 희소 Mixture-of-Experts LLM을 위한 라우팅 인식 KV 캐시 압축
MoEZip은 라우팅 분포의 Fisher 정보 행렬에 기반한 민감도 지표와 어텐션 가중치를 결합한 라우팅 인식 KV 캐시 압축을 제안하여, MoE 모델의 장문맥 추론에서 KV 제거가 전문가 선택을 바꾸는 문제를 다룬다.
- 논문은 KV 유지율 10%에서 MoEZip이 LongBench와 RULER에서 SoTA 기준선을 평균 +24점, +20점 능가하며 각각 2.3배, 4.9배 높은 점수에 해당한다고 보고한다.
- MoEZip은 라우팅 분포의 Fisher 정보 행렬에 기반한 새로운 지표로 전문가 라우팅의 섭동 민감도를 추정한다.
- 이 방법은 해당 지표를 어텐션 가중치와 결합해 라우팅 인식 문맥 점수를 계산하고, 밀집 및 희소 MoE 아키텍처용 제거 방법을 함께 구성한다.
- 논문은 NeurIPS 2026에 채택되었으며 arXiv 번호는 2610.30206이고 2026년 10월 21일 제출되었다.
희소 MoE 장문맥 추론을 운영하는 팀에게 MoEZip은 KV 제거 시 전문가 라우팅 안정성을 명시적으로 고려해야 함을 보여준다.
데이터베이스 채점을 RL 보상으로 전환: ThinkingBox로 에이전트 사후 학습
Microsoft와 Hugging Face는 ThinkingBox-Training을 공개하고, 최종 데이터베이스 상태의 실행 가능한 검사를 GRPO 보상으로 사용해 Qwen3.8-27B를 50스텝 미세 조정한 결과 평균 성공률이 51.70%에서 60.78%로 상승했다고 밝혔다.
- Qwen3.8-27B의 pass@1은 5,242회(51.70%)에서 6,163회(60.78%)로 9.08포인트 상승했다.
- 20/20 전부 통과한 작업 수는 38개(7.50%)에서 107개(21.10%)로 69개 증가했다.
- pass@20(최소 한 번 성공한 작업)은 453개(89.35%)에서 446개(87.97%)로 7개 감소했다.
- 학습은 187개 작업, token-mean GRPO, 50스텝, H100 24대, 학습률 1e-6, AdamW 가중치 감쇠 0으로 수행됐다.
에이전트를 구축하는 팀에게 실행 가능한 최종 상태 검사는 채점기이자 보상 신호가 될 수 있지만, 반복 가능성 향상이 커버리지의 소폭 감소를 동반할 수 있음을 유의해야 한다.
비정상 어텐션을 위한 플로 기반 스펙트럴 커널 학습
이 논문은 플로 기반 스펙트럴 커널 어텐션(FSKA)을 제안하며, 스펙트럴 밀도 학습을 통해 커널화 어텐션을 정식화하고 결과 이변량 스펙트럴 밀도를 정규화 플로로 매개변수화하여 비정상 어텐션 커널을 학습한다.
- FSKA는 스펙트럴 밀도 학습을 통해 커널화 어텐션을 정식화하고, 결과 이변량 스펙트럴 밀도를 정규화 플로로 매개변수화한다.
- 이 설계는 query–key 프로젝션을 제거하고 고정 직교 value 프로젝션을 사용하는 단순화된 어텐션 설계를 가능하게 하여 더 매개변수 효율적인 아키텍처를 만든다.
- 논문은 대부분의 베이스라인과 비교해 프로젝션 관련 학습 가능 매개변수를 약 40%–47% 줄이고 유리한 선형 어텐션 메모리 스케일링을 유지한다고 보고한다.
- 분류, 절제, 확장성 프로파일링에 대한 통제 실험에서 FSKA가 기존 어텐션 메커니즘 대비 경쟁력 있거나 개선된 성능을 달성한다고 보고하며, 코드도 제공된다.
빌더에게 FSKA는 정규화 플로로 비정상 커널을 학습하면 선형 어텐션 메모리 스케일링을 유지하면서 프로젝션 관련 학습 가능 매개변수를 약 40%–47% 줄일 수 있음을 보여준다.
결핵 선별검사의 최전선에 기반 모델 도입
Google Research는 IDWeek 2026에서 흉부 X선 알고리즘부터 CE 인증 임상 도구, 그리고 현지 배포를 위한 오픈 기반 모델 MedGemma와 MedSigLIP에 이르는 결핵 선별검사 경로를 소개했다.
- Google Research는 결핵이 매년 약 123만 명의 목숨을 앗아간다고 밝혔다.
- Nexus AI의 기기는 흉부 X선 영상을 최단 45초 만에 결핵 등 폐 질환에 대해 선별검사한다.
- 이 도구는 6개국 약 40개 의료기관에서 운영되며, 90명 이상의 임상의가 2만 5천 장 이상의 흉부 X선 영상을 평가했다.
- MedGemma는 4B 및 27B 파라미터 구성의 오픈웨이트 멀티모달 모델군이며, 출시 이후 다운로드 수가 1,000만 회를 넘었다.
헬스 AI를 구축하는 개발자에게 오픈웨이트 모델과 로컬 실행은 국내 영상 데이터로 미세조정한 선별 도구의 주권적 운영을 가능하게 한다.
Latent Space Jam: 학습 없이 거친 레이아웃으로 영상 생성 제어
이 논문은 사전 학습된 비디오 확산 모델을 활용해 프롬프트 기반 교차 어텐션으로 객체의 시공간 배치를 제어하고, 생성된 거친 시각 가이드로 동일 모델을 조건화해 레이아웃 일관성이 높은 영상을 만드는 학습 불필요 2단계 방법을 제안한다.
- 추가 학습, 데이터, 아키텍처 변경 없이 사전 학습된 비디오 확산 모델을 그대로 사용한다.
- 2단계로 동작하며, 1단계는 프롬프트 기반 교차 어텐션으로 거친 시각 가이드를 생성하고 2단계는 이 가이드로 동일 모델을 조건화한다.
- 논문은 정적, 동적, 다중 객체 장면에서 겹침과 궤적 정확도 및 시각 품질이 기존 연구를 일관되게 능가한다고 보고한다.
빌더에게는 학습 비용 없이 기존 비디오 확산 모델에 레이아웃과 움직임 제어를 덧붙일 수 있다는 점이 제어 가능한 영상 생성의 진입 장벽을 낮춘다.
CiteAnchor: 환각 인용 탐지와 해결을 위한 출처 인식 그라운딩
이 논문은 출처 복구 가능성이 주석된 실제 환각 인용 423건으로 구성된 CiteResolve 벤치마크를 제안하고, 출처 유형별로 검색과 필드 수준 검증을 적응시키며 인용 유효성과 고유 출처 복구 가능성을 각각 판정하는 출처 인식 그라운딩 프레임워크 CiteAnchor를 제안한다.
- CiteResolve 벤치마크는 출처 복구 가능성이 주석된 실제 환각 인용 423건으로 구성된다.
- 기존 탐지 벤치마크에서 CiteAnchor는 GPT-5.6 Luna로 0.841 F1, 오픈 웨이트 백본으로 0.784 F1을 달성했다.
- 논문은 동일 백본을 사용한 베이스라인을 각각 7.9포인트와 36.8포인트 상회한다고 보고한다.
- CiteResolve에서 엔드투엔드 작업 성공률은 74.7%와 70.7%이며, 논문은 해당 웹 검색 베이스라인을 16.3포인트와 65.3포인트 상회한다고 보고한다.
문헌 검증과 검색 증강 시스템을 구축하는 개발자에게 인용 유효성과 출처 복구 가능성을 분리해 평가하는 벤치마크와 프레임워크를 제공한다는 점이 핵심이다.
TauIndianBankBench: 도구 사용 대화 에이전트에 대한 절차 인식·행동 지향 평가
이 논문은 1,000개의 인도 소매 은행 업무로 구성된 행동 지향 벤치마크 TauIndianBankBench를 제시하며, 최종 기록 외에도 필수 단계 수행 여부와 요청되지 않은 변경 여부를 검사한다. 논문에 따르면 최종 기록만 검사할 경우 필수 단계를 건너뛰거나 요청되지 않은 변경을 한 경우에도 각 모델 세션의 6.5-12.0%가 성공으로 판정되었다.
- 벤치마크는 에이전트가 모의 고객을 지원하는 1,000개의 인도 소매 은행 업무로 구성된다.
- 평가는 최종 기록과 함께 모든 필수 단계 수행 및 요청되지 않은 변경이 없음을 검사한다.
- 논문에 따르면 최종 기록만 검사할 경우 필수 단계를 건너뛰거나 요청되지 않은 변경을 한 경우에도 각 모델 세션의 6.5-12.0%가 성공으로 판정되었다.
- 논문은 15페이지, 그림 6개, 표 14개로 구성되며 코드와 데이터 링크를 제공한다.
은행 에이전트를 구축하는 팀에게 이 벤치마크는 최종 상태만 채점하면 절차 준수가 과대평가되므로 필수 단계와 미승인 작업을 평가에 포함해야 함을 보여준다.
Decisions API로 더 반응성 높은 앱 구축
OpenAI News가 Decisions API를 공개했으며, 모든 애플리케이션에 빠르고 집중적이며 저비용인 결정을 제공하는 것으로 설명한다.
- 출처는 OpenAI News이며 항목 제목은 “Build more responsive apps with the Decisions API”이다.
- 공식 한 줄 설명은 “Fast, focused, low-cost decisions for any application”이다.
- 분류는 developer, 변화 유형은 cost_collapse로 표시되어 있다.
저비용으로 집중된 결정을 돌려줄 수 있다면 개발자는 무거운 모델 호출 대신 상호작용 경로에 결정 호출을 직접 넣을 수 있다.