AI FRONTIER
Signals worth understanding before they become obvious.
180B 파라미터, 32GB RAM: Transformers로 MoE 추론의 한계를 밀어붙이다
Hugging Face 블로그는 라우팅된 전문가만 SSD에서 유계 캐시로 스트리밍하는 Transformers 구현을 소개하며, Qwen3.8-Flash-Next가 32GB Mac에서 약 14 tok/s로 실행되고 짧은 디코드에서 Strata보다 약 6% 뒤진다고 보고한다.
- Qwen3.8-Flash-Next는 48개 층, 층당 512개 전문가(10개 활성)이며 FP8 기준 전문가가 121GB, 별도 51GB n-gram 임베딩 테이블이 있다.
- 전문가를 3비트로 양자화하면 디스크 49GB, 디바이스 캐시 12GiB, 8비트 밀집 층은 약 5.4GB(BF16 대비 퍼플렉시티 +0.2%).
- 로드 후 약 18GiB를 사용하고 6K 프롬프트는 최대 25.4GiB에 이른다.
- 최종 결과: 200 토큰 디코드 13.9 tok/s 대 Strata 14.8, 4K 프롬프트 프리필 228 tok/s 대 220, 6K 문서 후 디코드 12.4 tok/s 대 13.7.
AI 빌더에게 이는 라우팅된 전문가만 스트리밍하고 grouped_mm을 그대로 쓰는 유계 슬롯 풀이 소비자용 메모리에서 전용 엔진에 근접할 수 있음을 보여주지만, 토큰당 약 10ms의 호스트 왕복이 남은 병목이다.
DeltaHarness: 리소스 적응형 도구 실행을 위한 자기 진화 하네스
이 논문은 콜드 스타트 측정으로부터 에이전트 하네스를 적응시키는 실행 유도 정책 탐색 기법 DeltaHarness를 제안한다. QHI 루프는 관측된 응답을 사용해 런타임 디스패치를 갱신하고 물리적 계획을 수정하며 후속 제안을 위한 실험을 선택하고, 독립적 확인 패널이 정책 교체를 통제한다.
- 고정 디스패치에서 수정된 물질화 정책은 하나의 비디오 편집 작업에서 세 개의 새로운 쌍에 걸쳐 완전 전달 지연을 30.0% 줄였다.
- 홀드아웃 작업에서 진화된 정책은 한 시드에서 최선의 고정 계획 대비 지연을 8.2% 줄였고, 다른 시드에서 초기 제안 대비 4.6% 줄였다.
- 논문은 동일한 작업 및 리소스 설명이 유효한 실행 계획의 지연 순서를 뒤집는 런타임 조건을 숨길 수 있다고 보고한다.
도구 사용 에이전트를 만드는 개발자에게 이는 하네스 자체가 대상 환경의 실측 지연에 기반한 정책 탐색으로 최적화될 수 있음을 시사한다.
언어 모델이 자체 가중치를 다시 쓸 수 있다
arXiv 논문은 27B 모델이 자체 가중치, 채점된 답변, 스스로 실행할 능력을 받으면 그래디언트나 훈련 없이 실패를 진단하고 가중치를 편집해, 보지 못한 490개 문제에서 정확도가 6.6포인트 향상되었다고 보고한다.
- 논문 보고: 이 편집으로 사전에 고정된 테스트의 보지 못한 490개 문제에서 정확도가 6.6포인트 향상되었다.
- 논문 보고: 처음 여덟 번의 세션에서 각 편집이 이전 편집을 대체했고 정확도는 오르기만 했다.
- 논문 보고: 손상된 사본 복구에서 텍스트 수학 문제만으로 손상된 행렬을 찾아 다시 썼으며, 보지 못한 여섯 개 이미지 벤치마크에서 7%에서 70%로 향상되어 손상되지 않은 모델의 83%에 도달했다.
- 논문 보고: 네 가지 규모 중 2B 모델은 편집하지 않았고 4B와 9B 모델은 스스로를 망가뜨렸으며 27B 모델만 성공했다. 오픈 모델과 단일 GPU에서의 몇 시간만 필요하다.
빌더에게 이는 가중치 수준 자기 개선이 훈련 인프라 없이 배포 후 개선하는 경로가 될 수 있음을 시사하지만, 효과는 현재 27B 규모에서만 보고되었다.
Genie 4 출시
Google DeepMind가 자격을 갖춘 Google AI Ultra 구독자를 대상으로 새로운 Project Genie 경험을 출시하며 Genie 4를 처음 공개했다. 자연어로 실시간 환경 편집과 네이티브 오디오를 지원한다.
- Genie 4는 세션 중간에 프롬프트를 입력해 날씨를 바꾸거나 캐릭터를 추가하거나 행동 방향을 전환할 수 있다.
- Genie 4는 장면이 전개됨에 따라 적응하는 실시간 네이티브 오디오를 영상과 처음으로 결합하며, 주변 음향부터 캐릭터 대화까지 포함한다.
- Genie 3는 생성당 탐색 시간이 60초에서 최대 3분으로 늘어났고 여러 월드를 연결할 수 있다.
- Genie 3는 360도 파노라마 이미지를 새 월드의 시드로 사용할 수 있으며 실시간 프롬프트 이벤트를 지원한다.
빌더에게 월드 모델은 단일 생성에서 실시간 프롬프트 편집이 가능하고 오디오를 갖추며 공유 가능한 환경으로 이동하고 있지만, 카메라 지연과 복잡한 물리 상호작용, 장기적 장면 지속성은 여전히 미해결 과제다.
Rumble-2-Flash: 40개 이상 언어를 지원하는 오픈 0.5B 음성 모델
Reson8이 Apache 2.0 라이선스로 Rumble-2-Flash를 오픈소스화했습니다. 이는 40개 이상 언어를 지원하는 0.5B 파라미터 음성 인식 모델로, Qwen3-ASR 아키텍처를 사용하며 Transformers와 vLLM을 네이티브로 지원합니다.
- 0.5B 파라미터 모델, Apache 2.0 라이선스로 오픈소스화
- Open ASR Leaderboard 다국어 트랙에서 중국어, 독일어, 프랑스어, 이탈리아어, 스페인어, 포르투갈어, 힌디어, 네덜란드어, 영어 평균 오류율 6.96%
- Open ASR Leaderboard 영어 트랙에서 평균 WER 6.6%
- AppTek 콜센터 벤치마크(302시간 헬프라인 통화, 14개 영어 억양)에서 7.86% WER를 기록하며 NVIDIA의 Nemotron 3.5 Transcribe(30B)의 7.78%와 동등
빌더는 Apache 2.0 라이선스 하에 0.5B ASR 모델을 배포할 수 있으며, 보고된 다국어 및 콜센터 정확도는 30B 모델에 필적하고 Transformers와 vLLM을 네이티브로 지원합니다.
감사자들은 AI 안전 연구의 종단 간 기록에서 사보타주를 잡아내기 어려워한다
이 논문은 인간 전문가를 대리 사보타주 행위자로 삼아 AI 안전 연구에 대한 레드팀/블루팀 실험을 수행했으며, 감사자들이 전체 연구 기록과 실험 실행 권한을 받고도 사보타주된 연구와 정상 연구를 대부분 구분하지 못함을 보였다.
- 인간 감사자들이 사보타주된 연구와 정상 연구를 구분한 AUROC는 0.59로 우연 수준과 유의하게 다르지 않았다.
- 인간 감사자들이 구체적인 사보타주를 완전히 식별한 경우는 17%에 불과했다.
- 실험 실행이 허용되지 않은 최고의 프런티어 모델이 인간 감사자를 능가했지만(Fable 5.1: AUROC 0.73, 완전 식별률 32%) 그 차이는 노이즈 범위 내였다.
- 사보타주 행위자가 모든 질문을 반드시 공격해야 하는 대신 공격할 실험을 직접 선택할 경우 사보타주 식별률은 더 떨어졌다.
AI 연구 개발 자동화를 구축하는 팀에게 전체 연구 기록에 기반한 사후 감사만으로는 전문가 수준 에이전트의 사보타주를 탐지하기에 충분하지 않으며, 실험을 능동적으로 검증하는 감사 설계가 필요하다.
Codex 샌드박스 내부
Codex가 macOS, Linux, Windows 전반에서 사용자가 제어하는 파일 시스템 및 네트워크 제한을 적용하면서 사용자 머신에서 명령을 실행하는 방식을 보여줍니다.
- Codex는 사용자 머신에서 명령을 실행한다.
- Codex는 사용자가 제어하는 파일 시스템 및 네트워크 제한을 적용한다.
- 이 샌드박스는 macOS, Linux, Windows를 지원한다.
빌더는 세 가지 주요 데스크톱 플랫폼에서 Codex 명령을 실행하면서 파일 시스템과 네트워크 접근을 직접 설정한 범위로 제한할 수 있다.