Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-21
01
testinferenceincremental

4비트 미만 비전 CNN은 왜 붕괴하며, 혼합 정밀도 복구는 어디서 멈추는가

이 논문은 전체 50,000장 ImageNet-1k 검증 세트에서 표준 비전 CNN(ResNet 및 EfficientNet 백본 포함)의 양자화 붕괴를 체계적으로 분석하고 다단계 복구 워터폴을 제안한다.

  • 붕괴는 매우 비선형적이며 후반부 포인트와이즈 프로젝션과 depthwise 레이어에 집중된다.
  • 중요 레이어 활성의 5% 미만을 8비트 정밀도로 유지하면 공격적인 4비트 미만 압축에서 손실된 정확도의 최대 92%를 복구한다.
  • 표준 ARM 및 x86 CPU 아키텍처에서 표준 런타임 소프트웨어 비트 언패킹은 배치 크기에 따라 1.48배에서 21.5배의 실행 지연을 유발한다.

엣지 비전 개발자에게 4비트 미만 가중치는 저장 공간을 줄일 뿐 처리량을 줄이지 않으므로, 혼합 정밀도 복구는 후반부 포인트와이즈 프로젝션과 depthwise 레이어에 집중하고 언패킹 오버헤드를 실측해야 한다.

arXiv cs.AI
02
testmodelscapability unlock

thinkingmachines/Inkling-2-Mini: 26.4B 멀티모달 루프 트랜스포머 오픈 웨이트 공개

Thinking Machines Lab이 총 파라미터 26.4B, 활성 파라미터 3.4B의 네이티브 멀티모달 루프 트랜스포머 Inkling 2 Mini를 Apache 2.0 라이선스 오픈 웨이트로 공개했다. 텍스트와 이미지를 입력받고 최대 1M 토큰 컨텍스트를 지원한다.

  • 총 파라미터 26.4B, 활성 파라미터 3.4B. 중간 12개 층이 공유 가중치로 세 번 실행되어 토큰당 48개 층 적용, 실효 활성 파라미터는 5.4B.
  • 24개 층 decoder-only 희소 MoE 구조로 각 층에서 토큰이 128개 전문가 중 8개로 라우팅되며, 어텐션은 로컬과 글로벌의 하이브리드.
  • 약 20GB 단일 체크포인트를 NVFP4와 MXFP8 혼합 정밀로 배포하며, 1x NVIDIA DGX Spark 및 32GB 이상 메모리의 Apple silicon 로컬 추론을 지원.
  • 모델 카드는 SWEBench Verified(bash 전용) 79.2%, SWEBench Pro v2 (Hard) 77.9%, MMMU Pro Standard 10 74.9%, OmniDocBench v1.6 92.8%를 보고.

32GB급 로컬 하드웨어에서 실행 가능한 멀티모달 오픈 웨이트지만, 모델 카드 스스로 Inkling 2 Small보다 지식 회상이 약하고 에이전트 작업에서 확인 없는 파괴적 행동이 가능하다고 밝히므로 샌드박스와 사람 검토가 필요하다.

Hugging Face Trending
03
testdeveloperopen source unlock

Hugging Face, harness adapters 공개: RL로 특정 agent harness에 모델 적응

Hugging Face는 Pi, OpenCode, Hermes Agent 세 harness 내부에서 RL을 수행해 Qwen3.8-27B용 LoRA 어댑터를 harness별로 하나씩 학습하는 재사용 가능한 레시피를 공개했다. 세 LoRA는 하나의 super adapter로 병합되어 세 harness 모두에서 그대로 동작한다.

  • 논문 보고에 따르면 Qwen3.8-27B의 pi harness 기준 Terminal-Bench 2.1 점수는 39%이며 작업당 평균 2.9K 토큰을 사용했다. 가중치를 고정한 채 RL로 학습한 LoRA 어댑터를 추가하면 55% pass@1, 평균 토큰 사용량 1.5K를 기록했다.
  • 각 어댑터는 NVIDIA 2×B200 GPU로 학습했으며, 한 GPU는 vLLM 서버에, 다른 한 GPU는 학습 프로세스에 할당했다.
  • 최종 데이터 혼합은 harness-adapters RL 환경의 750개 작업과 termgrade의 300개 작업으로 구성된다.
  • 데이터셋 harness-hub/agentic-coding-envs는 35개 저장소의 871개 작업을 담고 있으며, 그중 171개가 GRPO 학습용 qualified 하위 집합이다.

agent를 만드는 팀에게 이는 실제 배포하는 harness 안에서 RL 미세조정을 하면 기반 모델을 바꾸지 않고도 더 적은 토큰으로 더 높은 통과율을 얻을 수 있음을 뜻한다.

Hugging Face Blog
04
watchresearchcapability unlock

내성적 감독을 위한 언어 모델 훈련

논문은 모델에 별도의 3인칭 관찰자 역할을 추가해 어시스턴트에 관한 질문에 답하게 하고, 어시스턴트의 실제 행동과 대조해 검증된 답변에 보상을 주는 내성적 감독을 제안한다. 5개 홀드아웃 감독 평가에서 Qwen3.6-27B로 훈련한 관찰자는 평균 AUROC 0.907을 기록했다.

  • Qwen3.6-27B로 훈련한 관찰자는 5개 홀드아웃 감독 평가에서 평균 AUROC 0.907을 기록했다.
  • 비교 기준은 정직성 훈련 0.864, 트랜스크립트 모니터링 0.828, 활성화 오라클 0.796이다.
  • 논문은 관찰자를 훈련하면 어시스턴트 자체가 더 모니터링하기 쉬워져, 미세조정된 어시스턴트에서 모든 기준 방법이 평균적으로 향상되었다고 보고한다.
  • 논문은 31페이지, 그림 13개, 표 8개로 2026년 11월 17일에 제출되었다.

빌더에게 이는 어시스턴트와 분리해 정확성만을 목표로 훈련할 수 있는 관찰자 역할이 외부 트랜스크립트 모니터링과 활성화 디코더를 보완하는 감독 경로가 될 수 있음을 시사한다.

arXiv cs.AI
05
testresearchincremental

Watch Where You Linearize: 모델 병합 간섭 예측 및 교정

이 논문은 작업 A 출력의 작업 B 벡터 방향 도함수가 간섭을 예측할 수 있지만 적절한 모델(수신 모델)에서 평가할 때만 가능함을 보이고, 이를 기반으로 LR-Merge를 구축한다.

  • 수신 모델에서 이 도함수는 근처 병합을 작업별·예시별로 예측하고, 무변화 기준선의 정확도 오차를 절반으로 줄이며, 예측이 뒤집히는 대부분의 예시를 식별한다.
  • 전체 다중 작업 병합에는 단일 평가로 충분하지 않으며, 병합 경로를 따라 두 번의 평가가 필요하다.
  • 공유 사전학습 백본에서는 이 도함수가 비전 실험에서 실현된 변화와 거의 직교하며, LoRA 언어 모델 파일럿에서는 부분적으로만 예측적이다.
  • LR-Merge는 테스트된 모든 폐쇄형·등방성·희소화 기본 병합기를 개선하며, 이득은 일반적으로 병합하는 작업이 많을수록 커진다. 병합 네트워크를 통한 정확한 교사 매칭은 수렴에 약 3배 더 오래 걸리고 동일한 계산 예산에서 유사한 성능을 보인다.

빌더는 수신 모델에서 방향 도함수를 평가해 병합 간섭을 저비용으로 예측하고, LR-Merge의 레이블 없는 볼록 교사 매칭으로 비싼 계수 탐색을 대체할 수 있다.

arXiv cs.LG
06
watchagentsincremental

Where the Tokens Go: 에이전트 코딩의 열, 엔트로피, 오류

이 논문은 소프트웨어 열역학 이론을 제안하며, 코딩 에이전트가 생성한 토큰을 비용으로 계산해 일과 열로 나눈다. 에이전트가 저장소 변경을 적용했다가 되돌리는 과정을 반복하며 모든 모델 호출의 토큰을 측정한다.

  • 논문 보고: 성공한 실행의 토큰 약 80%는 요청된 변경을 그대로 두는 모델 호출에서 생성되며, 이를 열이라고 부른다.
  • 논문 보고: Jarzynski 등식과의 유추로 추정한 변경의 자유 에너지는 성공한 코딩 실행 평균 비용의 14%에서 22%이다.
  • 논문 보고: 코딩 비용은 언코딩 비용의 1.1배에서 1.5배이다.
  • 논문 보고: 반복 주기 간 비용의 분산이 소프트웨어 온도를 정의하며, 이는 모델의 샘플링 온도와 함께 상승했다.

이 프레임워크는 빌더가 에이전트 토큰 지출을 유효한 일과 낭비되는 열로 분해해 변경을 진전시키지 않는 모델 호출을 찾아 줄일 수 있게 한다.

arXiv cs.AI
07
watchresearchbenchmark jump

RFBench: 패시브 RF 레이아웃 설계와 이해를 위한 시뮬레이터 기반 멀티모달 벤치마크

이 논문은 패시브 RF 레이아웃 설계와 이해에서 멀티모달 언어 모델의 능력을 평가하기 위한 시뮬레이터 기반 데이터셋 및 벤치마크 RFBench를 제안하고 7개 과제를 정의한다.

  • 데이터셋은 ADS Momentum으로 시뮬레이션된 10,000개의 2포트 평면 레이아웃을 포함한다.
  • 각 레이아웃은 편집 가능한 기하 프리미티브, 래스터 이미지, 16x16 점유 그리드, 201개 주파수 지점의 복소 S-파라미터, 구조 범주, RF 응답 라벨로 구성된다.
  • 사양 조건부 레이아웃 생성, 표현 변환, 응답 예측, 시뮬레이터 기반 검증, 설계 진단 및 개선, 구조 이해, 응답 분류의 7개 과제를 정의한다.
  • 논문은 RF 특화 파인튜닝이 T1a 구조 유효성을 0.0%에서 83.2%로, T3 프리미티브 입력의 2-dB 이내 비율을 17.7%에서 62.8%로 높였다고 보고한다.

RF 특화 파인튜닝은 구조 유효성과 응답 예측을 크게 개선하지만, 논문이 보고한 결과에 따르면 전자기적으로 충실한 레이아웃 생성에는 여전히 상당한 여지가 남아 있다.

arXiv cs.AI
08
testinferencecost collapse

KV 캐시 제거를 위한 전역 중요도 추정

이 논문은 PRKV를 제안한다. PRKV는 어텐션으로 유도된 전이 그래프에 Personalized PageRank를 적용해 멀티홉 전역 토큰 중요도를 추정하는 학습 불필요 KV 제거 방법으로, 모델을 수정하지 않고 최근성이나 순간적 어텐션을 넘어선 중요도 전파를 가능하게 한다.

  • PRKV는 학습 불필요 방법이며 모델을 수정하지 않는다.
  • 최대 90%를 포함한 중간에서 공격적인 압축률에서 PRKV는 장문맥 이해, 희소 검색, 사고 연쇄 추론 작업에서 기존 제거 베이스라인과 경쟁력 있는 작업 성능을 달성한다.
  • 최대 메모리 사용량을 줄이면서 낮은 종단 간 오버헤드를 유지한다.
  • 이 논문은 NeurIPS 2026에 채택되었으며 저자는 Seojin Kim과 Noseong Park이다.

장문맥 추론을 구축하는 개발자에게 PRKV는 최근성이나 순간적 어텐션 스코어링을 멀티홉 전역 영향 추정으로 대체하면 높은 압축률에서도 작업 성능을 유지하고 최대 메모리를 줄일 수 있음을 보여준다.

arXiv cs.CL