AI FRONTIER
Signals worth understanding before they become obvious.
OpenRouter에 Tencent Hy4 공개: 1M 컨텍스트와 최초의 시각 이해 지원
Tencent Hy4 정식 버전이 출시되어 Hy4 Preview 대비 전반적이고 상당한 개선이 보고되었으며, 특히 에이전트 능력과 장기 실제 생산성 작업에서 성능 향상이 두드러지고 시각 이해가 처음 도입되었다.
- 컨텍스트 창은 1,048,576 토큰이며 최대 65,536개의 완성 토큰을 지원한다.
- 가격은 입력 $0.417/백만 토큰, 출력 $1.251/백만 토큰, Cache Read는 $0.021/백만 토큰이며 모두 50% 할인으로 표시된다.
- 텍스트와 이미지를 입력으로 받아 텍스트를 출력하고, tools와 tool_choice를 통한 함수 호출 및 response_format의 JSON schema를 통한 구조화 출력을 지원한다.
- 출시일은 2026년 11월 4일이며 단일 제공업체인 Tencent Cloud가 호스팅하고 OpenRouter가 요청을 직접 전달한다.
1M 컨텍스트, 도구 호출, 최초의 이미지 입력 조합은 이미지를 읽으며 긴 다단계 작업을 수행하는 프로덕션 에이전트에 적합하다.
moonshotai/Kimi-K3.1-Pro: 2.8T 파라미터 오픈 멀티모달 에이전트 모델
Kimi K3.1 Pro는 오픈 웨이트 네이티브 멀티모달 에이전트 모델로, Kimi K3에서 대규모 공동 강화학습으로 후속 학습되었으며 100만 토큰 컨텍스트 윈도우를 갖춘다.
- 총 파라미터 2.8T, 활성 파라미터 104B, 93개 레이어, MoE 아키텍처로 토큰당 16개 전문가 선택.
- 컨텍스트 길이 1048576, 비전 인코더는 MoonViT-V2이며 파라미터 401M.
- 양자화는 MXFP4 가중치 / MXFP8 활성화이며 양자화 인식 학습을 적용.
- 모델 카드는 Terminal-Bench 4.0에서 65.7, SWE Marathon v1.1에서 51.7, HLE-Full w/ tools에서 70.0을 보고.
빌더에게 이 모델은 오픈 웨이트로 100만 토큰 컨텍스트와 네이티브 멀티모달을 제공하고 vLLM, SGLang, TokenSpeed 배포를 지원하므로 장문맥 에이전트와 문서 파싱에 적합하다.
Dharma Field Extractor: 모든 문서를 입력하면 JSON 구조화 필드로 출력
Dharma-AI가 모든 문서 유형에서 요청한 필드를 추출해 구조화된 JSON을 반환하는 20억 파라미터 모델 Dharma Field Extractor를 공개했다. 개방형 추출과 스키마 지정 추출 두 가지 모드를 지원한다.
- 기반 모델은 DharmaOCR-LITE v1.1(20억 파라미터)이며, 해당 체크포인트 위에 43,384개 훈련 예시로 LoRA 어댑터를 훈련했다.
- 벤치마크는 546개 문서, 세 가지 요청 시나리오, 총 1,638개 케이스를 대상으로 하며, 필드 수준 F1에 일치 값의 Levenshtein 유사도와 유효 JSON 출력 비율을 곱해 점수를 산출한다.
- 이 모델은 0.834를 기록해 테스트한 모든 프런티어 구성(Claude Opus 5의 0.816부터 GPT-5.6 Luna의 0.741까지)을 앞섰다.
- 비용은 프런티어 API보다 약 6배(GPT-5.6 Luna)에서 약 147배(GPT-5.6 Sol) 낮으며, 자체 호스팅 시 단일 L40S의 시간당 2.24달러 GPU 시간으로 계산한다.
필드 수준 문서 추출에서는 자체 인프라에 호스팅한 20억 파라미터 전용 모델이 동일 벤치마크에서 더 낮은 비용으로 프런티어 API를 앞설 수 있다.
Circuit Oracle: 자연어 쿼리를 통한 귀속 그래프 분석 자동화
Circuit Oracle은 다중 에이전트 하네스와 작업별 스킬을 갖춘 기성 LLM으로, 도구 호출을 통해 귀속 그래프를 읽고 자연어 질문에 답한다. 논문은 세 가지 안전 관련 프록시 작업에서 평가하며 결과는 엇갈린다.
- 허위 특징 탐지에서 Circuit Oracle은 78.2 ± 2.4% 정확도에 도달하여 단일 계층 특징 순위 기준선을 능가했다.
- 비밀 유도에서는 Activation Oracles와 같은 훈련된 자기 설명기가 여전히 더 강한 기준선이다.
- 50개 프롬프트에 대한 거부 억제에서 단일 개입은 diff-in-means 기준선보다 약간 낮았고, 다섯 번 시도 중 최선을 허용했을 때만 이를 초과했다.
- 결과는 다섯 번의 실행과 에이전트 모델 선택 전반에 걸쳐 안정적이다.
귀속 그래프 분석은 자연어 에이전트로 부분적으로 자동화될 수 있지만, 보고된 결과는 비밀 유도와 거부 억제에서 전용 기준선에 미치지 못하므로 구축자는 대체가 아닌 보조 도구로 다루어야 한다.
MEMENTO: 장문맥 처리 에이전트를 위한 문맥 관리 학습
이 논문은 Qwen3-8B 기반의 장문맥 에이전트 MEMENTO를 제안한다. 사후에 생성된 노트로 주석된 합성 궤적으로 미세조정해 노트 작성을 부트스트랩한 뒤, 답변 정확성·노트 품질 휴리스틱·신뢰도 보정을 결합한 보상으로 강화학습하여 압축을 통한 문맥 관리를 학습한다.
- 논문은 최대 2.5M 토큰의 책을 사용한 4개 벤치마크의 책 수준 질의응답에서 MEMENTO가 Qwen3-8B의 정확도를 36.9%에서 67.8%로 높였고, 문맥에 항상 20K 토큰 이하만 유지했다고 보고한다.
- 논문은 동일 하네스에서 MEMENTO가 GPT-5.5 에이전트(13.1%)와 전체 책 문맥(56.7%)을 능가했으며 비용은 1/50 미만이었다고 보고한다.
- 논문은 MEMENTO가 약 100배 큰 GLM-5.3 에이전트(69.3%)에 거의 근접하며 비용은 1/9, GLM-5.3 전체 문맥에는 6.4점 차이로 비용은 1/26이었다고 보고한다.
- 논문은 GPT-5.5와 GLM-5.3을 포함한 기성 에이전트 모델이 종종 비효과적인 노트를 작성하며, 강화학습만으로는 유용한 노트 작성 행동을 거의 발견하지 못한다고 밝힌다.
장문맥 에이전트를 만드는 개발자에게 이 결과는 고정된 20K 토큰 창 안에서 명시적 압축 정책을 학습하면 훨씬 큰 모델이나 전체 문맥 방식보다 훨씬 낮은 비용으로 책 수준 질의응답 정확도에 근접할 수 있음을 시사한다.
GAVAGAI: 균형 최적 수송을 통한 영아 규모 비전-언어 모델의 지시 대상 정렬
이 논문은 다음 토큰 캡셔닝 목표에 지시 대상 변수를 추가하여, 각 장면을 들은 내용어와 본 영역 사이의 작은 할당 문제로 다루고 NOTHING 열과 용량 제약 아래 엔트로피 최적 수송으로 해결한다. SAYCam 영아 비디오 코퍼스에서 이 정렬 손실을 추가하면 단어-그림 정확도가 32.4%에서 48.7%로, 위치 IoU가 0.18에서 0.38로 향상되었다.
- 정렬 단계는 약 8회의 Sinkhorn 반복을 필요로 하며 비전 인코더에 비해 작다.
- 통제 시뮬레이션에서 모든 단어를 어떤 영역에 강제하는 행별 softmax 버전은 현실적 비지시율에서 단어-그림 정확도가 0.000으로 붕괴하여 캡셔닝 단독의 0.058보다 낮았다. 두 제약은 그 상황에서 0.075, 깨끗한 입력에서 0.700에 도달했다.
- 단일 파라미터 버전은 세 가지 모호성 조건에서 성인 교차 상황 학습 정확도를 재현하며 RMSE는 0.024이다.
- SAYCam 영아 비디오 코퍼스에서 다음 토큰 캡셔닝 모델에 정렬 손실을 추가하면 단어-그림 정확도가 32.4%에서 48.7%로, 위치 IoU가 0.18에서 0.38로 상승했다.
높은 비지시율에서 훈련되는 비전-언어 모델에게 명시적 단어-영역 할당 변수는 캡셔닝 목표 단독보다 단어 접지 압력을 제공하지만, 논문은 동일 아동 데이터로 훈련된 대조 모델을 능가한다고 주장하지 않는다.
인간화되었지만 여전히 진실인가? AI 텍스트 인간화 도구의 사실 및 탐지 감사
이 논문은 규칙 기반 검사기로 AI 인간화 도구가 숫자, 날짜, 인명, 기관명, 인용 구절을 보존하는지 감사하고, 범용 결정 모델 Jev가 인간 원문과 인간화 재작성을 구분하는지 시험한다.
- 2026년 10월 주기에서 11개 상업 도구 모두 검증 가능한 단위가 포함된 문서의 35-65%에서 최소 하나를 변경하거나 삭제했다.
- 숫자와 이름만 세면 11개 도구 중 10개가 20% 이상의 문서에서 최소 하나를 변경했다.
- 오픈 12B 인간화 도구는 미국 연방 기관의 사실 밀도 높은 텍스트에서 숫자와 이름의 최소 97%를 유지했지만 인용 구절의 67-78%를 바꿔 썼다.
- Jev는 인간 원문과 인간화 재작성을 AUROC 0.864(0.827-0.902)로 구분해 Binoculars, Fast-DetectGPT, RADAR보다 0.18-0.22 높았으나, 0.5 임계값에서 인간 원문의 24%를 AI로 판정했다.
인간화 또는 탐지 파이프라인을 구축할 때는 탐지 회피와 사실 보존이 명확히 연관되지 않으므로 검증 가능한 사실 단위의 보존율을 별도로 측정해야 한다.
Transformers, Model Integration Contracts(MIC) 표준 제안
Hugging Face는 실제 체크포인트를 소형 fixture로 축소하고 CPU에서 사용 경로를 실행해 사람이 검토한 베이스라인과 비교하는 MIC를 제안했다.
- UMT5 fixture의 가중치는 66 MB인 반면 원본 체크포인트는 1,227 MB이다.
- UMT5 회귀는 2026년 7월 30일 도입부터 9월 28일 수정까지 지속되었고, 로그 확률은 베이스라인과 1.22, 학습 손실은 약 0.20 차이를 보였다.
- Llama 4 Scout는 108.6억 파라미터에서 4,470만 파라미터로 축소되었고, 비전 스택은 34층에서 2층, 언어 스택은 48층에서 4층으로 줄었다.
- 가중치 초기화 연구에서 무작위 Whisper fixture는 24개 주입 결함 중 18개를, 과적합 fixture는 24개 모두를 잡아냈다.
빌더는 MIC를 저렴한 CPU 기반 PR 검사로 활용할 수 있지만, 2026년 11월 1일 기준 MIC 작업은 실패를 보고할 뿐 PR을 차단하지 않는다는 점을 유의해야 한다.