AI FRONTIER
Signals worth understanding before they become obvious.
Lazare: 휴면 뉴런을 재프로그래밍해 AI 에이전트에 백도어 삽입
Microsoft 연구진은 LLM의 휴면 뉴런 10개 미만을 재프로그래밍하는 것만으로 재학습 없이 AI 에이전트에 백도어를 삽입하고, 숨겨진 트리거가 나타나면 악성 명령을 실행하게 만드는 'Lazarus' 기법을 발견했다.
- 휴면 뉴런 10개 미만을 재프로그래밍하는 것만으로 해당 LLM 기반 에이전트에 백도어를 삽입하기에 충분하며 학습이 필요하지 않다.
- 트리거는 날짜 변경처럼 평범할 수 있으며, 예를 들어 시계가 2027년으로 자정을 넘기면 에이전트는 평범한 작업 도중 공격자 코드를 다운로드해 실행하는 명령을 내보낸다.
- 논문은 약 50개 예시로 학습한 선형 분류기가 트리거가 있는 입력과 없는 입력을 구분할 수 있다고 보고한다.
- 이 공격은 추론 연산만 필요로 하며, 모델을 실행할 만큼의 RAM이 있으면 가중치 공간에 백도어를 삽입할 수 있다.
빌더는 가중치 무결성을 코드 무결성처럼 다루어야 하며, 원본 미수정 가중치와의 차이 비교 없이는 안전성을 증명할 수 없으므로 출처 추적과 배포 전 검증이 필수다.
BotPsy: 10억 미만 파라미터 에이전트 언어 모델을 탑재한 온디바이스 개인 비서
Tether AI Research가 공개한 BotPsy는 Qwen3.5-0.8B를 기반으로 구축된 0.8B 파라미터 모델로, 함수 호출과 에이전트 워크플로를 위해 설계되었으며 온디바이스 배포에 적합합니다.
- BFCL v4는 23.4에서 44.0으로, ACEBench는 30.1에서 58.7로, τ-bench는 23.2에서 51.5로 상승했습니다.
- BFCL v4, ACEBench, τ-bench, ToolSandbox, BrowseComp-Plus에서 Qwen3.5-2B-Think를 앞섰고, Claw-Eval에서만 뒤졌습니다(46.5 대 48.9).
- IFEval은 59.7에서 90.8로, IFBench는 22.0에서 55.9로 향상되었습니다.
- Apache 2.0 라이선스로 오픈 웨이트가 공개되며, bf16, Q8, Q4 세 가지 정밀도를 safetensors와 GGUF 형식으로 제공할 예정입니다.
온디바이스 에이전트를 구축하는 개발자에게 BotPsy는 0.8B 모델이 도구 사용 벤치마크에서 2.5배 규모 모델을 앞설 수 있음을 보여주지만, 지식 과제는 여전히 파라미터 수에 따라 확장됩니다.
OpenRouter 신규 모델: Baidu ERNIE-5.5-Flash-Preview (무료)
Baidu의 ERNIE-5.5-Flash-Preview가 OpenRouter에서 무료로 제공되며, 총 파라미터 2800억 개, 토큰당 140억 개 활성화, 100만 토큰 컨텍스트 윈도우를 지원한다.
- 총 파라미터는 2800억 개이며 토큰당 140억 개 파라미터를 활성화한다.
- 컨텍스트 윈도우는 1,024,000 토큰이고 최대 1,024,000개의 완성 토큰을 지원한다.
- 페이지에 따르면 새 아키텍처로 초당 200토큰 이상의 생성 속도를 제공한다.
- Baidu Qianfan 단일 제공자가 호스팅하며 가격은 무료이고 무료 엔드포인트는 속도 제한이 있다.
무료에 100만 토큰 컨텍스트와 희소 활성화를 결합해 장문 문서와 에이전트 워크플로 프로토타이핑에 적합하지만 단일 제공자와 속도 제한을 고려해야 한다.
AlphaGenome 2: 세포가 DNA를 읽는 방식을 해독해 질병 이해를 높이다
Google DeepMind가 차세대 DNA 서열 모델 AlphaGenome 2를 발표했다. 조건부 모델로 특정 세포 유형이나 상태별로 DNA 변이의 영향을 예측하며, 재훈련 없이 새로운 단일세포 데이터에 적응할 수 있다.
- TenK10K 데이터셋에서 AlphaGenome 2가 확인한 인과 변이는 기존 AlphaGenome의 약 두 배(30% 대 16%)였고, 방향성 유전자 효과는 43% 대 23%였다.
- 모델은 68개 조직, 1억 700만 개 이상의 개별 세포 프로파일로 훈련되었다.
- 유전자 발현, 히스톤 변형, 크로마틴 접근성과 함께 DNA 메틸화도 예측한다.
- AlphaGenome 2는 오늘부터 AlphaGenome API를 통해 비상업적 연구용으로 제공되며, 상업적 연구는 비공개 미리보기 단계다.
조건부 단일세포 모델링은 연구자들이 새로운 데이터셋마다 재훈련하지 않고도 질병 관련 세포 유형에서 변이 효과를 찾아낼 수 있게 한다.
HOPE: Mixture-of-Experts 언어 모델을 위한 고차 전문가 프루닝
HOPE는 캘리브레이션 세트에서 전문가 간 쌍별 상호작용 행렬 F를 구성하고 이차 계획법을 풀어 프루닝 집합을 선택하는 이차 전문가 프루닝 방법으로, 각 전문가를 독립적으로 점수화하는 일차 방법과 다르다.
- Qwen3.5-122B는 48개 MoE 레이어 각각에 256개 전문가를 가지며, 약 250 GB 파라미터 메모리의 약 95%를 전문가 MLP가 차지하지만 토큰당 각 레이어에서 실제로 사용되는 전문가는 8개뿐이다.
- 50% 프루닝에서 HOPE의 평균 순위는 1.58로 차선 방법인 REAP의 2.42보다 우수하다.
- Qwen3.5-35B-A3B를 50% 프루닝하여 SWE-Bench Pro에서 평가한 결과 HOPE는 42.3을 기록해 프루닝되지 않은 모델의 41.8과 맞먹었지만 REAP는 36.2로 하락했다.
- F 행렬의 대각선은 REAP의 전문가 순위를 거의 완벽하게 재현하며(Spearman ρ = 0.988), HOPE가 REAP보다 나은 개선은 비대각 상호작용 항에서 비롯된다.
메모리 제약 아래 대형 MoE를 배포하는 팀에게 HOPE는 공격적인 프루닝에서도 전문가 간 협력 구조를 모델링하면 에이전트 코딩 능력을 유지할 수 있음을 보여주며, 독립 점수화는 뚜렷하게 퇴화한다.
다중 벡터 임베딩 모델을 위한 Token Pooling 인식 학습
Hugging Face 블로그는 Sentence Transformers에서 원본 문서 임베딩과 압축된 문서 임베딩 모두에 검색 손실을 적용하는 풀링 인식 학습을 소개한다. 이를 통해 인코더가 벡터 병합 후에도 검색에 필요한 정보를 보존하도록 학습된다.
- pool_factor=4일 때 일반 학습 모델은 풀링하지 않은 NanoBEIR nDCG@10의 94.6%를 유지하며 문서 벡터는 4분의 1로 줄어든다.
- 풀링 인식 학습은 동일한 저장 예산에서 유지율을 97.8%로 높인다.
- 손실은 L = 1/2 L_unpooled + 1/2 L_pooled이며 두 목적이 동일한 인코더를 갱신한다.
- HierarchicalTokenPooling은 Ward 계층적 클러스터링을 사용하고, 학습 시 straight-through estimator로 풀링된 벡터의 그래디언트를 구성 토큰으로 전달한다.
다중 벡터 검색 시스템에서 풀링 인식 학습은 벡터 저장량을 늘리지 않고도 학습 목적 정렬을 통해 압축으로 인한 검색 품질 손실을 회복하게 해준다.
프리필에서 학습하고 디코드에서 모니터링: 희소 오토인코더를 이용한 주제 모니터링
논문은 SAE 특징 위에서 인과적 주제 분류기를 학습시켜 생성 응답의 각 토큰에 주제를 할당하고 응답 중간에 라벨이 바뀔 수 있게 하는 TopicScope 프레임워크를 제안한다. Gemma-3 1B와 4B에서 프리필 은닉 상태에서 추출한 특징으로 학습한 모니터가 디코딩 단계로 일반화되었다.
- 7개 주제를 다루는 합성 다중 주제 대화에서 세 가지 탐지기 아키텍처를 학습했다.
- Gemma-3 1B와 4B에서 프리필 은닉 상태에서 추출한 특징으로 학습한 모니터가 디코딩으로 일반화되었다.
- 분류기는 교란에 강건하여 주제에서 벗어난 내용 삽입, 주제 제거, 섹션 재정렬 시 macro-F1이 최대 5포인트 하락했다.
- SAE의 기여를 파악하기 위한 절제 실험에서 SAE 없이 기준 성능에 도달한 분류기는 몇 배 더 컸다.
이는 소형 주제 모니터를 저렴하게 프리필에서 학습해 생성 중에 배포할 수 있음을 보여주며, SAE가 안전 분류를 넘어 유용하게 쓰이는 지점을 제시한다.