AI FRONTIER
Signals worth understanding before they become obvious.
FairStress: LLM 의사결정의 공정성을 더 깊이 평가하다
Ai2가 29개 영역에 걸친 300개의 두 후보자 결정 시나리오를 포함한 FairStress 벤치마크를 공개했으며, 적대적 접두사에 대해 모델이 결정을 바꾸는 대칭성을 측정한다. 인구통계 정보와 접두사 변화를 결합하면 1,300만 개 이상의 테스트 케이스로 확장된다.
- FairStress는 채용, 의료, 대출, 교육, 주거, 형사 사법을 포함한 29개 영역의 현실적인 두 후보자 결정 시나리오 300개를 담고 있다.
- 인구통계 정보와 적대적 접두사 변화를 결합해 300개 시나리오가 1,300만 개 이상의 테스트 케이스로 확장된다.
- FairStress-Core는 문항반응이론으로 선정된 5만 개 하위 집합으로, 평가의 계산 비용을 낮추기 위해 설계되었다.
- 논문은 15개 모델에서 정답을 포기하는 평균 격차가 암시적 정체성에서 6.9%포인트, 명시적 레이블에서 9.3%포인트였다고 보고한다.
빌더는 공정성 평가를 최종 선택에서 결정 안정성으로 확장해야 하며, 고정 선택지 점수만으로는 생성적 결정에서의 과잉 교정을 놓칠 수 있다.
ALTK-Evolve: 학습된 메모리가 프론티어 모델 없이 GPT-4.1 고객 서비스 에이전트를 τ²-bench 리더보드 1위로 이끌다
IBM Research의 ALTK-Evolve는 에이전트 자체의 작업 시도에서 행동 지침을 추출해 시스템 프롬프트에 추가함으로써 모델 가중치 업데이트 없이 고객 서비스 에이전트를 개선한다. GPT-4.1을 사용하는 ReAct 에이전트는 τ²-bench 소매 작업에서 67.5% Pass^4를 달성해 모든 소매 항목을 앞섰다.
- 소매 작업: 기준선 Pass^4는 57.5%, lossless 구성(292개 지침)에서 67.5%(+10.0포인트); 평균 정확도는 78.1%에서 82.5%(+4.4)로 상승.
- 항공 작업: 기준선 Pass^4는 35.0%, sup3 구성(14개 지침)에서 45.0%(+10.0); lossless 구성의 평균 정확도는 57.5%에서 65.0%(+7.5)로 상승.
- 소매 리더보드: Pass^4=67.5%로 합성 τ²-bench 소매 데이터로 미세조정된 RAFT-30B-A3B(61.4%)를 6.1포인트 앞선다.
- 항공 리더보드: gpt-5.5 사용 에이전트는 82.0% Pass^4로 모든 프론티어 항목(66–72%)을 앞선다; gpt-4.1의 sup3 구성은 44%로 8위.
프롬프트 수준의 학습 메모리는 가중치 미세조정 없이 일반 모델 에이전트를 프론티어 수준으로 끌어올리며, 비용은 주로 캐시 가능한 입력 토큰에 집중된다.
Ant Ling, Ming-3.0 음성 시리즈 오픈소스 공개: 음성 합성·인식·이해를 아우르는 5개 모델
Ant Ling이 Ming-3.0 음성 시리즈를 오픈소스로 공개했다. 5개 모델이 음성 합성, 음성 인식, 음성 이해를 아우른다.
- 공개 주체는 Ant Ling이다.
- Ming-3.0 음성 시리즈는 5개 모델로 구성된다.
- 범위는 음성 합성, 인식, 이해를 포함한다.
합성·인식·이해를 한 번에 커버하는 5개 오픈소스 음성 모델은 음성 파이프라인에서 여러 출처의 모델을 조합하는 비용을 줄여준다.
LLM의 유출된 API 키: AI 에이전트가 비밀을 노출하는 방식
LLM의 유출된 API 키를 다루는 논문 요약으로, 대규모 언어 모델의 능력·평가·정렬 문제를 방법과 실험 결과에 초점을 맞춰 다룬다.
- 출처는 GitGuardian Blog이며 제목은 “Leaked API Keys in LLMs: How AI Agents Expose Secrets”이다.
- 요약은 대규모 언어 모델의 능력·평가·정렬 문제를 다룬다고 밝힌다.
- 요약은 방법과 실험 결과에 관심 있는 독자에게 적합하다고 밝힌다.
LLM 에이전트를 만드는 개발자는 API 키를 노출될 수 있는 비밀로 취급하고 그 전제 위에서 방어를 설계해야 한다.
NVIDIA Cosmos3-H-Dreams: 생성형 시뮬레이션으로 임상 수술을 구현
NVIDIA가 Cosmos3-H-Embodied-Nano(160억 파라미터) 기반의 실시간 생성형 수술 시뮬레이터 Cosmos3-H-Dreams를 공개했다. 임상 담낭절제술 영상과 로봇 운동학으로 학습하며 단일 NVIDIA RTX PRO 6000 GPU에서 대화형으로 실행된다.
- Open-H-Embodiment로 사전학습된 160억 파라미터 모델 Cosmos3-H-Embodied-Nano를 기반으로 한다.
- 학습은 832 x 480 영상, 10 Hz로 정렬된 동작, 28개 동작 차원을 사용한다.
- 교사 모델은 먼저 24개 미래 프레임에 적응한 뒤 72프레임(10 Hz에서 2.4초와 7.2초)으로 확장한다.
- 4단계와 2단계 디노이징 체크포인트를 공개한다. 2단계 모델은 별도로 학습된 것이며 4단계 모델의 샘플링 단계를 줄인 것이 아니다.
제공된 교사 파인튜닝 및 Self-Forcing 증류 레시피를 통해 개발자는 이 실시간 수술 월드 모델을 자체 영상과 컨트롤러 데이터에 적응시킬 수 있다.
AnyLanguageModel 1.0 공개: Apple 플랫폼에서의 로컬 모델 1년
AnyLanguageModel 1.0이 출시되었다. Apple Foundation Models 프레임워크를 대체하는 드롭인 호환 API로, 동일한 세션 코드로 시스템 모델, llama.cpp·MLX·Core ML 기반 오픈 웨이트 모델, 여러 호스팅 제공자를 사용할 수 있다.
- import FoundationModels를 import AnyLanguageModel로 바꾸면 같은 세션 코드가 시스템 모델, llama.cpp, MLX, Core ML, 호스팅 제공자에서 동작한다.
- 도구 호출과 가이드 생성이 모든 제공자에서 지원되며 중첩된 @Generable 타입과 그 배열도 포함된다.
- 호스팅 제공자는 OpenAI Chat Completions 및 Responses API, Open Responses, Anthropic Messages API, Google Gemini API, Ollama, Private Cloud Compute, Hugging Face Inference Providers를 지원한다.
- 글에 언급된 모델로는 Gemma 4 E2B(GGUF, Q4_0 약 3.4 GB), LFM2.5 2.6B(GGUF, Q4_K_M 약 1.7 GB), Qwen3.8 27B(MLX, 4비트 약 16 GB), GLM-5.3(BF16 약 1.5 TB)이 있다.
Apple 플랫폼 개발자는 import 한 줄만 바꿔 로컬 추론과 호스팅 추론을 같은 세션 코드로 다룰 수 있어 제공자별 대응 비용이 줄어든다.
OpenMOSS-Team, 5.1B 텍스트-이미지 모델 MOSS-Image-SFT를 Apache-2.0으로 공개
MOSS-Image-SFT는 OpenMOSS가 MOSS-Image-Base에서 지도 미세조정한 텍스트-이미지 모델로, 동일한 아키텍처와 추론 파이프라인을 사용하며 자연어 프롬프트, 태그 시퀀스, JSON 레이아웃으로 텍스트 배치와 객체 배열을 제어한다.
- 모델 규모는 5B 파라미터이며 가중치와 추론 코드는 Apache-2.0 라이선스로 공개되었다.
- 공식 예시는 SFT가 Base보다 더 명확한 텍스트 그룹화와 정돈된 화이트보드 배치를 생성한다고 밝힌다.
- 실행에는 Python 3.10 이상, CUDA 지원 NVIDIA GPU, PyTorch 2.9 이상이 필요하다.
- 기본 샘플링 설정은 Flow-matching Euler, 50 스텝, CFG 3, Shift 5, 부정 분기 22번째 레이어 스킵이다.
Apache-2.0 5B 텍스트-이미지 모델과 JSON 레이아웃 제어의 결합은 정확한 텍스트와 객체 배치가 필요한 제작 파이프라인에 바로 투입할 수 있다.