AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: Test, wie Sprachmodelle Zustandsänderungen über lange Dokumente verfolgen
Ai2 stellt StateBench vor, einen Benchmark für Zustandsverfolgung im langen Kontext mit vier Schwierigkeitsstufen, der bewertet, wie gut Sprachmodelle Entitätsinformationen verfolgen, während sie sich in langen Dokumenten entwickeln.
- StateBench umfasst vier Schwierigkeitsstufen: r-trivial (unveränderliche Zuweisung), aperiodisch (Neuzuweisung nach Wert), lösbar (selbstreferenzielle Aktualisierungen) und allgemein endlich (Zuweisung per Referenz).
Entwickler von Langkontext-Systemen sollten Architekturen je nach Komplexität der Zustandsverfolgung getrennt evaluieren, da Transformer selbst beim direkten Training an der schwersten Stufe scheitern, während Gated DeltaNet und hybride Des...
Kosten pro Aufgabe: Günstige Klassifikatoren für das Routing zwischen Gemini-Modellen und Denkstufen
Ein Beitrag im Google for Developers Blog betrachtet Routing unter dem Gesichtspunkt der Kosten pro Aufgabe und nutzt günstige Klassifikatoren für das Routing zwischen Gemini-Modellen und Denkstufen.
- Die Quelle ist der Google for Developers Blog zum Thema Kosten pro Aufgabe.
- Der Ansatz nutzt günstige Klassifikatoren für das Routing zwischen Gemini-Modellen und Denkstufen.
Für KI-Entwickler bedeutet dies, dass eine kostengünstige Klassifikator-Entscheidung die Rechenleistung pro Aufgabe auf Modelle und Denkstufen verteilen kann.
Anthropic meldet Fortschritte bei beweisbarer Inferenz für große Sprachmodelle
Anthropic hat ein Forschungsupdate zu Fortschritten bei beweisbarer Inferenz für große Sprachmodelle veröffentlicht.
- Quelle ist Anthropic; Kategorie ist Forschung.
- Thema sind Fortschritte bei beweisbarer Inferenz für große Sprachmodelle.
Fortschritte bei beweisbarer Inferenz könnten Entwicklern stärkere Garantien für die Korrektheit von Schlussfolgerungen geben und verdienen daher Beobachtung.
Agentic World Modeling für Test-time Scaling von Agenten ohne Umgebungsreplikat
Die Arbeit führt Agentic World Modeling (AWM) ein, das die Vorhersage der nächsten Beobachtung als mehrstufige Evidenz-Beschaffungsaufgabe neu formuliert: Ein agentischer Simulator fragt die reale Umgebung über sichere Nur-Lese-Schnittstellen ab, schlussfolgert über die zurückgegebenen Belege und konstruiert die result...
- Die Arbeit berichtet, dass AWM eine Single-Shot-Simulationsbaseline über τ-bench, AppWorld und OfficeBench um durchschnittlich 40,07% übertrifft.
- Die Arbeit berichtet, dass AWM eine trainierte World-Model-Baseline um durchschnittlich 12,36% übertrifft.
- AWM fragt die reale Umgebung über sichere Nur-Lese-Schnittstellen ab und gibt an, den gemeinsamen Zustand nicht zu verändern.
Für Agenten-Entwickler bietet AWM einen Weg, Trajektorien parallel auf einer einzigen gemeinsamen Umgebung zu erkunden, ohne sie zu replizieren, was zählt, wenn der Produktionszustand nicht zurückgesetzt werden kann.
CWE-bench v2: Mehr Abdeckung, Qualität und Transparenz
Collinear AI veröffentlicht CWE-bench v2, ein öffentliches Set aus 100 Aufgaben über 91 CWEs mit deterministischer programmatischer Bewertung, plus ein zurückgehaltenes Set zur Fortschrittsverfolgung.
- Das öffentliche Set enthält 100 Aufgaben, die 91 verschiedene CWEs abdecken.
- Von 11 bewerteten Modellen führt Gemini 4 Argon mit 67,8 % pass@1 und 81,0 % pass@4, vor Claude Opus 5.5 mit 67,3 % pass@1 und 78,0 % pass@4.
- 95 Aufgaben werden von mindestens einem Modell gelöst, doch selbst der Spitzenreiter scheitert bei jedem Versuch an 19 % des Sets.
- DeepSeek V4.1 Flash erreicht 57,0 % pass@1 bei 0,04 $ pro Rollout, Opus bei 1,83 $ und Gemini bei 3,92 $.
Entwickler können diesen deterministischen Benchmark direkt aus dem Hugging-Face-Repo ausführen und dieselben Umgebungen und Verifier als RL-Belohnungen für das Training defensiver Agenten wiederverwenden.
DeepSeek startet Creator-Modus und plant Vortraining des nächsten großen Modells auf Huawei-Ascend-Chips
Laut ThePaper.cn hat DeepSeek den Creator-Modus gestartet und plant, sein nächstes großes Modell auf Huawei-Ascend-Chips vorzutrainieren.
- ThePaper.cn berichtet, dass DeepSeek den Creator-Modus gestartet hat.
- ThePaper.cn berichtet, dass DeepSeek plant, sein nächstes großes Modell auf Huawei-Ascend-Chips vorzutrainieren.
Sollte das nächste Modell tatsächlich auf Ascend vortrainiert werden, müssen KI-Entwickler Migrationskosten und Toolchain-Reife eines Nicht-NVIDIA-Trainingsstacks bewerten.
Git-Skalierung bei OpenAI: das Pando-Backend
OpenAI hat Pando entwickelt, ein Git-kompatibles Backend, das für den Entwicklungsmaßstab ausgelegt ist, den Codex ermöglicht.
- Pando wird als Git-kompatibles Backend beschrieben.
- OpenAI gibt an, dass Pando für den Entwicklungsmaßstab ausgelegt ist, den Codex ermöglicht.
Für KI-Entwickler zeigt dies, dass die Einführung von Coding-Agenten die interne Versionskontrollinfrastruktur neu gestaltet.
baidu/Unlimited-OCR-2: ein multimodales OCR-Modell mit 3,3B Parametern und SR-SWA für unbegrenztes Dokumenten-Parsing
Baidu hat Unlimited-OCR-2 veröffentlicht, das Sparse Reference Sliding Window Attention (SR-SWA) nutzt, um Text-Bild-Attentionsinteraktionen auf eine feste Menge von Arbeitsreferenzen (z. B. 512 Tokens) zu komprimieren und so die Dekodierungslatenz pro Schritt sowie den Speicherbedarf unabhängig von der Dokumentlänge n...
- Das Modell hat 3,3B Parameter, verwendet die Tensortypen I64 und BF16 und steht unter der MIT-Lizenz.
- SR-SWA komprimiert Text-Bild-Attentionsinteraktionen auf eine feste Menge von Arbeitsreferenzen (z. B. 512 Tokens) und hält die Dekodierungslatenz pro Schritt sowie den Speicherbedarf nahezu konstant.
- Das Paper berichtet von State-of-the-Art-Ergebnissen sowohl bei Benchmarks mit Dutzenden Seiten wie MPDocBench als auch bei extremen Hundert-Seiten-Benchmarks wie MarathonDocBench.
- Transformers wurde mit Python 3.10, torch 2.13.0 und transformers 4.52.1 auf einer NVIDIA A800-80GB getestet; für das Serving wird SGLang empfohlen.
Für Entwickler von Dokumenten-Parsing-Pipelines macht SR-SWA die Attention-Kosten langer Dokumente von der Länge abhängig zu nahezu konstant und ermöglicht das Parsen von Hundert-Seiten-Dokumenten in einer einzigen Anfrage innerhalb eines e...