Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-21
01
testinferenceincremental

Warum Vision-CNNs unter 4 Bit kollabieren und wo die Mixed-Precision-Wiederherstellung endet

Die Arbeit analysiert systematisch den Quantisierungskollaps bei Standard-Vision-CNNs, darunter ResNet- und EfficientNet-Backbones, evaluiert auf dem vollständigen ImageNet-1k-Validierungssatz mit 50.000 Bildern, und führt einen mehrstufigen Wiederherstellungs-Waterfall ein.

  • Der Kollaps ist stark nichtlinear und konzentriert sich auf späte Pointwise-Projektionen und Depthwise-Schichten.
  • Werden weniger als 5 % der kritischen Schichtaktivierungen in 8-Bit-Präzision gehalten, werden bis zu 92 % der bei aggressiver Sub-4-Bit-Kompression verlorenen Genauigkeit wiederhergestellt.
  • Auf Standard-ARM- und x86-CPU-Architekturen führt das softwarebasierte Bit-Unpacking der Standard-Runtime je nach Batch-Größe zu einer 1,48- bis 21,5-fachen Verlangsamung der Ausführung.

Für Edge-Vision-Entwickler reduzieren Sub-4-Bit-Gewichte den Speicher statt den Durchsatz, daher sollte die Mixed-Precision-Wiederherstellung auf späte Pointwise-Projektionen und Depthwise-Schichten zielen und den Unpacking-Overhead messen.

arXiv cs.AI
02
testmodelscapability unlock

thinkingmachines/Inkling-2-Mini: multimodaler Loop-Transformer mit 26,4B und offenen Gewichten

Thinking Machines Lab veröffentlicht Inkling 2 Mini, einen nativ multimodalen Loop-Transformer mit 26,4B Gesamt- und 3,4B aktiven Parametern unter Apache 2.0 mit offenen Gewichten. Das Modell nimmt Text- und Bildeingaben entgegen und unterstützt ein Kontextfenster von bis zu 1M Tokens.

  • 26,4B Gesamtparameter und 3,4B aktive Parameter; die mittleren 12 Schichten laufen dreimal mit geteilten Gewichten, was 48 Schichtanwendungen pro Token und 5,4B effektive aktive Parameter ergibt.
  • Die Architektur ist ein 24-schichtiger decoder-only Sparse-MoE, der jedes Token pro Schicht zu 8 von 128 Experten routet, mit hybridem lokalem und globalem Attention.
  • Verteilung als einzelner Checkpoint von etwa 20GB in gemischter NVFP4- und MXFP8-Präzision, mit unterstützter lokaler Inferenz auf 1x NVIDIA DGX Spark und Apple-silicon-Geräten mit 32GB oder mehr Speicher.
  • Die Modellkarte berichtet SWEBench Verified (nur bash) 79,2 %, SWEBench Pro v2 (Hard) 77,9 %, MMMU Pro Standard 10 74,9 % und OmniDocBench v1.6 92,8 %.

Entwickler erhalten ein multimodales Modell mit offenen Gewichten für lokale Hardware der 32GB-Klasse, doch die Modellkarte nennt schwächeren Faktenabruf als Inkling 2 Small und mögliche destruktive Agentenaktionen ohne Bestätigung, weshalb...

Hugging Face Trending
03
testdeveloperopen source unlock

Hugging Face stellt harness adapters vor: Modelle per RL an den eigenen Agent-Harness anpassen

Hugging Face veröffentlicht ein wiederverwendbares Rezept, das für Qwen3.8-27B je einen LoRA-Adapter pro Agent-Harness mit RL innerhalb von Pi, OpenCode und Hermes Agent trainiert und die drei LoRAs anschließend zu einem einzigen Super-Adapter zusammenführt, der unter allen drei Harnesses unverändert läuft.

  • Jeder Adapter wurde auf NVIDIA 2×B200 GPUs trainiert, eine GPU für den vLLM-Server und eine für den Trainingsprozess.
  • Die finale Datenmischung kombiniert 750 Aufgaben aus den harness-adapters-RL-Umgebungen mit 300 Aufgaben aus termgrade.
  • Der Datensatz harness-hub/agentic-coding-envs enthält 871 Aufgaben aus 35 Repositories, von denen 171 die qualifizierte Teilmenge für das GRPO-Training bilden.

Für Agent-Entwickler zeigt dies, dass RL-Feintuning im tatsächlich eingesetzten Harness die Erfolgsquote erhöhen und gleichzeitig den Tokenverbrauch senken kann, ohne das Basismodell zu wechseln.

Hugging Face Blog
04
watchresearchcapability unlock

Sprachmodelle für introspektive Aufsicht trainieren

Das Paper führt introspektive Aufsicht ein: Eine separate Beobachterrolle in dritter Person wird dem Modell hinzugefügt, um Fragen zum Assistenten zu beantworten, wobei Antworten belohnt werden, die gegen das tatsächliche Verhalten des Assistenten verifiziert wurden. In fünf zurückgehaltenen Aufsichts-Evaluationen erre...

  • Ein auf Qwen3.6-27B trainierter Beobachter erreicht in fünf zurückgehaltenen Aufsichts-Evaluationen eine mittlere AUROC von 0,907.
  • Vergleichsbaselines: Ehrlichkeitstraining 0,864, Transkript-Überwachung 0,828, Aktivierungs-Orakel 0,796.
  • Das Paper berichtet, dass das Training eines Beobachters den Assistenten selbst leichter überwachbar macht, wobei sich jede Baseline-Methode im Durchschnitt auf dem feinabgestimmten Assistenten verbessert.
  • Das Paper umfasst 31 Seiten mit 13 Abbildungen und 8 Tabellen und wurde am 17. November 2026 eingereicht.

Für Entwickler deutet dies auf eine separat vom Assistenten und allein auf Genauigkeit trainierbare Beobachterrolle als Aufsichtspfad jenseits externer Transkript-Überwachung und Aktivierungs-Decoder hin.

arXiv cs.AI
05
testresearchincremental

Watch Where You Linearize: Vorhersage und Korrektur von Interferenzen beim Modell-Merging

Die Arbeit zeigt, dass eine Richtungsableitung erster Ordnung der Ausgaben von Aufgabe A entlang des Vektors von Aufgabe B Interferenzen vorhersagen kann, aber nur bei Auswertung am Empfängermodell, und baut darauf LR-Merge auf, um Merging-Koeffizienten über label-freies konvexes Teacher-Matching zu optimieren.

  • Am Empfängermodell sagt die Ableitung nahe Merges pro Aufgabe und pro Beispiel voraus, halbiert den Genauigkeitsfehler einer No-Change-Baseline und identifiziert die meisten Beispiele, deren Vorhersagen kippen.
  • Vollständige Multi-Task-Merges erfordern zwei Auswertungen entlang des Merge-Pfads; eine einzelne Auswertung reicht nicht aus.
  • Am gemeinsamen vortrainierten Backbone ist die Ableitung in den Vision-Experimenten nahezu orthogonal zu den realisierten Änderungen und in LoRA-Sprachmodell-Piloten nur teilweise prädiktiv.

Entwickler können die Richtungsableitung am Empfängermodell auswerten, um Merge-Interferenzen kostengünstig vorherzusagen, und LR-Merges label-freies konvexes Teacher-Matching statt teurer Koeffizientensuche nutzen.

arXiv cs.LG
06
watchagentsincremental

Where the Tokens Go: Wärme, Entropie und Fehler beim agentischen Codieren

Die Arbeit führt eine Theorie der Software-Thermodynamik ein, die von einem Coding-Agenten erzeugte Tokens als Kosten zählt und diese Kosten in Arbeit und Wärme aufteilt. Sie testet die Theorie, indem ein Agent wiederholt Repository-Änderungen vornimmt und rückgängig macht, während die Tokens jedes Modellaufrufs gezähl...

  • Die Arbeit berichtet, dass etwa 80 Prozent der Tokens eines erfolgreichen Durchlaufs in Modellaufrufen entstehen, die die angeforderte Änderung unverändert lassen, was die Autoren als Wärme bezeichnen.
  • Die Arbeit berichtet, dass die freie Energie einer Änderung, geschätzt in Analogie zur Jarzynski-Gleichheit, 14 bis 22 Prozent der mittleren Kosten eines erfolgreichen Coding-Durchlaufs beträgt.
  • Die Arbeit berichtet, dass Codieren 1,1- bis 1,5-mal so viel kostet wie das Rückgängigmachen.
  • Die Arbeit berichtet, dass die Streuung der Kosten über wiederholte Zyklen eine Software-Temperatur definiert, die mit der Sampling-Temperatur des Modells anstieg.

Der Rahmen erlaubt es Entwicklern, die Token-Ausgaben eines Agenten in nutzbare Arbeit und verschwendete Wärme zu trennen, um Modellaufrufe zu identifizieren, die die angeforderte Änderung nicht voranbringen.

arXiv cs.AI
07
watchresearchbenchmark jump

RFBench: Ein simulatorgestützter multimodaler Benchmark für Entwurf und Verständnis passiver RF-Layouts

Die Arbeit führt RFBench ein, einen simulatorgestützten Datensatz und Benchmark zur Bewertung multimodaler Sprachmodelle bei Entwurf und Verständnis passiver RF-Layouts über sieben Aufgaben.

  • Der Datensatz enthält 10.000 zweiportige planare Layouts, die mit ADS Momentum simuliert wurden.
  • Jedes Layout umfasst editierbare geometrische Primitive, ein Rasterbild, ein 16x16-Belegungsgitter, komplexe S-Parameter bei 201 Frequenzpunkten, eine Strukturkategorie und ein RF-Antwortlabel.
  • Die Arbeit berichtet, dass RF-spezifisches Fine-Tuning die strukturelle Validität T1a von 0,0 % auf 83,2 % und die T3-Primitiveingabe-Rate innerhalb von 2 dB von 17,7 % auf 62,8 % erhöht.

RF-spezifisches Fine-Tuning verbessert strukturelle Validität und Antwortvorhersage deutlich, doch die berichteten Ergebnisse zeigen, dass bei der Erzeugung elektromagnetisch getreuer Layouts noch erheblicher Spielraum bleibt.

arXiv cs.AI
08
testinferencecost collapse

Globale Wichtigkeitsabschätzung für KV-Cache-Eviction

Die Arbeit stellt PRKV vor, eine trainingsfreie KV-Eviction-Methode, die die mehrstufige globale Token-Wichtigkeit durch Anwendung von Personalized PageRank auf aufmerksamkeitsinduzierte Übergangsgraphen schätzt und damit Wichtigkeitsausbreitung jenseits von Rezenz oder momentaner Aufmerksamkeit ermöglicht, ohne das Mo...

  • PRKV ist trainingsfrei und verändert das Modell nicht.
  • Die Methode reduziert den Spitzenarbeitsspeicher bei geringem End-to-End-Overhead.
  • Die Arbeit wurde auf der NeurIPS 2026 angenommen, von Seojin Kim und Noseong Park.

Für Entwickler von Langkontext-Inferenz zeigt PRKV, dass das Ersetzen von Rezenz- oder Momentanaufmerksamkeits-Scoring durch mehrstufige globale Einflussschätzung die Aufgabenleistung bei hohen Kompressionsraten erhalten und den Spitzenarbe...

arXiv cs.CL