Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-20
01
testmodelscost collapse

DaisyRose-27B: Die Grenze der Post-Training-Effizienz verschieben

RadixArk veröffentlicht DaisyRose-27B, sein erstes Modell, aufgebaut auf Qwen3.8-27B und trainiert mit Reinforcement Learning über Miles auf langhorizontigen Agent-Aufgaben mit Sitzungen bis zu 1M Tokens, mit nur 1.200 kuratierten Aufgaben in 18 Tagen auf 144 H200 GPUs.

  • Terminal-Bench 4.1 pass@1 verbessert sich von 5,6 % auf 12,0 %.
  • Die Checkpoints sind unter Apache 2.0 in BF16, FP8 und NVFP4 verfügbar.
  • Das Modell behält Architektur, Tokenizer, Chat-Template, Bildverständnis und das 256K-Token-Kontextfenster von Qwen3.8-27B bei.
  • Das Training lief wochenlang auf 144 H200, insgesamt 63.000 GPU-Stunden.

Für Agent-Entwickler zeigt DaisyRose-27B, dass rund 1.200 kuratierte Aufgaben und 18 Tage Training einen Terminal-Benchmark-Wert verdoppeln können, während Checkpoints unter Apache 2.0 veröffentlicht werden.

Hugging Face Blog
02
watchdeveloperincremental

Wie OpenAIs Performance Factory ChatGPT schnell hält

OpenAI hat die Performance Factory entwickelt, ein System aus Codex-gestützten Workflows, das Performance-Probleme findet und behebt, um ChatGPT schnell zu halten.

  • Die Performance Factory ist ein System aus Codex-gestützten Workflows.
  • Es findet und behebt Performance-Probleme.
  • OpenAI gibt an, dass das Ziel darin besteht, ChatGPT schnell zu halten.

Für Teams, die KI-Produkte bauen, zeigt dies, wie Code-Generierungs-Workflows die Performance-Diagnose und -Behebung automatisieren können, statt sich allein auf manuelles Tuning zu verlassen.

OpenAI News
03
testresearchincremental

Eine differentielle Theorie der Qualitäts-Ressourcen-Abwägungen für die Auswahl von KI-Modellen: Die Multiresource-Front und ihr Minimax-Preis

Die Arbeit entwickelt eine differentielle Theorie, die Qualitäts-Ressourcen-Fronten als preisunabhängige ebene Kurve darstellt und die effektive Anzahl aktiver Ressourcenkanäle, N_eff = s²/κ, mit der verbleibenden logarithmischen Fehlertiefe, ΔS = ln(ε/ε∞), verknüpft. Wenn jede der N Ressourcen einen aktiven Kanal beit...

  • Die Arbeit berichtet, die Theorie an 117 veröffentlichten Fronten evaluiert zu haben.
  • Die Theorie leitet Minimax-Ressourcenpreise λ*_i = α_i/(N+1) mit einem exakten Worst-Case-Regret von ln(N+1) Nats ab.
  • Wenn jede der N Ressourcen einen aktiven Kanal beiträgt, liefert die Theorie die parameterfreie Betriebsregel N_eff = 1 in gelieferten Einheiten.
  • Die Theorie ist im Open-Source-Paket nn-rank implementiert, das Preise aus gemessener Qualität und gemessenen Kosten ableitet, Kandidaten einordnet und unterstützte Auswahlmöglichkeiten sowie Minimax-Regret berichtet.

KI-Entwickler können nn-rank nutzen, um Ressourcenpreise aus gemessener Qualität und gemessenen Kosten abzuleiten und Kandidaten ohne manuell gewählte Wechselkurse einzuordnen, während sie eine quantifizierte Minimax-Regret-Garantie erhalte...

arXiv stat.ML
04
testresearchcapability unlock

Bits, Not Boxes: Label-freie Schichtauswahl für visuelle Lokalisierung in VLMs

Die Arbeit stellt WhereBits vor, das auf ungelabelten Fragen gemessene where-to-look-Bits in einen Schicht-Prior überführt und mit kontrastiven Scores pro Kopf kombiniert, um Schichten auszuwählen, die das abgefragte Objekt lokalisieren, ohne Box-Annotationen oder feste Regeln.

  • Die Arbeit berichtet, dass WhereBits eine COCO-Pointing-Genauigkeit von 0,72 erreicht, gegenüber 0,22 für mean attention.
  • Über acht VLMs erreicht WhereBits die Pointing-Genauigkeit box-abgestimmter Schichten auf COCO und RefCOCO und ordnet Ziel-Tokens besser ein.
  • Der Vorteil hält bei einer zurückgehaltenen Modellfamilie und bei höheren Auflösungen.
  • Beim trainingsfreien Zoom-in erhöhen seine Crops die V*-Genauigkeit um 6,0 Punkte unter Forced-Choice-Evaluierung.

Für Entwickler von VLM-Lokalisierungspipelines lässt sich die Schichtauswahl mit nur ungelabelten Fragen auf ein neues Modell oder eine neue Auflösung neu kalibrieren, wodurch Box-Annotationen entfallen.

arXiv cs.CV
05
testmodelsopen source unlock

Tencent veröffentlicht Hy4-flash: multimodales MoE-Modell mit 220B Parametern und 12B aktiven Parametern

Tencents Hy4-flash nutzt eine Mixture-of-Experts-Architektur mit 220B Gesamtparametern und 12B aktiven Parametern pro Token, akzeptiert nativ Text- und Bildeingaben, unterstützt ein Kontextfenster von bis zu 1M Tokens und wird unter der Tencent Hy License veröffentlicht.

  • 220B Gesamtparameter (einschließlich 64B Engram-Parameter) bei 12B aktiven Parametern pro Token; das 42-schichtige Sprach-Backbone besteht aus einer dichten Schicht und 41 MoE-Schichten.
  • Kontextlänge von 1M (1.048.576 Tokens); der Vision-Encoder ist von SigLIP2-So400m-Patch16-Res512 abgeleitet und über einen MLP-Projektor mit dem Backbone verbunden.
  • Ein integrierter 5-schichtiger Drafter, DFly2 (0,85B Parameter), nutzt den KV-Cache und die Sparse-Indizes des Zielmodells für spekulatives Decoding bei langem Kontext.
  • Offene Gewichte werden unter der Tencent Hy License als Hy4 flash, Hy4 flash-FP8 und das vortrainierte Hy4 flash-base veröffentlicht.

Für Entwickler kombiniert Hy4-flash 12B aktive Parameter mit 1M-Token-Kontext und nativer Bildeingabe; die berichtete KV-Cache-Reduktion und über 150 Tokens/s Decoding könnten Speicher- und Kostendruck beim Long-Context-Serving senken.

Hugging Face Trending
06
watchothercapability unlock

OpenAI-Modelle treiben Chipdesign voran: Optimierung von Schaltkreisen für Jalapeño-Silizium und Verbesserung von RISC-V-Kerndesigns

OpenAI gibt an, seine Modelle hätten Schaltkreise für Jalapeño-Silizium optimiert und RISC-V-Kerndesigns verbessert, was Fortschritte beim KI-gestützten Chipdesign mit GPT-6 Astra zeigt.

  • OpenAI-Modelle optimierten Schaltkreise, die in Jalapeño-Silizium verwendet werden.
  • OpenAI-Modelle verbesserten RISC-V-Kerndesigns.
  • OpenAI stellt dies als Fortschritt beim KI-gestützten Chipdesign mit GPT-6 Astra dar.

Für Chipdesign-Teams signalisiert dies, dass OpenAI-Modelle auf reale Siliziumschaltkreis- und RISC-V-Kerndesignarbeit angewendet werden, nicht nur auf konzeptionelle Demonstrationen.

OpenAI News
07
watchresearchincremental

Paper: Chain-of-Thought-Kontrollierbarkeit kann die Überwachbarkeit von Chain-of-Thought verringern

Das Paper testet das Risiko der Chain-of-Thought-Überwachung mittels Persona-Control-Training: überwachtes Feintuning auf mathematischen Denkspuren, die in den Stimmen verschiedener Personas umgeschrieben wurden. Dies erzeugt eine breitere Fähigkeit zur CoT-Kontrolle, obwohl das Training keine Beispiele zur Umgehung vo...

  • Das Training ist überwachtes Feintuning auf mathematischen Denkspuren, die in den Stimmen verschiedener Personas umgeschrieben wurden, ohne Beispiele zur Umgehung von Monitoren in den Trainingsdaten.
  • In Interventions-Evaluierungen treibt ausdrückliches Verstecken die Überwachbarkeit oft nahe null.

Teams, die Agenten-Monitore bauen, sollten Persona-Feintuning als Faktor behandeln, der die CoT-Überwachbarkeit schwächen kann, und gezielte Transparenz-Prompts als Gegenmaßnahme testen.

arXiv cs.AI
08
testdeveloperincremental

Warum Ihr Fine-Tuning-Job länger dauert als die FLOPs vorhersagen

Dharma-AI verglich FLOP-basierte analytische Schätzungen mit gelernten Prädiktoren anhand von 272 Produktions-SFT-Jobs (etwa 7.382 GPU-Stunden auf NVIDIA H200): Die FLOP-Baseline erreichte nur R² 0,31, während ein CatBoost-Regressor, der ausschließlich vor dem Dispatch verfügbare Informationen nutzt, R² 0,98 erreichte.

  • 272 SFT-Läufe mit insgesamt etwa 7.382 GPU-Stunden, ausgeführt auf 1, 2 oder 4 H200-GPUs über 1 bis 4 Knoten, mit Laufzeiten von 1,6 bis 172,4 Stunden.
  • Die FLOP-Baseline (MFU 30 %) erreichte R² 0,31 und MAE 12,41 h; bei MFU 45 % lag R² bei 0,18 und bei MFU 60 % bei 0,01.
  • CatBoost erreichte in der 5-fachen Kreuzvalidierung R² 0,98, MAE 1,71 h und einen Medianfehler von 0,51 h, wobei nur Konfigurationsmerkmale vor dem Dispatch verwendet wurden.
  • Das analytische Modell Calculon lieferte Schätzungen, die einem Median von nur 11 % der beobachteten Wall-Clock-Zeit entsprachen.

Für Scheduler auf gemeinsam genutzten GPU-Clustern kann ein konfigurationsbasierter Gradient-Boosting-Prädiktor vor dem Dispatch nutzbare Laufzeitschätzungen liefern, was eine reine FLOP-Rechnung nicht kann.

Hugging Face Blog