AI FRONTIER
Signals worth understanding before they become obvious.
DaisyRose-27B: Die Grenze der Post-Training-Effizienz verschieben
RadixArk veröffentlicht DaisyRose-27B, sein erstes Modell, aufgebaut auf Qwen3.8-27B und trainiert mit Reinforcement Learning über Miles auf langhorizontigen Agent-Aufgaben mit Sitzungen bis zu 1M Tokens, mit nur 1.200 kuratierten Aufgaben in 18 Tagen auf 144 H200 GPUs.
- Terminal-Bench 4.1 pass@1 verbessert sich von 5,6 % auf 12,0 %.
- Die Checkpoints sind unter Apache 2.0 in BF16, FP8 und NVFP4 verfügbar.
- Das Modell behält Architektur, Tokenizer, Chat-Template, Bildverständnis und das 256K-Token-Kontextfenster von Qwen3.8-27B bei.
- Das Training lief wochenlang auf 144 H200, insgesamt 63.000 GPU-Stunden.
Für Agent-Entwickler zeigt DaisyRose-27B, dass rund 1.200 kuratierte Aufgaben und 18 Tage Training einen Terminal-Benchmark-Wert verdoppeln können, während Checkpoints unter Apache 2.0 veröffentlicht werden.
Wie OpenAIs Performance Factory ChatGPT schnell hält
OpenAI hat die Performance Factory entwickelt, ein System aus Codex-gestützten Workflows, das Performance-Probleme findet und behebt, um ChatGPT schnell zu halten.
- Die Performance Factory ist ein System aus Codex-gestützten Workflows.
- Es findet und behebt Performance-Probleme.
- OpenAI gibt an, dass das Ziel darin besteht, ChatGPT schnell zu halten.
Für Teams, die KI-Produkte bauen, zeigt dies, wie Code-Generierungs-Workflows die Performance-Diagnose und -Behebung automatisieren können, statt sich allein auf manuelles Tuning zu verlassen.
Eine differentielle Theorie der Qualitäts-Ressourcen-Abwägungen für die Auswahl von KI-Modellen: Die Multiresource-Front und ihr Minimax-Preis
Die Arbeit entwickelt eine differentielle Theorie, die Qualitäts-Ressourcen-Fronten als preisunabhängige ebene Kurve darstellt und die effektive Anzahl aktiver Ressourcenkanäle, N_eff = s²/κ, mit der verbleibenden logarithmischen Fehlertiefe, ΔS = ln(ε/ε∞), verknüpft. Wenn jede der N Ressourcen einen aktiven Kanal beit...
- Die Arbeit berichtet, die Theorie an 117 veröffentlichten Fronten evaluiert zu haben.
- Die Theorie leitet Minimax-Ressourcenpreise λ*_i = α_i/(N+1) mit einem exakten Worst-Case-Regret von ln(N+1) Nats ab.
- Wenn jede der N Ressourcen einen aktiven Kanal beiträgt, liefert die Theorie die parameterfreie Betriebsregel N_eff = 1 in gelieferten Einheiten.
- Die Theorie ist im Open-Source-Paket nn-rank implementiert, das Preise aus gemessener Qualität und gemessenen Kosten ableitet, Kandidaten einordnet und unterstützte Auswahlmöglichkeiten sowie Minimax-Regret berichtet.
KI-Entwickler können nn-rank nutzen, um Ressourcenpreise aus gemessener Qualität und gemessenen Kosten abzuleiten und Kandidaten ohne manuell gewählte Wechselkurse einzuordnen, während sie eine quantifizierte Minimax-Regret-Garantie erhalte...
Bits, Not Boxes: Label-freie Schichtauswahl für visuelle Lokalisierung in VLMs
Die Arbeit stellt WhereBits vor, das auf ungelabelten Fragen gemessene where-to-look-Bits in einen Schicht-Prior überführt und mit kontrastiven Scores pro Kopf kombiniert, um Schichten auszuwählen, die das abgefragte Objekt lokalisieren, ohne Box-Annotationen oder feste Regeln.
- Die Arbeit berichtet, dass WhereBits eine COCO-Pointing-Genauigkeit von 0,72 erreicht, gegenüber 0,22 für mean attention.
- Über acht VLMs erreicht WhereBits die Pointing-Genauigkeit box-abgestimmter Schichten auf COCO und RefCOCO und ordnet Ziel-Tokens besser ein.
- Der Vorteil hält bei einer zurückgehaltenen Modellfamilie und bei höheren Auflösungen.
- Beim trainingsfreien Zoom-in erhöhen seine Crops die V*-Genauigkeit um 6,0 Punkte unter Forced-Choice-Evaluierung.
Für Entwickler von VLM-Lokalisierungspipelines lässt sich die Schichtauswahl mit nur ungelabelten Fragen auf ein neues Modell oder eine neue Auflösung neu kalibrieren, wodurch Box-Annotationen entfallen.
Tencent veröffentlicht Hy4-flash: multimodales MoE-Modell mit 220B Parametern und 12B aktiven Parametern
Tencents Hy4-flash nutzt eine Mixture-of-Experts-Architektur mit 220B Gesamtparametern und 12B aktiven Parametern pro Token, akzeptiert nativ Text- und Bildeingaben, unterstützt ein Kontextfenster von bis zu 1M Tokens und wird unter der Tencent Hy License veröffentlicht.
- 220B Gesamtparameter (einschließlich 64B Engram-Parameter) bei 12B aktiven Parametern pro Token; das 42-schichtige Sprach-Backbone besteht aus einer dichten Schicht und 41 MoE-Schichten.
- Kontextlänge von 1M (1.048.576 Tokens); der Vision-Encoder ist von SigLIP2-So400m-Patch16-Res512 abgeleitet und über einen MLP-Projektor mit dem Backbone verbunden.
- Ein integrierter 5-schichtiger Drafter, DFly2 (0,85B Parameter), nutzt den KV-Cache und die Sparse-Indizes des Zielmodells für spekulatives Decoding bei langem Kontext.
- Offene Gewichte werden unter der Tencent Hy License als Hy4 flash, Hy4 flash-FP8 und das vortrainierte Hy4 flash-base veröffentlicht.
Für Entwickler kombiniert Hy4-flash 12B aktive Parameter mit 1M-Token-Kontext und nativer Bildeingabe; die berichtete KV-Cache-Reduktion und über 150 Tokens/s Decoding könnten Speicher- und Kostendruck beim Long-Context-Serving senken.
OpenAI-Modelle treiben Chipdesign voran: Optimierung von Schaltkreisen für Jalapeño-Silizium und Verbesserung von RISC-V-Kerndesigns
OpenAI gibt an, seine Modelle hätten Schaltkreise für Jalapeño-Silizium optimiert und RISC-V-Kerndesigns verbessert, was Fortschritte beim KI-gestützten Chipdesign mit GPT-6 Astra zeigt.
- OpenAI-Modelle optimierten Schaltkreise, die in Jalapeño-Silizium verwendet werden.
- OpenAI-Modelle verbesserten RISC-V-Kerndesigns.
- OpenAI stellt dies als Fortschritt beim KI-gestützten Chipdesign mit GPT-6 Astra dar.
Für Chipdesign-Teams signalisiert dies, dass OpenAI-Modelle auf reale Siliziumschaltkreis- und RISC-V-Kerndesignarbeit angewendet werden, nicht nur auf konzeptionelle Demonstrationen.
Paper: Chain-of-Thought-Kontrollierbarkeit kann die Überwachbarkeit von Chain-of-Thought verringern
Das Paper testet das Risiko der Chain-of-Thought-Überwachung mittels Persona-Control-Training: überwachtes Feintuning auf mathematischen Denkspuren, die in den Stimmen verschiedener Personas umgeschrieben wurden. Dies erzeugt eine breitere Fähigkeit zur CoT-Kontrolle, obwohl das Training keine Beispiele zur Umgehung vo...
- Das Training ist überwachtes Feintuning auf mathematischen Denkspuren, die in den Stimmen verschiedener Personas umgeschrieben wurden, ohne Beispiele zur Umgehung von Monitoren in den Trainingsdaten.
- In Interventions-Evaluierungen treibt ausdrückliches Verstecken die Überwachbarkeit oft nahe null.
Teams, die Agenten-Monitore bauen, sollten Persona-Feintuning als Faktor behandeln, der die CoT-Überwachbarkeit schwächen kann, und gezielte Transparenz-Prompts als Gegenmaßnahme testen.
Warum Ihr Fine-Tuning-Job länger dauert als die FLOPs vorhersagen
Dharma-AI verglich FLOP-basierte analytische Schätzungen mit gelernten Prädiktoren anhand von 272 Produktions-SFT-Jobs (etwa 7.382 GPU-Stunden auf NVIDIA H200): Die FLOP-Baseline erreichte nur R² 0,31, während ein CatBoost-Regressor, der ausschließlich vor dem Dispatch verfügbare Informationen nutzt, R² 0,98 erreichte.
- 272 SFT-Läufe mit insgesamt etwa 7.382 GPU-Stunden, ausgeführt auf 1, 2 oder 4 H200-GPUs über 1 bis 4 Knoten, mit Laufzeiten von 1,6 bis 172,4 Stunden.
- Die FLOP-Baseline (MFU 30 %) erreichte R² 0,31 und MAE 12,41 h; bei MFU 45 % lag R² bei 0,18 und bei MFU 60 % bei 0,01.
- CatBoost erreichte in der 5-fachen Kreuzvalidierung R² 0,98, MAE 1,71 h und einen Medianfehler von 0,51 h, wobei nur Konfigurationsmerkmale vor dem Dispatch verwendet wurden.
- Das analytische Modell Calculon lieferte Schätzungen, die einem Median von nur 11 % der beobachteten Wall-Clock-Zeit entsprachen.
Für Scheduler auf gemeinsam genutzten GPU-Clustern kann ein konfigurationsbasierter Gradient-Boosting-Prädiktor vor dem Dispatch nutzbare Laufzeitschätzungen liefern, was eine reine FLOP-Rechnung nicht kann.