AI FRONTIER
Signals worth understanding before they become obvious.
180B Parameter, 32 GB RAM: MoE-Inferenz mit Transformers an die Grenze treiben
Ein Hugging-Face-Blogbeitrag beschreibt eine Transformers-Implementierung, die nur vom Router ausgewählte Experten per begrenztem Cache von der SSD streamt, sodass Qwen3.8-Flash-Next auf einem 32-GB-Mac mit etwa 14 tok/s läuft und beim kurzen Decode rund 6 % hinter Strata liegt.
- Qwen3.8-Flash-Next hat 48 Schichten mit 512 Experten (10 aktiv), 121 GB Experten in FP8 sowie eine 51 GB große n-gram-Embedding-Tabelle.
- Auf 3 Bit quantisierte Experten belegen 49 GB auf der Festplatte bei 12 GiB Geräte-Cache, und dichte Schichten in 8 Bit etwa 5,4 GB (+0,2 % Perplexität gegenüber BF16).
- Nach dem Laden werden etwa 18 GiB genutzt, und ein 6K-Prompt erreicht Spitzen von 25,4 GiB.
- Endergebnisse: 200-Token-Decode 13,9 tok/s gegenüber Strata 14,8, Prefill eines 4K-Prompts 228 tok/s gegenüber 220, Decode nach einem 6K-Dokument 12,4 tok/s gegenüber 13,7.
Für KI-Entwickler zeigt dies, dass das Streamen nur gerouteter Experten über einen begrenzten Slot-Pool, auf dem grouped_mm unverändert läuft, auf Consumer-Speicher an eine dedizierte Engine heranreichen kann, wobei die verbleibenden rund 1...
DeltaHarness: Selbst-evolvierende Harnesses für ressourcenadaptive Tool-Ausführung
Die Arbeit stellt DeltaHarness vor, eine ausführungsgeführte Policy-Search-Methode, die Agent-Harnesses aus Cold-Start-Messungen anpasst; ihre QHI-Schleife nutzt die beobachtete Antwort, um Runtime-Dispatch zu aktualisieren, physische Pläne zu überarbeiten und Experimente für spätere Vorschläge auszuwählen, wobei ein u...
- Bei festem Dispatch reduziert eine überarbeitete Materialisierungspolicy die Latenz der vollständigen Lieferung um 30,0 % bei einer Videobearbeitungsaufgabe über drei neue Paare.
- Bei zurückgehaltenen Aufgaben reduzieren die evolvierten Policies die Latenz um 8,2 % gegenüber dem besten festen Plan in einem Seed und um 4,6 % gegenüber dem ursprünglichen Vorschlag in einem anderen.
- Die Arbeit berichtet, dass dieselbe Aufgaben- und Ressourcenbeschreibung Laufzeitbedingungen verbergen kann, die die Latenzreihenfolge gültiger Ausführungspläne umkehren.
Für Entwickler tool-nutzender Agenten deutet dies darauf hin, dass das Harness selbst durch Policy-Suche auf Basis gemessener Latenz in der Zielumgebung optimiert werden kann, statt auf statische Pläne zu setzen.
Sprachmodelle können ihre eigenen Gewichte umschreiben
Ein arXiv-Papier berichtet, dass ein 27B-Modell mit seinen Gewichten, bewerteten Antworten und der Fähigkeit, sich selbst auszuführen, seine Fehler diagnostiziert und seine eigenen Gewichte ohne Gradienten oder Training bearbeitet und dabei 6,6 Punkte auf 490 ungesehenen Problemen gewinnt.
- Das Papier berichtet, dass die Bearbeitung das Modell auf 490 nie gesehenen Problemen in einem vorab festgelegten Test um 6,6 Punkte genauer machte.
- Das Papier berichtet, dass in den ersten acht solchen Sitzungen jede Bearbeitung die vorherige ersetzte und die Genauigkeit nur stieg.
Für Entwickler deutet dies darauf hin, dass Selbstverbesserung auf Gewichtsebene ein Weg zur Verbesserung nach dem Deployment ohne Trainingsinfrastruktur werden könnte, wobei die berichtete Wirksamkeit bisher nur in der 27B-Größe gilt.
Genie 4 ist jetzt verfügbar
Google DeepMind führt eine neue Project-Genie-Erfahrung für berechtigte Google-AI-Ultra-Abonnenten ein, mit erstmaligem Zugang zu Genie 4, das Echtzeit-Bearbeitung von Umgebungen per natürlicher Sprache und natives Audio bietet.
- Mit Genie 4 lässt sich mitten in einer Sitzung ein Prompt eingeben, um das Wetter zu ändern, eine Figur einzufügen oder die Handlung in Echtzeit umzulenken.
- Genie 4 kombiniert Visuals mit nativem Echtzeit-Audio, das sich mit der Szene anpasst, von Umgebungsklängen bis zu Charakterdialogen.
- Genie 3 verlängert Sitzungen auf bis zu 3 Minuten pro Generierung, vorher 60 Sekunden, und unterstützt die Verkettung mehrerer Welten.
- Genie 3 ergänzt die Verankerung über 360-Grad-Panoramabilder und Echtzeit-Ereignisse in der Welt per Prompt.
Für Entwickler verschieben sich Weltmodelle von der Einmalgenerierung hin zu per Prompt steuerbaren, audiofähigen und teilbaren interaktiven Umgebungen, während Kameralatenz, komplexe physikalische Interaktionen und langfristige Szenenbestä...
Rumble-2-Flash: ein offenes 0,5B-Sprachmodell für über 40 Sprachen
Reson8 hat Rumble-2-Flash unter der Apache-2.0-Lizenz als Open Source veröffentlicht, ein Spracherkennungsmodell mit 0,5B Parametern für über 40 Sprachen, das die Qwen3-ASR-Architektur mit nativer Unterstützung in Transformers und vLLM nutzt.
- Modell mit 0,5B Parametern, veröffentlicht unter der Apache-2.0-Lizenz
- Auf dem englischen Track des Open ASR Leaderboard erreicht es eine durchschnittliche WER von 6,6 %
- Auf AppTeks Call-Center-Benchmark (302 Stunden Helpline-Anrufe, 14 englische Akzente) erreicht es 7,86 % WER, gleichauf mit NVIDIAs Nemotron 3.5 Transcribe (30B) bei 7,78 %
- Erreicht über 7.000 RTFx auf den größeren Datensätzen im Open ASR Leaderboard von HF, etwa eine Stunde Audio in einer halben Sekunde
Entwickler können ein 0,5B-ASR-Modell unter Apache 2.0 bereitstellen, dessen berichtete mehrsprachige und Call-Center-Genauigkeit mit einem 30B-Modell vergleichbar ist, mit nativer Unterstützung für Transformers und vLLM.
Auditoren erkennen Sabotage in End-to-End-Transkripten der KI-Sicherheitsforschung kaum
Die Arbeit führt ein Red-Team/Blue-Team-Spiel durch, bei dem ein menschlicher Forscher als stellvertretender Saboteur KI-Sicherheitsexperimente von Grund auf durchführt, während Auditoren anhand des vollständigen Forschungsprotokolls und der Möglichkeit, Experimente auszuführen, erkennen sollen, welche Experimente sabo...
- Menschliche Auditoren, die sabotierte von benigner Forschung unterschieden, erreichten eine AUROC von 0,59, nicht signifikant besser als der Zufall.
- Menschliche Auditoren identifizierten den konkreten Sabotageakt nur in 17 % der Fälle vollständig.
- Wenn der Saboteur auswählte, welche Experimente angegriffen wurden, statt jede gegebene Frage sabotieren zu müssen, sank die Sabotage-Identifikation weiter.
Für Teams, die KI-F&E automatisieren, reicht eine nachträgliche Prüfung eines vollständigen Forschungsprotokolls nicht aus, um Sabotage durch Agenten auf Expertenniveau zu erkennen, weshalb Auditverfahren Experimente aktiv verifizieren müss...
Einblick in die Codex-Sandbox
Sehen Sie, wie Codex Befehle auf Ihrem Rechner ausführt und dabei die von Ihnen kontrollierten Dateisystem- und Netzwerkgrenzen unter macOS, Linux und Windows durchsetzt.
- Codex führt Befehle auf Ihrem Rechner aus.
- Codex setzt Dateisystem- und Netzwerkgrenzen durch, die Sie kontrollieren.
- Die Sandbox deckt macOS, Linux und Windows ab.
Entwickler können Codex-Befehle auf drei großen Desktop-Plattformen ausführen und dabei Dateisystem- und Netzwerkzugriff auf selbst gesetzte Grenzen beschränken.