AI FRONTIER
Signals worth understanding before they become obvious.
Leaderboard-Hacking: Präferenzbasierte Modellbewertungen sind anfällig für Manipulation
Die Arbeit berichtet, dass Arena-artige Ranglisten, die paarweise Vergleiche anonymer Modelle über das Bradley-Terry-Modell aggregieren, anfällig für strategisches Abstimmen, strategisches Prompting und strategische Nominierung sind.
- Die Arbeit demonstriert strategisches Abstimmen, strategisches Prompting und strategische Nominierung an öffentlichen Leaderboard-Daten.
- Die Arbeit berichtet, dass jeder Angriff ein Modell um bis zu 15-20 Plätze in einem Ranking verbessern kann und kombiniert um bis zu 45 Plätze.
- Die Arbeit stellt fest, dass diese Probleme für jede präferenzbasierte Bewertung mit dem Bradley-Terry-Modell gelten, die offenes Prompting, Abstimmen oder Modelleinreichung erlaubt.
Teams, die Arena-artige Ranglisten erstellen oder nutzen, brauchen Schutzmaßnahmen gegen Manipulation bei Abstimmung, Prompting und Modelleinreichung, sonst können Anbieter Ränge strategisch hochtreiben.
Robuste aufgabenbewusste Zustandsschätzung aus vortrainierter Wahrnehmung
Das Paper schlägt ein θ-Konfidenz-Minimal Belief Set (MBS_θ) vor, das aus den Wahrscheinlichkeiten aufgebaut wird, die ein Wahrnehmungsmodell bereits erzeugt, etwa den Token-Verteilungen der Ausgabeschicht eines VLM, und als minimale Teilmenge von Zuständen definiert ist, deren kumulative Wahrscheinlichkeit einen benut...
- Das Paper stammt von Guy Azran und Sarah Keren und erscheint auf der NeurIPS 2026.
- MBS_θ ist als minimale Teilmenge von Zuständen definiert, deren kumulative Wahrscheinlichkeit einen benutzerspezifizierten Belief-Mass-Schwellenwert erreicht.
- PRaVaSS konstruiert ein MBS_θ mit Korrektheitsgarantien und polynomieller Komplexität im unbeschränkten Fall.
- Mit einem VLM als Backbone des Zustandsschätzers validieren die Autoren theoretische Eigenschaften, Skalierbarkeit mit der Problemgröße und verbesserte nachgelagerte Entscheidungen in einer Aufgabenplanungs-Pipeline.
Für Agenten-Entwickler bedeutet dies, dass das Beibehalten der Wahrscheinlichkeiten des Wahrnehmungsmodells statt der Determinierung auf eine einzige beste Schätzung die Entscheidungsrobustheit verbessern kann, ohne eine vollständige symbol...
Together Compiler: kontinuierliche Kompilierung für KI-Inferenz
Together AI stellt Together Compiler (TKCC) vor, eine kontinuierliche Agentenschleife zur Optimierung von KI-Inferenz, die eine Tiered Persistent Engine mit einem Kostenmodell zur Auswahl von Parallelisierungskonfigurationen kombiniert, um den Trade-off zwischen Messdurchsatz und -treue zu verringern.
- Die Arbeit berichtet, dass TKCC auf der Llama-1B-Workhorse-Workload bis zu 1,7x schneller ist als hochoptimierte handgeschriebene Megakernels.
- Die Arbeit berichtet State-of-the-Art-Werte bei Batch Size 1 von 1111 TPS auf M3.1 Flash und 1205 TPS auf DeepSeek v4.1 Flash.
- Die Arbeit gibt an, dass TKCC in der Produktionsflotte von Together AI Billionen von Tokens bedient.
Für Inferenz-Serving-Teams rahmt TKCC Kompilierung als kontinuierliche Online-Schleife statt als Offline-Kernel-Tuning, wobei die Geschwindigkeitsgewinne aus der Arbeit stammen und nicht unabhängig verifiziert sind.
Das Bereinigen der Agenten-Historie schadet, wenn die Welt den Fehler noch enthält
Die Arbeit friert einen Agenten mitten in der Aufgabe mit seinem exakten Weltzustand auf AgentCE-Bench und AppWorld ein, bearbeitet entweder die Historie oder die Welt und lässt ein Empfängermodell fortfahren; die Wirkung einer Historienbearbeitung hängt von der beschriebenen Welt ab.
- AgentCE-Bench: Wird stattdessen die eigene abgeschlossene Aktion des Agenten hinzugefügt, sinkt die Wiederherstellung unter die uneditierte Historie, von 50 % auf 44 %.
- AppWorld: Nach einem Datenbank-Schreibvorgang senkt ein Erfolgsbeleg den Erfolg der Gesamtaufgabe von 45 % auf 28 %, solange der Effekt fehlt, und hebt ihn von 38 % auf 49 %, sobald er vorhanden ist.
- Die Arbeit berichtet, dass sich die beiden Effekte gepoolt über zwei Empfänger um 27 Punkte unterscheiden, positiv bei sechs von acht Empfängern auf dem 97,5-%-Niveau und bei sieben auf dem 95-%-Niveau.
Wer Kompaktierung oder Übergabe von Agentenhistorien baut, muss Historienbearbeitungen mit dem tatsächlichen Weltzustand abstimmen, denn eine scheinbar saubere Historie kann den Agenten schlechter stellen als gar keine Bearbeitung, wenn die...
SynthCorp: Eine Plattform zur Erstellung von Benchmarks für Datenagenten
Die Arbeit stellt SynthCorp vor, eine Plattform, die anpassbare Datenbestände und Benchmarks erstellt, indem sie simuliert, wie Geschäftsereignisse Unternehmensdaten im Laufe der Zeit erzeugen und verändern, und nutzt sie, um erste Benchmarks mit sieben Datenbeständen und 256 Aufgaben zu generieren.
- Jeder SynthCorp-Datenbestand kombiniert relationale Datenbanken, einen Dokumentenspeicher und einen Datenkatalog, gepaart mit Evaluierungsaufgaben und ausführbaren Gold-Programmen.
- Die ersten Benchmarks umfassen sieben Datenbestände (bis zu 1K operative Tabellen) und 256 Aufgaben über fünf Domänen.
- Die Arbeit berichtet die Evaluierung von drei Modellen über vier Datenkontext-Einstellungen und zeigt, dass die Benchmarks Datenkontexte und Modellstufen trennen.
Für Teams, die Unternehmensdatenagenten entwickeln, bietet SynthCorp einen anpassbaren Weg zur Benchmark-Generierung, der Gold-Programme ohne manuelle Annotation verifiziert.
Yao Shunyu und Yang Zhilin veröffentlichen erstes gemeinsames Paper: Keine KI löste eines der 30 Weltklasse-Mathematikprobleme eigenständig
Ein erstes gemeinsames Paper von Yao Shunyu und Yang Zhilin berichtet, dass keines der 30 Weltklasse-Mathematikprobleme eigenständig von einer KI gelöst wurde.
- Das Paper ist die erste gemeinsame Veröffentlichung von Yao Shunyu und Yang Zhilin.
- Das Paper behandelt 30 Weltklasse-Mathematikprobleme.
- Das Paper berichtet, dass keines der 30 Probleme eigenständig von einer KI gelöst wurde.
Für KI-Entwickler deutet das berichtete Ergebnis auf eine klare Lücke aktueller Modelle bei eigenständig zu lösenden Mathematikproblemen hin.