Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-15
01
watchresearchincremental

Leaderboard-Hacking: Präferenzbasierte Modellbewertungen sind anfällig für Manipulation

Die Arbeit berichtet, dass Arena-artige Ranglisten, die paarweise Vergleiche anonymer Modelle über das Bradley-Terry-Modell aggregieren, anfällig für strategisches Abstimmen, strategisches Prompting und strategische Nominierung sind.

  • Die Arbeit demonstriert strategisches Abstimmen, strategisches Prompting und strategische Nominierung an öffentlichen Leaderboard-Daten.
  • Die Arbeit berichtet, dass jeder Angriff ein Modell um bis zu 15-20 Plätze in einem Ranking verbessern kann und kombiniert um bis zu 45 Plätze.
  • Die Arbeit stellt fest, dass diese Probleme für jede präferenzbasierte Bewertung mit dem Bradley-Terry-Modell gelten, die offenes Prompting, Abstimmen oder Modelleinreichung erlaubt.

Teams, die Arena-artige Ranglisten erstellen oder nutzen, brauchen Schutzmaßnahmen gegen Manipulation bei Abstimmung, Prompting und Modelleinreichung, sonst können Anbieter Ränge strategisch hochtreiben.

arXiv cs.AI
02
watchresearchincremental

Robuste aufgabenbewusste Zustandsschätzung aus vortrainierter Wahrnehmung

Das Paper schlägt ein θ-Konfidenz-Minimal Belief Set (MBS_θ) vor, das aus den Wahrscheinlichkeiten aufgebaut wird, die ein Wahrnehmungsmodell bereits erzeugt, etwa den Token-Verteilungen der Ausgabeschicht eines VLM, und als minimale Teilmenge von Zuständen definiert ist, deren kumulative Wahrscheinlichkeit einen benut...

  • Das Paper stammt von Guy Azran und Sarah Keren und erscheint auf der NeurIPS 2026.
  • MBS_θ ist als minimale Teilmenge von Zuständen definiert, deren kumulative Wahrscheinlichkeit einen benutzerspezifizierten Belief-Mass-Schwellenwert erreicht.
  • PRaVaSS konstruiert ein MBS_θ mit Korrektheitsgarantien und polynomieller Komplexität im unbeschränkten Fall.
  • Mit einem VLM als Backbone des Zustandsschätzers validieren die Autoren theoretische Eigenschaften, Skalierbarkeit mit der Problemgröße und verbesserte nachgelagerte Entscheidungen in einer Aufgabenplanungs-Pipeline.

Für Agenten-Entwickler bedeutet dies, dass das Beibehalten der Wahrscheinlichkeiten des Wahrnehmungsmodells statt der Determinierung auf eine einzige beste Schätzung die Entscheidungsrobustheit verbessern kann, ohne eine vollständige symbol...

arXiv cs.AI
03
testinferenceincremental

Together Compiler: kontinuierliche Kompilierung für KI-Inferenz

Together AI stellt Together Compiler (TKCC) vor, eine kontinuierliche Agentenschleife zur Optimierung von KI-Inferenz, die eine Tiered Persistent Engine mit einem Kostenmodell zur Auswahl von Parallelisierungskonfigurationen kombiniert, um den Trade-off zwischen Messdurchsatz und -treue zu verringern.

  • Die Arbeit berichtet, dass TKCC auf der Llama-1B-Workhorse-Workload bis zu 1,7x schneller ist als hochoptimierte handgeschriebene Megakernels.
  • Die Arbeit berichtet State-of-the-Art-Werte bei Batch Size 1 von 1111 TPS auf M3.1 Flash und 1205 TPS auf DeepSeek v4.1 Flash.
  • Die Arbeit gibt an, dass TKCC in der Produktionsflotte von Together AI Billionen von Tokens bedient.

Für Inferenz-Serving-Teams rahmt TKCC Kompilierung als kontinuierliche Online-Schleife statt als Offline-Kernel-Tuning, wobei die Geschwindigkeitsgewinne aus der Arbeit stammen und nicht unabhängig verifiziert sind.

arXiv cs.AI
04
watchagentsincremental

Das Bereinigen der Agenten-Historie schadet, wenn die Welt den Fehler noch enthält

Die Arbeit friert einen Agenten mitten in der Aufgabe mit seinem exakten Weltzustand auf AgentCE-Bench und AppWorld ein, bearbeitet entweder die Historie oder die Welt und lässt ein Empfängermodell fortfahren; die Wirkung einer Historienbearbeitung hängt von der beschriebenen Welt ab.

  • AgentCE-Bench: Wird stattdessen die eigene abgeschlossene Aktion des Agenten hinzugefügt, sinkt die Wiederherstellung unter die uneditierte Historie, von 50 % auf 44 %.
  • AppWorld: Nach einem Datenbank-Schreibvorgang senkt ein Erfolgsbeleg den Erfolg der Gesamtaufgabe von 45 % auf 28 %, solange der Effekt fehlt, und hebt ihn von 38 % auf 49 %, sobald er vorhanden ist.
  • Die Arbeit berichtet, dass sich die beiden Effekte gepoolt über zwei Empfänger um 27 Punkte unterscheiden, positiv bei sechs von acht Empfängern auf dem 97,5-%-Niveau und bei sieben auf dem 95-%-Niveau.

Wer Kompaktierung oder Übergabe von Agentenhistorien baut, muss Historienbearbeitungen mit dem tatsächlichen Weltzustand abstimmen, denn eine scheinbar saubere Historie kann den Agenten schlechter stellen als gar keine Bearbeitung, wenn die...

arXiv cs.AI
05
testdeveloperincremental

SynthCorp: Eine Plattform zur Erstellung von Benchmarks für Datenagenten

Die Arbeit stellt SynthCorp vor, eine Plattform, die anpassbare Datenbestände und Benchmarks erstellt, indem sie simuliert, wie Geschäftsereignisse Unternehmensdaten im Laufe der Zeit erzeugen und verändern, und nutzt sie, um erste Benchmarks mit sieben Datenbeständen und 256 Aufgaben zu generieren.

  • Jeder SynthCorp-Datenbestand kombiniert relationale Datenbanken, einen Dokumentenspeicher und einen Datenkatalog, gepaart mit Evaluierungsaufgaben und ausführbaren Gold-Programmen.
  • Die ersten Benchmarks umfassen sieben Datenbestände (bis zu 1K operative Tabellen) und 256 Aufgaben über fünf Domänen.
  • Die Arbeit berichtet die Evaluierung von drei Modellen über vier Datenkontext-Einstellungen und zeigt, dass die Benchmarks Datenkontexte und Modellstufen trennen.

Für Teams, die Unternehmensdatenagenten entwickeln, bietet SynthCorp einen anpassbaren Weg zur Benchmark-Generierung, der Gold-Programme ohne manuelle Annotation verifiziert.

arXiv cs.AI
06
watchresearchincremental

Yao Shunyu und Yang Zhilin veröffentlichen erstes gemeinsames Paper: Keine KI löste eines der 30 Weltklasse-Mathematikprobleme eigenständig

Ein erstes gemeinsames Paper von Yao Shunyu und Yang Zhilin berichtet, dass keines der 30 Weltklasse-Mathematikprobleme eigenständig von einer KI gelöst wurde.

  • Das Paper ist die erste gemeinsame Veröffentlichung von Yao Shunyu und Yang Zhilin.
  • Das Paper behandelt 30 Weltklasse-Mathematikprobleme.
  • Das Paper berichtet, dass keines der 30 Probleme eigenständig von einer KI gelöst wurde.

Für KI-Entwickler deutet das berichtete Ergebnis auf eine klare Lücke aktueller Modelle bei eigenständig zu lösenden Mathematikproblemen hin.

智源社区