Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-12
01
watchresearchcapability unlock

Lazare: Ruhende Neuronen umprogrammieren, um KI-Agenten mit Backdoors zu versehen

Microsoft-Forscher haben Lazarus entdeckt, eine Backdoor-Technik, die weniger als 10 ruhende Neuronen in einem LLM umprogrammiert, sodass ein darauf aufbauender Agent bei einem versteckten Auslöser schädliche Befehle ausführt, ohne dass ein Training nötig ist.

  • Die Gewichts-Umprogrammierung von weniger als 10 ruhenden Neuronen in einem LLM reicht aus, um einen darauf aufbauenden Agenten mit einer Backdoor zu versehen, und erfordert kein Training.
  • Die Arbeit berichtet, dass ein auf etwa 50 Beispielen angepasster linearer Klassifikator Eingaben mit Auslöser von solchen ohne unterscheiden kann.
  • Der Angriff benötigt nur Inferenz-Rechenleistung: Hat eine Maschine genug RAM, um ein Modell auszuführen, reicht das aus, um es im Gewichtsraum mit einer Backdoor zu versehen.

Entwickler sollten Gewichtsintegrität wie Codeintegrität behandeln: Ohne Abgleich mit den ursprünglichen, unveränderten Gewichten kann kein Scan ein Modell als sicher beweisen, weshalb Herkunft und Prüfung vor dem Deployment entscheidend si...

Microsoft Research
02
testagentsopen source unlock

BotPsy: On-Device-Personal-Assistant mit einem agentischen Sprachmodell unter einer Milliarde Parametern

Tether AI Research stellt BotPsy vor, ein Modell mit 0,8 Milliarden Parametern auf Basis von Qwen3.5-0.8B, das für Function Calling und agentische Workflows entwickelt und für den On-Device-Einsatz geeignet ist.

  • BFCL v4 steigt von 23,4 auf 44,0, ACEBench von 30,1 auf 58,7 und τ-bench von 23,2 auf 51,5.
  • Es übertrifft Qwen3.5-2B-Think bei BFCL v4, ACEBench, τ-bench, ToolSandbox und BrowseComp-Plus; nur bei Claw-Eval liegt Qwen3.5-2B-Think vorn (48,9 gegenüber 46,5).
  • IFEval steigt von 59,7 auf 90,8 und IFBench von 22,0 auf 55,9.
  • Es wird mit offenen Gewichten unter der Apache-2.0-Lizenz in drei Präzisionen (bf16, Q8, Q4) als safetensors- und GGUF-Dateien veröffentlicht.

Für Entwickler von On-Device-Agenten zeigt BotPsy, dass ein 0,8-Milliarden-Parameter-Modell bei Tool-Use-Benchmarks ein 2,5-mal größeres Modell übertreffen kann, während Wissensaufgaben weiterhin mit der Parameterzahl skalieren.

Hugging Face Blog
03
testmodelscapability unlock

Neues OpenRouter-Modell: Baidu ERNIE-5.5-Flash-Preview (kostenlos)

Baidus ERNIE-5.5-Flash-Preview ist auf OpenRouter kostenlos verfügbar, mit 280 Milliarden Gesamtparametern, 14 Milliarden pro Token aktiviert und einem Kontextfenster von 1 Million Tokens.

  • 280 Milliarden Gesamtparameter, davon 14 Milliarden pro Token aktiviert.
  • Kontextfenster von 1.024.000 Tokens, mit Unterstützung für bis zu 1.024.000 Completion-Tokens.
  • Laut der Seite liefert die neue Architektur Generierungsgeschwindigkeiten von über 200 Tokens pro Sekunde.
  • Gehostet von einem einzigen Anbieter, Baidu Qianfan, zum Preis von null; kostenlose Endpunkte sind ratenbegrenzt.

Ein kostenloser Kontext von einer Million Tokens mit sparsamer Aktivierung eignet sich für Prototypen mit langen Dokumenten und agentischen Workflows, doch Entwickler müssen den einzelnen Anbieter und Ratenlimits berücksichtigen.

OpenRouter Models
04
watchresearchcapability unlock

AlphaGenome 2: Entschlüsselung, wie Zellen DNA lesen, um Krankheiten besser zu verstehen

Google DeepMind hat AlphaGenome 2 vorgestellt, ein DNA-Sequenzmodell der nächsten Generation, das mit einer konditionalen Architektur Varianteneffekte für bestimmte Zelltypen oder -zustände vorhersagt und sich ohne Neutraining an neue Einzelzell-Daten anpasst.

  • Das Modell wurde mit über 107 Millionen individuellen Zellprofilen aus 68 Geweben trainiert.
  • Es sagt Genexpression, Histonmodifikationen, Chromatin-Zugänglichkeit und DNA-Methylierung voraus.
  • AlphaGenome 2 ist ab heute für nicht-kommerzielle Forschung über die AlphaGenome-API und in privater Vorschau für kommerzielle Forschung verfügbar.

Konditionale Einzelzellmodellierung ermöglicht es Forschern, Varianteneffekte in krankheitsrelevanten Zelltypen zu lokalisieren, ohne das Modell für jeden neuen Datensatz neu zu trainieren.

Google DeepMind
05
testinferencecost collapse

HOPE: Pruning von Experten höherer Ordnung in Mixture-of-Experts-Sprachmodellen

HOPE ist eine Experten-Pruning-Methode zweiter Ordnung, die auf einem Kalibrierungssatz eine paarweise Experten-Interaktionsmatrix F aufbaut und ein quadratisches Programm löst, um das Prune-Set zu wählen, statt jeden Experten wie Methoden erster Ordnung unabhängig zu bewerten.

  • Qwen3.5-122B hat 256 Experten in jeder seiner 48 MoE-Schichten, und etwa 95 % seines Parameter-Speicherbedarfs von rund 250 GB entfallen auf die Experten-MLPs, während pro Token nur 8 Experten je Schicht genutzt werden.
  • Bei 50 % Pruning erreicht HOPE einen durchschnittlichen Rang von 1,58 gegenüber 2,42 für die nächstbeste Methode REAP.
  • Auf Qwen3.5-35B-A3B bei 50 % Pruning erzielte HOPE 42,3 auf SWE-Bench Pro und erreichte damit die 41,8 des ungeprunten Modells, während REAP auf 36,2 fiel.
  • Die Diagonale der F-Matrix reproduziert die Experten-Rankings von REAP nahezu perfekt (Spearman ρ = 0,988), sodass HOPEs Vorteile gegenüber REAP aus den nicht-diagonalen Interaktionstermen stammen.

Für Teams, die große MoEs unter Speicherbeschränkungen einsetzen, zeigt HOPE, dass die Modellierung paarweiser Experten-Kooperation die agentische Coding-Fähigkeit bei aggressiven Pruning-Raten erhält, wo unabhängige Expertenbewertung stark...

Hugging Face Blog
06
testdocumentsincremental

Token-Pooling-bewusstes Training für Multi-Vektor-Embedding-Modelle

Ein Hugging-Face-Blogbeitrag erklärt Pooling-bewusstes Training in Sentence Transformers, das eine Retrieval-Loss sowohl auf ursprüngliche als auch auf komprimierte Dokument-Embeddings anwendet, damit der Encoder nach dem Zusammenführen von Token-Vektoren relevante Informationen bewahrt.

  • Mit pool_factor=4 behält ein normal trainiertes Modell 94,6 % seines ungepoolten NanoBEIR nDCG@10 bei einer 4-fachen Reduktion der Dokumentvektoren.
  • Pooling-bewusstes Training steigert diese Retention bei gleichem Speicherbudget auf 97,8 %.
  • Die Loss ist L = 1/2 L_unpooled + 1/2 L_pooled, wobei beide Ziele denselben Encoder aktualisieren.
  • HierarchicalTokenPooling nutzt Ward-Hierarchie-Clustering und während des Trainings einen Straight-Through-Estimator, um Gradienten von gepoolten Vektoren an ihre Mitglieds-Token weiterzugeben.

Für Multi-Vektor-Retrieval-Systeme ermöglicht Pooling-bewusstes Training, kompressionsbedingte Retrieval-Qualitätsverluste durch Abstimmung des Trainingsziels zurückzugewinnen, ohne den Vektorspeicher zu vergrößern.

Hugging Face Blog
07
watchresearchincremental

Im Prefill trainieren, im Decode überwachen: Sparse Autoencoder für Themenüberwachung

Die Arbeit stellt TopicScope vor, ein Framework zum Trainieren kausaler Themenklassifikatoren auf SAE-Features, die jedem Token ein Thema zuweisen, sodass sich das Label mitten in einer Antwort ändern kann. Bei Gemma-3 1B und 4B generalisierten Monitore, die auf aus Prefill-Hidden-States extrahierten Features trainiert...

  • Drei Detektorarchitekturen wurden auf synthetischen Multi-Themen-Gesprächen mit sieben Themen trainiert.
  • Bei Gemma-3 1B und 4B generalisierten Monitore, die auf aus Prefill-Hidden-States extrahierten Features trainiert wurden, auf das Decoding.
  • Die Klassifikatoren sind robust gegenüber Störungen und verlieren höchstens 5 Macro-F1-Punkte, wenn themenfremde Abschweifungen eingefügt, Themen entfernt oder Abschnitte umsortiert werden.
  • Ablationen zum Beitrag des SAE ergaben, dass Klassifikatoren, die ohne ihn Baseline-Leistung erreichten, mehrere Male größer waren.

Dies zeigt, dass kompakte Themenmonitore kostengünstig im Prefill trainiert und während der Generierung eingesetzt werden können, und weist darauf hin, wo SAEs über die Sicherheitsklassifikation hinaus nützlich sind.

arXiv cs.AI