AI FRONTIER
Signals worth understanding before they become obvious.
Kann KI Wissenschaftlern helfen, vielversprechende Wirkstoffkandidaten zu identifizieren? OpenAI stellt MedChemBench vor
OpenAI hat MedChemBench veröffentlicht, einen Benchmark mit 99 Aufgaben aus veröffentlichten Forschungsarbeiten, der prüft, wie gut KI-Modelle Molekülstrukturen lesen, experimentelle Belege interpretieren, Verbindungen vergleichen und ihre Eigenschaften vorhersagen.
- MedChemBench stützt sich auf 117 Artikel und Patente und umfasst 761 verschiedene Molekülstrukturen.
- Bei der xhigh-Reasoning-Einstellung erreichte GPT‑6.2 Astra 84,5 % der verfügbaren Punkte, verglichen mit 83,3 % für GPT‑6 Astra, 82,0 % für GPT‑6.1 Sol und 58,2 % für GPT‑5.6 Sol.
- Bei der Strukturkomponente erreichte Astra unter xhigh 95,4 % der verfügbaren Punkte, aber nur etwa die Hälfte der Punkte für die Auswahl von Verbindungen und die Vorhersage numerischer Eigenschaften.
- In einer Aufgabe zur Rekonstruktion eines 18-Atom-Rings rekonstruierte GPT‑6 Astra die Verbindung in allen zehn Antworten korrekt, während GPT‑5.6 Sol und GPT‑5.6 Luna in allen zehn Antworten scheiterten.
Für KI-Entwickler zeigt MedChemBench, dass die Rekonstruktion von Molekülstrukturen relativ stark ist, während Verbindungsauswahl und numerische Eigenschaftsvorhersage klare Schwächen bleiben.
OpenAI beschreibt Abwehrmaßnahmen gegen adversarielle Destillation und senkt die Erfolgsrate von Reasoning-Extraktionsangriffen auf GPT‑6.2 Astra auf 0,2 %
OpenAI beschrieb einen mehrschichtigen Ansatz gegen adversarielle Destillation, der adversarielle Tests, Modelltraining, Klassifikatoren und Schutzmaßnahmen auf API-Ebene kombiniert, und berichtete, dass in einer internen adaptiven Red-Teaming-Evaluierung die durchschnittliche Erfolgsrate von Angriffen zur Extraktion g...
- Die Extraktion geschützten Reasonings aus der aktuellen Anfrage sank von 22,9 % bei GPT‑6 Astra auf 0,9 % bei GPT‑6.2 Astra.
- OpenAI gibt an, dass seine wöchentlichen Durchsetzungsmaßnahmen gegen Destillationskampagnen zwischen Tausenden und Zehntausenden von Konten umfassten, wobei die Rate in diesem Sommer deutlich zunahm.
Für Entwickler zeigt dies, dass die Bindung geschützten Reasonings an den Konversationsverlauf und der Einsatz von Eingabe- und Ausgabeklassifikatoren die Erfolgsrate von Reasoning-Extraktionsangriffen stark senken können, was eine konkrete...
Rätselhaftes KI-Modell Gestalt führt Design-Rangliste im Blindtest an und schlägt mit Elo 1.931 menschliche Designer
Laut BigGo Finance berichtet ein Paper-Abstract, dass das rätselhafte KI-Modell Gestalt in einem Blindtest-Design-Ranking mit einem Elo von 1.931 den ersten Platz belegte und menschliche Designer übertraf.
- Das Paper-Abstract berichtet, dass Gestalt ein Blindtest-Design-Ranking anführte.
- Das Abstract nennt einen Elo von 1.931.
- Das Abstract berichtet, dass es menschliche Designer schlug.
Für KI-Entwickler zeigt dieser Blindtest-Elo, dass sich die Designbewertung zu direkten Vergleichsrankings mit Menschen verschiebt, weshalb die Reproduzierbarkeit beobachtet werden sollte.
Experiment zeigt: KI-Agenten geben eher Geheimnisse preis, wenn sie Hilfe von einer KI-Kollegin erwarten
Ein Experiment berichtet, dass KI-Agenten eher Geheimnisse preisgeben, wenn sie glauben, Hilfe von einer KI-Kollegin erhalten zu können.
- Das Experiment berichtet, dass KI-Agenten eher Geheimnisse preisgeben, wenn sie glauben, dass eine KI-Kollegin helfen kann.
Entwickler von Multi-Agenten-Systemen sollten die Erwartung von Hilfe unter Agenten als Leckkanal behandeln, nicht nur als Fähigkeitsgewinn.
AWS veröffentlicht Reverse Spec Flow zur Erzeugung von KI-Agenten-Spezifikationen aus bestehendem Code
Amazon Web Services hat Reverse Spec Flow veröffentlicht, das aus bestehendem Code Spezifikationen für KI-Agenten erzeugt.
- Veröffentlicht von Amazon Web Services.
- Der Flow erzeugt Spezifikationen für KI-Agenten aus bestehendem Code.
KI-Entwickler können bestehende Codebasen in agentenlesbare Spezifikationen umwandeln und Agenten so einen Einstieg in bestehende Systeme geben.
Fünfzehn neuronale „Mini-Gehirne“ zu einem Hive Mind verbunden, der eine KI übertrifft
Laut Xataka wurden fünfzehn neuronale „Mini-Gehirne“ zu einem Hive Mind verbunden, und dieses Setup übertraf eine KI.
- Der Bericht gibt an, dass fünfzehn neuronale „Mini-Gehirne“ verbunden wurden.
- Der Bericht gibt an, dass das Hive-Mind-Setup eine KI übertraf.
Für KI-Entwickler deutet dies auf neuronale Multi-Unit-Aggregation als Architekturrichtung hin, die über Einzelmodelle hinaus Beachtung verdient.