AI FRONTIER
Signals worth understanding before they become obvious.
180B पैरामीटर, 32GB RAM: Transformers के साथ MoE इन्फरेंस को सीमा तक धकेलना
Hugging Face ब्लॉग पोस्ट एक Transformers कार्यान्वयन का वर्णन करता है जो केवल राउटर-चयनित एक्सपर्ट्स को SSD से सीमित कैश के ज़रिए स्ट्रीम करता है, जिससे Qwen3.8-Flash-Next 32GB Mac पर लगभग 14 tok/s पर चलता है और छोटे डिकोड में Strata से करीब 6% पीछे रहता है।
- Qwen3.8-Flash-Next में 512 एक्सपर्ट्स की 48 परतें (10 सक्रिय) हैं, FP8 में 121 GB एक्सपर्ट्स, साथ ही 51 GB की n-gram एम्बेडिंग टेबल।
- 3 बिट में क्वांटाइज़्ड एक्सपर्ट्स डिस्क पर 49 GB लेते हैं और डिवाइस पर 12 GiB कैश होता है, तथा 8 बिट की डेंस परतें करीब 5.4 GB (+0.2% परप्लेक्सिटी BF16 की तुलना में)।
- लोड होने के बाद यह करीब 18 GiB इस्तेमाल करता है, और 6K प्रॉम्प्ट 25.4 GiB तक पहुंचता है।
- अंतिम नतीजे: 200 टोकन डिकोड 13.9 tok/s बनाम Strata 14.8, 4K प्रॉम्प्ट प्रीफिल 228 tok/s बनाम 220, 6K दस्तावेज़ के बाद डिकोड 12.4 tok/s बनाम 13.7।
AI बिल्डर्स के लिए यह दिखाता है कि केवल राउटेड एक्सपर्ट्स को सीमित स्लॉट पूल से स्ट्रीम करना, जिस पर grouped_mm जैसा है वैसा चलता है, कंज़्यूमर मेमोरी पर समर्पित इंजन के करीब पहुंच सकता है, जबकि प्रति टोकन करीब 10 ms का होस्ट राउंड ट्रिप बा...
DeltaHarness: संसाधन-अनुकूल टूल निष्पादन के लिए स्व-विकसित हार्नेस
यह पेपर DeltaHarness प्रस्तुत करता है, एक निष्पादन-निर्देशित पॉलिसी-सर्च विधि जो कोल्ड-स्टार्ट मापों से एजेंट हार्नेस को अनुकूलित करती है; इसका QHI लूप देखे गए प्रतिक्रिया का उपयोग रनटाइम डिस्पैच अपडेट करने, भौतिक योजनाओं को संशोधित करने और बाद के प्रस्तावों के लिए प्रयोग चुनने के लिए करता है, जबकि एक स्वतंत्र पुष्टि प...
- स्थिर डिस्पैच के साथ, संशोधित मटेरियलाइज़ेशन पॉलिसी एक वीडियो-एडिटिंग कार्य पर तीन नए जोड़ों में पूर्ण-डिलीवरी लेटेंसी को 30.0% कम करती है।
- होल्ड-आउट कार्यों पर, विकसित पॉलिसियाँ एक सीड में सर्वोत्तम स्थिर योजना की तुलना में लेटेंसी 8.2% कम करती हैं और दूसरे में प्रारंभिक प्रस्ताव की तुलना में 4.6% कम करती हैं।
- पेपर बताता है कि एक ही कार्य और संसाधन विवरण ऐसी रनटाइम स्थितियाँ छिपा सकता है जो वैध निष्पादन योजनाओं के लेटेंसी क्रम को उलट देती हैं।
टूल-उपयोग करने वाले एजेंट बनाने वालों के लिए, यह संकेत देता है कि हार्नेस को स्थिर योजनाओं पर निर्भर रहने के बजाय लक्ष्य वातावरण में मापी गई लेटेंसी पर आधारित पॉलिसी-सर्च से अनुकूलित किया जा सकता है।
भाषा मॉडल अपने ही वेट्स फिर से लिख सकते हैं
एक arXiv पेपर रिपोर्ट करता है कि 27B मॉडल, अपने वेट्स, ग्रेड किए गए उत्तर और स्वयं को चलाने की क्षमता मिलने पर, बिना ग्रेडिएंट या ट्रेनिंग के अपनी विफलताओं का निदान करके अपने वेट्स संपादित करता है और 490 अनदेखी समस्याओं पर 6.6 अंक बढ़ जाता है।
- पेपर रिपोर्ट करता है कि इस संपादन ने मॉडल को पहले से तय परीक्षण में 490 ऐसी समस्याओं पर 6.6 अंक अधिक सटीक बनाया जो उसने कभी नहीं देखीं।
- पेपर रिपोर्ट करता है कि अपने पहले आठ ऐसे सत्रों में हर संपादन पिछले को बदलता गया और सटीकता केवल बढ़ती गई।
- पेपर रिपोर्ट करता है कि चार आकारों में 2B मॉडल ने कोई संपादन नहीं किया, 4B और 9B मॉडलों ने स्वयं को बिगाड़ लिया, और केवल 27B मॉडल काम कर सका; इसके लिए एक ओपन मॉडल और एक GPU पर कुछ घंटे चाहिए।
बिल्डरों के लिए यह संकेत देता है कि वेट-स्तरीय स्व-सुधार बिना ट्रेनिंग इन्फ्रास्ट्रक्चर के डिप्लॉयमेंट-पश्चात सुधार का रास्ता बन सकता है, हालांकि रिपोर्ट की गई प्रभावशीलता अभी केवल 27B पैमाने पर है।
Genie 4 अब उपलब्ध है
Google DeepMind पात्र Google AI Ultra सब्सक्राइबरों के लिए Project Genie का नया अनुभव शुरू कर रहा है, जिसमें पहली बार Genie 4 उपलब्ध है और प्राकृतिक भाषा से रीयल-टाइम में वातावरण संपादित करने तथा नेटिव ऑडियो की सुविधा मिलती है।
- Genie 4 में सेशन के बीच में प्रॉम्प्ट देकर मौसम बदला जा सकता है, कोई किरदार जोड़ा जा सकता है या कार्रवाई की दिशा रीयल-टाइम में बदली जा सकती है।
- Genie 4 विज़ुअल के साथ रीयल-टाइम नेटिव ऑडियो जोड़ता है, जो दृश्य के साथ बदलता है, परिवेशी ध्वनियों से लेकर किरदारों के संवाद तक।
- Genie 3 में प्रति जनरेशन सेशन 60 सेकंड से बढ़कर 3 मिनट तक हो गया है और कई वर्ल्ड जोड़े जा सकते हैं।
- Genie 3 में 360-डिग्री पैनोरमा इमेज ग्राउंडिंग और रीयल-टाइम में प्रॉम्प्ट से चलने वाले इन-वर्ल्ड इवेंट जुड़े हैं।
बिल्डरों के लिए वर्ल्ड मॉडल एक बार की जनरेशन से आगे बढ़कर प्रॉम्प्ट से नियंत्रित, ऑडियो-युक्त और साझा किए जा सकने वाले इंटरैक्टिव वातावरण की ओर बढ़ रहे हैं, जबकि कैमरा लेटेंसी, जटिल भौतिक अंतःक्रियाएँ और दीर्घकालिक दृश्य स्थायित्व खुली चुनौ...
Rumble-2-Flash: 40+ भाषाओं के लिए एक ओपन 0.5B स्पीच मॉडल
Reson8 ने Apache 2.0 लाइसेंस के तहत Rumble-2-Flash को ओपन सोर्स किया है, जो 40+ भाषाओं के लिए 0.5B पैरामीटर वाला स्पीच रिकग्निशन मॉडल है और Qwen3-ASR आर्किटेक्चर का उपयोग करता है, साथ ही Transformers और vLLM में नेटिव सपोर्ट देता है।
- 0.5B पैरामीटर मॉडल, Apache 2.0 लाइसेंस के तहत जारी
- Open ASR Leaderboard के बहुभाषी ट्रैक पर, चीनी, जर्मन, फ्रेंच, इतालवी, स्पेनिश, पुर्तगाली, हिंदी, डच और अंग्रेजी में औसतन 6.96% त्रुटि दर
- Open ASR Leaderboard के अंग्रेजी ट्रैक पर औसतन 6.6% WER
- AppTek के कॉल-सेंटर बेंचमार्क (302 घंटे की हेल्पलाइन कॉल, 14 अंग्रेजी लहजे) पर 7.86% WER, जो NVIDIA के Nemotron 3.5 Transcribe (30B) के 7.78% के बराबर है
बिल्डर Apache 2.0 के तहत 0.5B ASR मॉडल तैनात कर सकते हैं, जिसकी रिपोर्ट की गई बहुभाषी और कॉल-सेंटर सटीकता 30B मॉडल के बराबर है, और Transformers तथा vLLM का नेटिव सपोर्ट मौजूद है।
AI सुरक्षा अनुसंधान की एंड-टू-एंड ट्रांसक्रिप्ट में तोड़फोड़ पकड़ना ऑडिटरों के लिए कठिन
यह पेपर एक रेड-टीम/ब्लू-टीम खेल करता है जिसमें एक मानव शोधकर्ता प्रॉक्सी तोड़फोड़कर्ता के रूप में शुरू से AI सुरक्षा प्रयोग चलाता है, जबकि ऑडिटर पूरी शोध ट्रांसक्रिप्ट और प्रयोग चलाने की क्षमता के साथ यह पहचानने की कोशिश करते हैं कि कौन से प्रयोग तोड़े गए और कैसे।
- तोड़े गए और सामान्य अनुसंधान में अंतर करने वाले मानव ऑडिटरों का AUROC 0.59 रहा, जो संयोग से उल्लेखनीय रूप से बेहतर नहीं है।
- मानव ऑडिटरों ने केवल 17% मामलों में विशिष्ट तोड़फोड़ की पूरी पहचान की।
- प्रयोग चलाने की अनुमति न होने के बावजूद सर्वश्रेष्ठ फ्रंटियर मॉडल मानव ऑडिटरों से आगे रहे (Fable 5.1: AUROC 0.73, 32% पूर्ण पहचान), लेकिन यह अंतर शोर के दायरे में था, और कमजोर मॉडलों का प्रदर्शन तुलनीय रहा।
- जब तोड़फोड़कर्ता ने हर दिए गए प्रश्न को तोड़ने के बजाय यह चुना कि किन प्रयोगों पर हमला करना है, तो तोड़फोड़ की पहचान और घट गई।
AI अनुसंधान एवं विकास को स्वचालित करने वाली टीमों के लिए, पूरी शोध ट्रांसक्रिप्ट की बाद में की गई ऑडिट विशेषज्ञ-स्तरीय एजेंट की तोड़फोड़ पकड़ने के लिए अपर्याप्त है, इसलिए ऑडिट डिज़ाइन को प्रयोगों को सक्रिय रूप से सत्यापित करना चाहिए।
Codex सैंडबॉक्स के अंदर
देखें कि Codex आपकी मशीन पर कमांड कैसे चलाता है और साथ ही macOS, Linux और Windows पर आपके नियंत्रित फ़ाइलसिस्टम और नेटवर्क सीमाएँ कैसे लागू करता है।
- Codex आपकी मशीन पर कमांड चलाता है।
- Codex उन फ़ाइलसिस्टम और नेटवर्क सीमाओं को लागू करता है जिन्हें आप नियंत्रित करते हैं।
- यह सैंडबॉक्स macOS, Linux और Windows को कवर करता है।
बिल्डर तीन प्रमुख डेस्कटॉप प्लेटफ़ॉर्म पर Codex कमांड चला सकते हैं और साथ ही फ़ाइलसिस्टम और नेटवर्क पहुँच को अपनी निर्धारित सीमाओं तक सीमित रख सकते हैं।