309B का ओपन-वेट्स (Open Weights) मॉडल (Model), जिसमें कहीं भी फ़ुल-अटेंशन लेयर (Full-attention Layer) नहीं है

2026-09-27/2026-09-28 को (सार्वजनिक घोषणाएं कंपनी ब्लॉग पर 27 सितंबर की तारीख़ की, फ़ाइलें 27 सितंबर को HF पर कमिट हुईं), NaiveAI ने Naive-N0.5-Flash सार्वजनिक रूप से रिलीज़ किया — एक ओपन-वेट मिक्स्चर-ऑफ़-एक्सपर्ट्स (Mixture-of-Experts, MoE) लैंग्वेज मॉडल (language model), जिसमें ये चीज़ें हैं:

• 309B कुल पैरामीटर (total parameters), 15.5B सक्रिय पैरामीटर (active parameters) (MoE)
• 48 ट्रांसफ़ॉर्मर लेयर्स (transformer layers)
• नेटिव 1M टोकन कॉन्टेक्स्ट विंडो (native 1M token context window)
• हाइब्रिड अटेंशन स्टैक (hybrid attention stack): स्लाइडिंग-विंडो अटेंशन (Sliding-Window Attention, SWA) + डीपसीक स्पार्स अटेंशन (DeepSeek Sparse Attention, DSA), जिसमें कोई फ़ुल-अटेंशन लेयर (full-attention layer) नहीं है
• वेट्स (weights) और इन्फरेंस कोड (inference code) के लिए MIT लाइसेंस
• मॉडल वेट्स Hugging Face (NaiveAI/Naive-N0.5-Flash) पर FP8 शार्ड्स (shards) के रूप में प्रकाशित (49 फ़ाइलें, कुल मिलाकर ~315GB)

इस रिलीज़ को साफ़ तौर पर "built with AI" (एआई-केंद्रित आर एंड डी / AI-centered R&D) के रूप में पेश किया गया है, कोडिंग (coding) और एआई आर एंड डी (AI R&D) वर्कलोड्स (workloads) के लिए।

• स्टोरी आईडी (Story ID): S36
• शीर्षक (Title): NaiveAI के ओपन-वेट्स (open-weights) Naive-N0.5-Flash: 309B MoE, 15.5B सक्रिय (active), 1M नेटिव कॉन्टेक्स्ट (native context), MIT लाइसेंस (license)
• संगठन (Organization): NaiveAI
• श्रेणी (Category): ओपन-वेट मॉडल्स (Open-Weight Models) / मॉडल आर्किटेक्चर (Model Architecture)
• इवेंट तारीख़ (Event date, actual event): 2026-09-28 (घोषणा तारीख़ / announcement date: 2026-09-28)
• लेख की तारीख़ें (Article dates): 2026-09-28, 2026-09-29
• एविडेंस स्टेटस (Evidence status): COMPANY CLAIM (कॉन्फ़िडेंस / confidence Medium)
• CONFIDENCE: Medium
• डिस्कवरी में रैंक (Rank in discovery): 36/40
• चयनित (Selected): true

इस रिसर्च में इस्तेमाल किए गए एविडेंस लेबल (Evidence Labels)

• FACT: प्रकाशित किए गए मॉडल स्पेक्स (model specs), देखी गई फ़ाइल आर्टिफ़ैक्ट्स (file artifacts)
• COMPANY CLAIM: परफ़ॉर्मेंस आंकड़े (performance numbers), आर्किटेक्चरल डिज़ाइन का तर्क (design rationale), इन्फरेंस स्पीड के दावे (inference speed claims)
• INDEPENDENT EVIDENCE: परफ़ॉर्मेंस या 1M-कॉन्टेक्स्ट व्यवहार (1M-context behavior) की पुष्टि के लिए जो अंग्रेज़ी कवरेज (English-language coverage) मिली, उसमें कोई उपलब्ध नहीं (2026-10-04 तक)
• INTERPRETATION: दावों के निहितार्थ (implications)
• PREDICTION: भविष्य के संभावित निहितार्थ (plausible future implications)

स्रोत की सीमाएं (Source limitations, discovery से): मॉडल कार्ड (Model card) के स्पेक्स विक्रेता (vendor) द्वारा लिखे गए हैं; discovery के समय 1M-कॉन्टेक्स्ट व्यवहार या क्वालिटी (quality) का कोई स्वतंत्र बेंचमार्क रिप्रोडक्शन (independent benchmark reproduction) उपलब्ध नहीं था।

पहले: आम तौर पर फ़्रंटियर/ओपन-वेट लॉन्ग-कॉन्टेक्स्ट मॉडल्स (frontier/open-weight long-context models) फ़ुल/सेल्फ-अटेंशन वेरिएंट्स (full/self-attention variants) पर निर्भर रहते हैं (या ऐसे हाइब्रिड डिज़ाइन पर जिनमें ग्लोबल/फ़ुल-अटेंशन लेयर्स अब भी शामिल होती हैं)। लॉन्ग-कॉन्टेक्स्ट सर्विंग (long-context serving) की लागत पूरे कॉन्टेक्स्ट पर अटेंशन के साथ बढ़ती है; बड़े कॉन्टेक्स्ट (1M) पर ग्लोबल अटेंशन लेयर्स डिकोडिंग (decoding) का बड़ा ओवरहेड (overhead) बन जाती हैं।

बदलाव: NaiveAI ने 309B MoE (15.5B सक्रिय, ~5% सक्रिय अनुपात) रिलीज़ किया, जिसमें नेटिव 1M कॉन्टेक्स्ट है और एक ऐसा हाइब्रिड इस्तेमाल हुआ है जो चुनी हुई लेयर्स में ग्लोबल/फ़ुल-अटेंशन की जगह DSA लाता है — पूरे नेटवर्क में साफ़ तौर पर कोई फ़ुल-अटेंशन लेयर नहीं। मॉडल MIT लाइसेंस के तहत इन्फरेंस कोड (NaiveRT) और वेट्स के साथ आता है।

बाद में: एक ठोस ओपन-वेट आर्किटेक्चर का उदाहरण मौजूद है जो बिना किसी फ़ुल-अटेंशन लेयर के 1M कॉन्टेक्स्ट हासिल करने की कोशिश करता है, और अगर स्केल (scale) पर व्यवहार टिकता है तो यह लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के लागत-ढांचे (cost structure) की मान्यताएं बदल सकता है। स्वतंत्र रूप से रिप्रोड्यूस (reproduce) होने तक यह एक COMPANY CLAIM है।

• पहले: लॉन्ग-कॉन्टेक्स्ट (1M) मॉडल आर्किटेक्चर आम तौर पर किसी न किसी रूप में ग्लोबल/फ़ुल अटेंशन शामिल करते हैं (या फ़ुल अटेंशन के साथ ROPE एक्स्ट्रापोलेशन / extrapolation पर निर्भर रहते हैं), जिससे बहुत लंबे कॉन्टेक्स्ट पर क्वाड्रैटिक/महंगे अटेंशन पैटर्न (quadratic/expensive attention patterns) बनते हैं; उन लेयर्स के लिए लागत/लेटेंसी कॉन्टेक्स्ट की लंबाई के साथ बढ़ती है। कई तुलनीय ओपन मॉडल्स अलग अटेंशन डिज़ाइन इस्तेमाल करते हैं।
• बदलाव: Naive-N0.5-Flash रिलीज़ हुआ, जिसमें 39 SWA + 9 DSA लेयर्स हैं, कोई फ़ुल-अटेंशन लेयर नहीं, नेटिव 1M कॉन्टेक्स्ट। MIT-लाइसेंस वाले वेट्स + इन्फरेंस कोड (NaiveRT)।
• बाद में (दावा): नेटिव 1M कॉन्टेक्स्ट, जिसमें प्रति-टोकन डिकोडिंग लागत (per-token decoding cost) SWA-प्रधान डिज़ाइन में कॉन्टेक्स्ट की लंबाई के साथ नहीं बढ़ती; स्पार्स अटेंशन DSA लेयर्स में गणना/मेमोरी एक्सेस (computation/memory access) घटाता है। ब्लॉग के अनुसार NaiveRT के साथ एआई-ऑप्टिमाइज़्ड इन्फरेंस (AI-optimized inference) 2000 टोकन/सेकंड (tokens/s) तक का दावा। ये सब COMPANY CLAIMS हैं।

5.1 बेस आर्किटेक्चर (Base Architecture)

• ओपन-वेट MiMo-V2.5 बेस से लिया गया (acknowledgments के अनुसार)। MoE इस्तेमाल होता है, 309B कुल, 15.5B सक्रिय।
• कुल 48 लेयर्स, जो आठ 6-लेयर मॉड्यूल्स (modules) में बंटी हैं।
• हाइब्रिड अटेंशन संरचना: 39 स्लाइडिंग-विंडो अटेंशन (SWA) लेयर्स + 9 डीपसीक स्पार्स अटेंशन (DSA) लेयर्स।
• लेयर लेआउट (कंपनी का विनिर्देश / specification): "A standard module contains five SWA layers followed by one DSA layer, with the first layer of the first module also replaced by DSA." तो मॉड्यूल 1-8: (DSA, SWA, SWA, SWA, SWA, SWA?) रुकिए — "first layer of the first module also replaced by DSA" का मतलब है कि मॉड्यूल 1 की संरचना DSA, SWA, SWA, SWA, SWA, SWA हो जाती है? (उस मॉड्यूल में DSA के बाद 5 और SWA? या मानक 5 SWA + 1 DSA = 6 है; पहले मॉड्यूल में पहली लेयर को DSA से बदलने पर पहले मॉड्यूल में DSA + 4 SWA + 1 DSA बनता है?)। कुल DSA लेयर्स = 1 (पहले मॉड्यूल की पहली लेयर) + 8 मॉड्यूल × 1 DSA (हर मॉड्यूल की आख़िरी) = 9। SWA = 48-9=39। हां, यह मेल खाता है।

5.2 अटेंशन मेकैनिज़्म (Attention Mechanisms)

• SWA: विंडो साइज़ (window size) 128 टोकन। प्रति-टोकन डिकोडिंग लागत कॉन्टेक्स्ट की लंबाई के साथ नहीं बढ़ती (लोकल अटेंशन / local attention)। सिंक बायस (sink bias) शामिल है।
• DSA (DeepSeek Sparse Attention): हल्का इंडेक्सर (indexer) पूरी हिस्ट्री (history) को स्कोर करता है; बैकबोन (backbone) अटेंशन सिर्फ़ चुने हुए सबसेट (selected subset, top-K) पर गणना करता है। पूरा KV कैश (KV cache) बना रहता है; इंडेक्सर अब भी पूरी हिस्ट्री स्कैन करता है। DSA लेयर्स में बैकबोन अटेंशन के लिए top 2,048 टोकन चुनता है।
• हाइब्रिड: मुख्य रूप से 5:1 SWA–DSA लेआउट। पूरा नेटवर्क लोकल या स्पार्स ही रहता है; कोई फ़ुल-अटेंशन लेयर नहीं।
• GQA4 (4 KV ग्रुप्स / KV groups)। DSA इम्प्लीमेंटेशन (implementation) GQA इस्तेमाल करता है (MLA वेरिएंट की जगह)। इंडेक्सर में 16 क्वेरी हेड्स (query heads) हैं।

5.3 ट्रेनिंग (Training)

नेटिव 1M कॉन्टेक्स्ट के साथ मल्टी-स्टेज (multi-stage) (कुल 3.25T टोकन):

1. इंडेक्सर वार्मअप (Indexer Warmup) (50B): सिर्फ़ DSA इंडेक्सर ट्रेन होता है, बाक़ी फ़्रोज़न (frozen)। DSA में बदलने वाली लेयर्स फ़ॉरवर्ड पास (forward pass) के दौरान 1M पर फ़ुल अटेंशन रखती हैं; SWA अपरिवर्तित रहता है। KL डाइवर्जेंस (KL Divergence) इंडेक्सर और बैकबोन के अटेंशन डिस्ट्रिब्यूशन्स (attention distributions) को अलाइन करता है।
2. स्पार्स अटेंशन ट्रेनिंग (Sparse Attention Training) (3T): स्पार्स अटेंशन पर स्विच, फ़िक्स्ड LR पर LM लॉस (LM loss) के साथ CPT, नेटिव 1M कॉन्टेक्स्ट। स्पार्स सिलेक्शन/एग्रीगेशन (sparse selection/aggregation) के अनुरूप ढलना।
3. लर्निंग रेट डिके (Learning Rate Decay) (200B): LR डिके के साथ SFT-शैली, अब भी 1M कॉन्टेक्स्ट, स्पार्स पाथ (sparse path)।

5.4 इन्फरेंस (NaiveRT)

कंपनी का दावा है कि एआई-ऑप्टिमाइज़्ड रनटाइम (AI-optimized runtime) है (NaiveRT): मेगा-कर्नेल फ़्यूज़न (mega-kernel fusion), प्रोग्रामैटिक डिपेंडेंट लॉन्च (Programmatic Dependent Launch, PDL), स्पेक्युलेटिव डिकोडिंग (speculative decoding)। दावा किया गया परफ़ॉर्मेंस: 50 टोकन/सेकंड प्रति यूज़र (Standard), 2000 टोकन/सेकंड तक (Ultrafast)। सिंगल-स्ट्रीम डिकोड पीक (single-stream decode peak) 8 जीपीयू (GPU) पर 2122 टोकन/सेकंड (ब्लॉग के केस स्टडी से)। FP8 मिक्स्ड-प्रिसिज़न (mixed-precision)। डिटर्मिनिस्टिक सैंपलिंग (deterministic sampling) (सीड / seed तक बिटवाइज़ / bitwise)। ब्लॉग के अनुसार ओपन-सोर्स (NaiveRT GitHub) के रूप में रिलीज़।

• आर्किटेक्चर प्रूफ़-ऑफ़-कॉन्सेप्ट (दावा): 309B मॉडल में बिना किसी फ़ुल-अटेंशन लेयर के 1M नेटिव कॉन्टेक्स्ट दिखाता है। अगर स्पार्स+लोकल हाइब्रिड 1M पर क्वालिटी बनाए रखता है और साथ ही फ़ुल-अटेंशन की लागत-वृद्धि से बचता है, तो यह एक अर्थपूर्ण आर्किटेक्चरल दिशा है।
• लागत ढांचा (Cost structure): SWA प्रति-टोकन डिकोड लागत को कॉन्टेक्स्ट की लंबाई से स्वतंत्र रखता है; DSA अटेंशन गणना/मेमोरी एक्सेस घटाता है, भले ही इंडेक्सर पूरी हिस्ट्री स्कैन करे। पूरा KV बना रहता है। संभवतः लॉन्ग-कॉन्टेक्स्ट सर्विंग की बेहतर अर्थव्यवस्था (serving economics) — यह INTERPRETATION है, स्वतंत्र वैलिडेशन (validation) बाक़ी है।
• उदार लाइसेंसिंग (Permissive licensing): वेट्स और इन्फरेंस कोड के लिए MIT लाइसेंस रिसर्च, कस्टमाइज़ेशन (customization) और डिप्लॉयमेंट (deployment) की बाधाएं घटाता है (जैसा बताया गया है, FACT)।
• सक्रिय पैरामीटर अनुपात (Active parameter ratio): 309B में से 15.5B सक्रिय (~4.85%) — मेमोरी/कंप्यूट बनाम क्वालिटी के आधार पर दक्षता के सौदे (efficiency tradeoffs) दे सकता है।
• एआई-केंद्रित आर एंड डी का नैरेटिव (AI-centered R&D narrative): केस स्टडीज़ (NaiveRT ऑप्टिमाइज़ेशन, AutoWM प्रयोग) के साथ रिलीज़ किया गया, जिनमें एआई मॉडल्स के आर एंड डी काम करने पर ज़ोर है।

अगर दावा किया गया व्यवहार टिकता है (COMPANY CLAIM):

• बहुत लंबे कॉन्टेक्स्ट (1M) को ज़्यादा अनुमानित प्रति-टोकन लेटेंसी विशेषताओं (predictable per-token latency characteristics) के साथ सर्व करना (जिसमें बढ़ती फ़ुल-अटेंशन लागत का दबाव कम हो)।
• प्रोडक्शन-शैली (production-style) मॉडल्स में बिना फ़ुल-अटेंशन फ़ॉलबैक (fallback) के स्केल पर स्पार्स अटेंशन की खोज।
• MIT लाइसेंस + प्रकाशित आर्किटेक्चर विवरण + इन्फरेंस कोड की उपलब्धता के कारण रिप्रोड्यूसिबिलिटी/प्रयोग (reproducibility/experimentation)।

हक़ीक़त: जब तक 1M कॉन्टेक्स्ट पर क्वालिटी/लेटेंसी बेंचमार्क के साथ स्वतंत्र सत्यापन नहीं होता, ये विक्रेता के दावा किए गए संभावनाएं ही रहती हैं।

• अटेंशन डिज़ाइन स्पेस (Attention design space): शून्य फ़ुल-अटेंशन लेयर्स वाला हाइब्रिड SWA+DSA एक ठोस डेटापॉइंट (datapoint) है। 5:1 SWA:DSA अनुपात (39:9 लेयर्स) और DSA के विशिष्ट पैरामीटर (top-2048, GQA4, 16 इंडेक्सर हेड्स) इम्प्लीमेंटेशन के चुनाव हैं।
• लॉन्ग-कॉन्टेक्स्ट फ़िडेलिटी (Long-context fidelity): स्पार्स अटेंशन (हर DSA लेयर में पूरी हिस्ट्री से चुने गए top-2048) पूर्णता के बदले दक्षता लेता है। क्या यह पूरे 1M में "needles in haystack" और जटिल मल्टी-हॉप रिट्रीवल (multi-hop retrieval) के लिए रिकॉल बनाए रखता है, यह बड़ा सत्यापन-प्रश्न है (UNVERIFIED)।
• मेमोरी (Memory): स्पार्स अटेंशन के बावजूद पूरा KV कैश बना रहता है — यानी मेमोरी फ़ुटप्रिंट (memory footprint) अब भी कॉन्टेक्स्ट के साथ बढ़ता है (KV स्टोरेज), भले ही अटेंशन गणना घट जाए। यह अंतर महत्वपूर्ण है।
• इन्फरेंस इंजीनियरिंग (Inference engineering): NaiveRT फ़्यूज़्ड स्पार्स पाथ (fused sparse path) को तेज़ बनाने के लिए मेगा-कर्नेल फ़्यूज़न + PDL पर ज़ोर देता है; DSA लेयर के केस स्टडी में अटेंशन लेयर के कर्नेल 29 से घटकर 1 हो जाना दिखाया गया है (ब्लॉग से COMPANY CLAIM)।
• ट्रेनिंग की जटिलता (Training complexity): बेस आर्किटेक्चर से स्पार्स अटेंशन तक पहुंचने के लिए मल्टी-स्टेज ट्रेनिंग (फ़ुल-अटेंशन रेफ़रेंस के साथ KL के ज़रिए इंडेक्सर वार्मअप) चाहिए — यह आसान नहीं है।
• मॉडल स्केल (Model scale): FP8 शार्ड्स (~315GB वेट्स) वाले 309B MoE के लिए इन्फरेंस में काफ़ी जीपीयू मेमोरी चाहिए।

• एक्सेस (Access): Hugging Face पर MIT-लाइसेंस वाले वेट्स (NaiveAI/Naive-N0.5-Flash)। इन्फरेंस कोड उपलब्ध (NaiveRT)। एपीआई (API) की योजना है, प्रकाशित प्राइसिंग (pricing) के साथ ($0.10/$0.40/$0.01 प्रति M टोकन, इनपुट/आउटपुट/कैश रीड)।
• लोकल डिप्लॉयमेंट (Local deployment): FP8-सक्षम NVIDIA जीपीयू चाहिए; वेट्स ~315GB + ओवरहेड। कंज़्यूमर हार्डवेयर (consumer hardware) के लिए आसान नहीं।
• टूलिंग (Tooling): Transformers का उदाहरण दिया गया है (trust_remote_code=True)। चैट टेम्पलेट (chat template) शामिल है।
• कॉन्टेक्स्ट हैंडलिंग (Context handling): नेटिव 1M कॉन्टेक्स्ट बहुत लंबे डॉक्युमेंट्स/टूल आउटपुट्स (tool outputs) संभव बनाता है — लेकिन स्पार्स अटेंशन के साथ 1M पर क्वालिटी को वैलिडेशन चाहिए।
• प्रयोग (Experimentation): उदार लाइसेंस फ़ाइन-ट्यूनिंग (fine-tuning), डिस्टिलेशन (distillation) और आर्किटेक्चर रिसर्च की अनुमति देता है।

• लागत मॉडल (दावा): एपीआई प्राइसिंग फ़्रंटियर मॉडल्स के मुक़ाबले प्रतिस्पर्धी है; अंदरूनी डिप्लॉयमेंट की अर्थव्यवस्था उपयोग (utilization) और हार्डवेयर पर निर्भर है। स्पार्स अटेंशन के ज़रिए दक्षता का दावा — स्वतंत्र रूप से असत्यापित।
• यूज़ केस (Use cases): कोडिंग और एआई आर एंड डी के लिए पोज़िशन किया गया। एंटरप्राइज़ के लिए उपयोगिता इस पर निर्भर है कि प्रासंगिक कामों में क्वालिटी विकल्पों के बराबर रहती है या नहीं।
• आईपी/लाइसेंसिंग (IP/licensing): MIT लाइसेंस बिज़नेस के लिए अनुकूल है (कोपीलेफ्ट जटिलताएं नहीं)।
• ऑपरेशनल जटिलता (Operational complexity): बड़ा मॉडल (309B) गंभीर इन्फ्रा (infra) मांगता है; स्पार्स अटेंशन को बेहतरीन परफ़ॉर्मेंस के लिए ख़ास रनटाइम सपोर्ट की ज़रूरत पड़ सकती है।

• आर्किटेक्चर ट्रेंड (Architecture trend): स्केल पर लॉन्ग कॉन्टेक्स्ट के लिए स्पार्स+लोकल हाइब्रिड अटेंशन को सही ठहराने वाला एक और डेटापॉइंट। यह उस प्रमुख मान्यता को चुनौती देता है कि क्वालिटी वाले लॉन्ग-कॉन्टेक्स्ट के लिए फ़ुल अटेंशन ज़रूरी है।
• ओपन वेट्स (Open weights): एक बड़ी ओपन-वेट रिलीज़ (309B, MIT), दूसरे बड़े ओपन मॉडल्स की श्रेणी में — प्रतिस्पर्धी दबाव बढ़ाती है।
• एआई-चालित डेवलपमेंट (AI-driven development): "एआई से फ़्रंटियर एआई बनाना" (रिकर्सिव सेल्फ़-इम्प्रूवमेंट / recursive self-improvement की दिशा) का नैरेटिव रणनीतिक रूप से दिलचस्प है, बशर्ते इसकी पुष्टि हो।
• भौगोलिक/बाज़ार (Geographic/market): NaiveAI अपेक्षाकृत नया खिलाड़ी है; इसके निष्पादन (execution) के दावों को स्वतंत्र वैलिडेशन चाहिए।

• सत्यापन की खाई (Verification gap): 1M-कॉन्टेक्स्ट क्वालिटी, रिट्रीवल फ़िडेलिटी या लेटेंसी के दावों का कोई स्वतंत्र रिप्रोडक्शन नहीं। सभी मुख्य तकनीकी दावे COMPANY CLAIMS हैं।
• बेंचमार्क चेरी-पिकिंग (Benchmark cherry-picking): ब्लॉग के मूल्यांकन आंकड़े ख़ास मॉडल्स से ख़ास सेटअप्स के साथ तुलना करते हैं (Claude Code harness, आदि)। मेथडोलॉजी (methodology) के विवरण आंशिक रूप से दिए गए हैं, पर स्वतंत्र रेप्लिकेशन (replication) नहीं है।
• स्पार्स अटेंशन के सौदे (Sparse attention tradeoffs): हर DSA लेयर में top-2048 टोकन का चयन विरोधी (adversarial) मामलों में महत्वपूर्ण लॉन्ग-रेंज डिपेंडेंसीज़ (long-range dependencies) छोड़ सकता है; 1M पर "needles in haystack" स्वतंत्र रूप से असत्यापित है।
• दावों में फुलाव (Claims inflation): "2000 टोकन/सेकंड तक" एक पीक/Ultrafast मोड का दावा है — वास्तविक थ्रूपुट (throughput) सेटअप के हिसाब से बदलता है।
• कंप्यूट की ज़रूरतें (Compute requirements): बड़ा मॉडल साइज़ पहुंच सीमित करता है; FP8 जीपीयू की ज़रूरतें काफ़ी हैं।

• स्रोत की स्वतंत्रता (Source independence): मुख्य एविडेंस विक्रेता के नियंत्रण में है (HF मॉडल कार्ड, कंपनी ब्लॉग)। discovery में एग्रीगेटर (aggregator) aiweekly.co का ज़िक्र अकेले अपर्याप्त बताया गया था — हमें बेहतर प्राइमरी स्रोत मिले (HF + naive.ai)। फिर भी वे विक्रेता द्वारा लिखे गए हैं।
• अंग्रेज़ी कवरेज (English coverage): रिसर्च के समय अंग्रेज़ी में सीमित स्वतंत्र तकनीकी विश्लेषण मिला; पुष्टि विरल है।
• समय की ताज़गी (Temporal freshness): रिलीज़ ~2026-09-27; इकोसिस्टम/टेस्टिंग अब भी विकसित हो रही है।
• कॉन्टेक्स्ट व्यवहार (Context behavior): सिर्फ़ वेब स्रोतों से हम 1M नेटिव कॉन्टेक्स्ट परफ़ॉर्मेंस को स्वतंत्र रूप से सत्यापित नहीं कर सकते।

1. क्या Naive-N0.5-Flash 1M टोकन पर लॉन्ग-कॉन्टेक्स्ट कामों (मल्टी-हॉप रिट्रीवल, लंबे डॉक्युमेंट का QA, कोडबेस रीज़निंग / codebase reasoning) में फ़ुल-अटेंशन मॉडल्स के बराबर क्वालिटी बनाए रखता है? अनुत्तरित (कोई स्वतंत्र एविडेंस नहीं)।
2. वास्तविक वर्कलोड्स में 1M कॉन्टेक्स्ट पर असली एंड-टू-एंड लेटेंसी/थ्रूपुट क्या है (सिर्फ़ पीक नहीं)? अनुत्तरित।
3. स्पार्स अटेंशन (top-2048) उन कामों पर कैसा व्यवहार करता है जिनमें कॉन्टेक्स्ट में गहरे किसी भी स्थान से सटीक रिट्रीवल चाहिए? अनुत्तरित।
4. क्या ऐसे फ़ेल्योर मोड्स (failure modes) हैं जहां DSA इंडेक्सर प्रासंगिक टोकन छोड़ देता है? अनुत्तरित।
5. NaiveRT अलग-अलग हार्डवेयर कॉन्फ़िगरेशन्स (hardware configurations) पर कैसा परफ़ॉर्म करता है? ब्लॉग में आंशिक रूप से संबोधित, स्वतंत्र रूप से सत्यापित नहीं।

• MiMo-V2.5 (Xiaomi) पर आधारित — स्वीकार किया गया। डीपसीक स्पार्स अटेंशन (DSA) के कॉन्सेप्ट्स इस्तेमाल करता है — स्वीकार किया गया।
• स्केल पर स्पार्स अटेंशन की ओर चल रहे ट्रेंड का हिस्सा (DeepSeek के MLA/DSA विचारों के काम के बाद)।

देखें sources/S36.md। सभी URLs पूर्ण HTTPS हैं।

देखें labs/S36.md। सत्यापन HF रेपो की मौजूदगी, फ़ाइल आर्टिफ़ैक्ट्स और मॉडल कार्ड के दावों पर केंद्रित रहा। कोई रिप्रोडक्शन की कोशिश नहीं की गई।

• पुष्ट (Confirmed, FACT): मॉडल HF पर मौजूद है (https://huggingface.co/NaiveAI/Naive-N0.5-Flash), लाइसेंस MIT, फ़ाइल संरचना (49 safetensors शार्ड्स), मॉडल कार्ड में बताए गए आर्किटेक्चर के आंकड़े (309B MoE, 15.5B सक्रिय, 48 लेयर्स, 39 SWA+9 DSA, 1M कॉन्टेक्स्ट)। ये सीधे HF पेज से देखे जा सकते हैं।
• वे कंपनी दावे जिन्हें सत्यापन चाहिए: परफ़ॉर्मेंस बेंचमार्क, इन्फरेंस स्पीड (2000 टोकन/सेकंड), "कोई फ़ुल-अटेंशन लेयर नहीं" होने पर क्वालिटी बनी रहना, 1M कॉन्टेक्स्ट का व्यवहार। कॉन्फ़िडेंस Medium ही है।
• स्वतंत्र सत्यापन (Independent verification): कोई नहीं मिला।

रिसर्च की गई: 2026-10-04

स्टोरी रिसर्चर (गहन रिसर्च सबएजेंट / deep research subagent), प्रोजेक्ट नियमों का पालन करते हुए (क्रमिक / sequential, एविडेंस अनुशासन, पूर्ण URLs)।

स्टेटस: COMPLETE (आर्टिफ़ैक्ट वैलिडेशन के लिए तैयार)। वैलिडेटर python scripts/validate_story.py S36 का पास होना ज़रूरी है।

सर्कल 1 (Circle 1)

तथ्यात्मक कोर (Factual core): NaiveAI ने Naive-N0.5-Flash रिलीज़ किया — एक ओपन-वेट 309B MoE (15.5B सक्रिय), नेटिव 1M कॉन्टेक्स्ट, हाइब्रिड SWA+DSA अटेंशन, और कोई फ़ुल-अटेंशन लेयर नहीं, MIT लाइसेंस के तहत (वेट्स + इन्फरेंस कोड)। सभी देखे जा सकने वाले स्पेक्स HF/मॉडल कार्ड से पुष्ट हैं।

सर्कल 2 (Circle 2)

इंटरप्रेटेशन (Interpretation): यह एक ठोस आर्किटेक्चरल प्रूफ़-ऑफ़-कॉन्सेप्ट है जो फ़ुल-अटेंशन के बिना लॉन्ग-कॉन्टेक्स्ट क्षमता का दावा करता है। आर्थिक निहितार्थ इस पर निर्भर हैं कि स्पार्स अटेंशन क्वालिटी बनाए रखता है — फ़िलहाल स्वतंत्र रूप से अपुष्ट।

सर्कल 3 (Circle 3)

रणनीतिक निहितार्थ: 309B ओपन-वेट मॉडल में स्केल पर स्पार्स+लोकल हाइब्रिड की व्यवहार्यता दिखाता है। अगर स्वतंत्र रूप से वैलिडेट हो जाए, तो यह 1M कॉन्टेक्स्ट के लिए फ़ुल-अटेंशन की अनिवार्यता वाली मान्यताओं को चुनौती दे सकता है। एआई-चालित आर एंड डी का नैरेटिव रणनीतिक रुचि बढ़ाता है।

आगे क्या होता है (What happens next)

संभावना: स्वतंत्र रिसर्चर 1M-कॉन्टेक्स्ट रिट्रीवल, क्वालिटी और लेटेंसी की जांच करेंगे। इकोसिस्टम (इन्फरेंस रनटाइम्स) NaiveRT के साथ प्रयोग करेगा। सफलता इस पर निर्भर है कि व्यवहार में स्पार्स top-2048 चयन लॉन्ग-रेंज डिपेंडेंसीज़ बनाए रखता है या नहीं।

एडिटोरियल (Editorial)

S36 तकनीकी रूप से एक आर्किटेक्चर प्रयोग के तौर पर दिलचस्प है — "कोई फ़ुल-अटेंशन लेयर नहीं" का दावा बोल्ड और विशिष्ट है। लेकिन 1M कॉन्टेक्स्ट पर परफ़ॉर्मेंस/क्वालिटी अब भी विक्रेता के दावे तक सीमित है, कोई स्वतंत्र पुष्टि नहीं। प्रोजेक्ट नियमों के अनुसार हम एविडेंस स्टेटस COMPANY CLAIM (Medium कॉन्फ़िडेंस) बनाए रखते हैं — स्वतंत्र एविडेंस के बिना कोई अपग्रेड नहीं।