MLPerf v6.1 में RAG और एजेंट परीक्षण जुड़े, साथ में पहले Vera Rubin आँकड़े

MLCommons ने 16 सितंबर 2026 को MLPerf Inference v6.1 जारी किया — यह उद्योग-मानक इन्फरेंस बेंचमार्क सूट है — और यह एक रिकॉर्ड राउंड रहा जिसमें दो बिल्कुल नई मूल्यांकन वर्कलोड जोड़ी गईं। मुख्य तथ्य (जब तक अलग लेबल न हो, सभी आधिकारिक घोषणा के विरुद्ध CONFIRMED):

• रिकॉर्ड भागीदारी: रिकॉर्ड-उच्च 30 भाग लेने वाले संगठन सबमिट करने वाले रहे: AMD, ASUSTeK, Atlas Inference, Cisco, CoreWeave, Crusoe, Dell, Fujitsu, GigaComputing, Google, HPE, Intel, Inventec, KRAI, Lambda, MangoBoost, Microsoft Azure, MiTAC, Nebius, NVIDIA, Oracle, Orrick, Quanta Cloud Technology, Red Hat, ScitiX, Supermicro, Telecommunications Technology Association, VibeHPC, Wiwynn, और व्यक्तिगत योगदानकर्ता (Individual Contributor) Naeem Khoshnevis (Harvard के Kempner Institute से, एकल-H200 Llama 3.1-8B प्रविष्टि)। पिछले राउंड (v6.0, अप्रैल 2026) में 24 संगठन थे (TechTimes)। छह पहली बार सबमिट करने वाले थे: Atlas Inference, Crusoe, Orrick Industries LLC, ScitiX, VibeHPC, और Naeem Khoshnevis।
• पैमाना: Datacenter और Edge दोनों सूट में, Closed और Open दोनों डिवीजनों में 120 सिस्टम (चेयर्स विश्लेषण), जिनसे 486 अलग-अलग डेटासेंटर और एज नतीजे बने (StorageReview)। कई संयुक्त सबमिशन थे (Dell_AMD, Dell_MangoBoost, RedHat_Intel, RedHat_Supermicro)।
• दो नए बेंचमार्क (FACT) — ढांचागत मुख्य बात: डेटासेंटर के लिए एक एंड-टू-एंड रिट्रीवल-ऑगमेंटेड जनरेशन (End-to-End Retrieval-Augmented Generation, E2E-RAG) टेस्ट और एज के लिए एक एज एजेंटिक इन्फरेंस (Edge Agentic Inference) टेस्ट। मल्टी-कंपोनेंट RAG पाइपलाइनों और मल्टी-टर्न एजेंटिक टूल-कॉलिंग इन्फरेंस के ये पहले मानकीकृत MLPerf मापन हैं।
• Vera Rubin NVL72 की पहली उपस्थिति (FACT): NVIDIA Rubin और NVIDIA Vera Rubin NVL72 MLPerf की preview उपलब्धता श्रेणी में दिखे — Rubin आर्किटेक्चर के लिए ये पहले पीयर-रिव्यू किए गए, कंसोर्टियम-सत्यापित प्रदर्शन आंकड़े हैं। Nebius ने अलग से दूसरी Vera Rubin preview प्रविष्टि दर्ज की (उसका VR200 NVL72, नौ नोड्स पर 36 GPU पर), इसलिए इस राउंड में दो स्वतंत्र Rubin सबमिशन हैं। तीन अन्य नए प्लेटफॉर्म available श्रेणी में दिखे: AMD Ryzen AI Max+ 395, AMD Instinct MI350P, और Intel Arc Pro B70 (पांचों के लिए ये पहले पीयर-रिव्यू किए गए नतीजे हैं)।
• मुख्य प्रदर्शन लाभ (MLCommons के अनुसार FACT): प्रति-एक्सेलेरेटर सर्वश्रेष्ठ DeepSeek-R1 सर्वर नतीजा एक साल पहले के v5.1 से 5.7× बेहतर; प्रति-एक्सेलेरेटर सर्वश्रेष्ठ VLM (Qwen3-VL) सर्वर नतीजा छह महीने पहले के v6.0 से 2.99× बेहतर। चेयर्स विश्लेषण दोनों बड़े बदलावों का मुख्य श्रेय इन दो मॉडलों पर आए Vera Rubin preview सबमिशनों को देता है।
• अब तक का सबसे बड़ा सिस्टम: एक 512-एक्सेलेरेटर सबमिशन (Crusoe प्रविष्टियां 6.1-0026/6.1-0027, AMD MI355X), जिसने gpt-oss-120b Offline पर लगभग 5.8M टोकन/सेकंड का थ्रूपुट रिकॉर्ड भी बनाया (चेयर्स विश्लेषण; AMD के तकनीकी ब्लॉग के अनुसार 5,749,440 tok/s)। इस राउंड ने 16 मल्टी-नोड सबमिशन का रिकॉर्ड भी बनाया।
• दो नए तरह के विषम सिस्टम (FACT): पहला क्रॉस-वेंडर विषम एक्सेलेरेटर तैनाती — Cisco ने आठ NVIDIA H200 और आठ AMD Instinct MI350X को Cisco G200 नेटवर्क पर एक इन्फरेंस पूल में जोड़ा — और प्रशांत महासागर के पार फैला पहला भौगोलिक रूप से वितरित सिस्टम — MangoBoost ने दो महाद्वीपों पर चार साइटों को 97% स्केलिंग दक्षता के साथ एक एंडपॉइंट के रूप में परोसा।
• बेंचमार्क सूट के अपडेट (FACT): v6.1 में 10 डेटासेंटर और 6 एज बेंचमार्क हैं; VLM के लिए एक नया इंटरैक्टिव सिनेरियो (Interactive Scenario) (Qwen3-VL-आधारित); GPT-OSS-120B इंटरैक्टिव सिनेरियो में स्पेकुलेटिव डिकोडिंग (Speculative Decoding) का समर्थन जोड़ा गया; और — एक बाजार संकेत — gpt-oss-120b (MoE) सबसे अधिक सबमिट किया जाने वाला डेटासेंटर बेंचमार्क बन गया, जिसने पहली बार Llama2-70B को पीछे छोड़ा (चेयर्स विश्लेषण)।
• Endpoints का मोड़ (FACT): 50% से अधिक सबमिटर (30 में से 16) ने MLPerf के नए API-केंद्रित हार्नेस (API-Centric Harness) का उपयोग किया, जो अगली पीढ़ी के MLPerf Endpoints सूट की नींव है (v6.0 में यह केवल एक ओपन-डिवीजन सबमिटर तक सीमित था)। MLPerf के प्रमुख (Head of MLPerf) David Kanter: "आगे बढ़ते हुए, MLPerf Endpoints डेटासेंटर के लिए हमारे बेंचमार्क परिवार में Inference का स्थान लेगा।" StorageReview जोड़ता है कि Endpoints अक्टूबर 2026 में ऑन-डिमांड रोलिंग सबमिशन खोलेगा और 2027 में डेटासेंटर बेंचमार्क के रूप में Inference का स्थान लेगा, तथा Endpoints v1.0 के लिए सामान्यीकृत (Normalized) नतीजे और विस्तारित एजेंटिक वर्कलोड की योजना है।

ऐसी सामग्री जिसे सावधानी से अलग-अलग लेबल चाहिए (जब तक अलग से सत्यापित न हो, COMPANY CLAIM):

• NVIDIA (सबमिटर ब्लॉग, 16 सितंबर): Vera Rubin NVL72 ने Qwen3-VL पर "GB300 NVL72 से 3.7× तक अधिक थ्रूपुट" दिया (vLLM के साथ, NVIDIA Dynamo सहित) और DeepSeek-R1 पर "2.5× तक" (TensorRT-LLM के साथ), प्रविष्टियां 6.1-0106 और 6.1-0074; चार-रैक (288-GPU) GB300 NVL72 DeepSeek-R1 सबमिशन ने 99% स्केलिंग दक्षता हासिल की (Offline); GB300 Qwen3-VL सॉफ्टवेयर के जरिए v6.0 की तुलना में 1.6× तक सुधरा (कम KV-कैश प्रिसिजन, कर्नेल फ्यूजन, डिसएग्रीगेटेड सर्विंग); GPT-OSS-120B/DLRMv3 पर डेडलाइन के बाद के लाभ स्पष्ट रूप से MLCommons द्वारा असत्यापित हैं। उन्हीं सार्वजनिक प्रविष्टियों का स्वतंत्र अध्ययन (diyai.io) दिखाता है कि 3.7× मुख्यतः Interactive सिनेरियो से आता है (≈3.74×), जबकि Offline/Server लाभ ≈1.7–2.0× हैं — मुख्य गुणक सिनेरियो- और स्टैक-विशिष्ट है।
• AMD और साझेदार (सप्लीमेंटल + AMD ROCm ब्लॉग + WCCFTech): Crusoe के 512-GPU MI355X क्लस्टर ने अत्यधिक पैमाने पर DeepSeek-R1 और GPT-OSS-120B का नेतृत्व किया (5.75M tok/s GPT-OSS Offline; 2.90M DeepSeek-R1); AMD का कहना है कि MI355X ने 8 GPUs पर B200/B300 को GPT-OSS-120B में और 72 GPUs पर GB200 को पीछे छोड़ा, 72 GPUs पर 95% स्केल दक्षता के साथ; MI350P ने अपने पहले राउंड में चुनिंदा RTX PRO 6000/H200 NVL नतीजों में बढ़त ली।
• Intel (सप्लीमेंटल): Xeon 6 दो SKU/24 नतीजों से बढ़कर पांच SKU/35 नतीजों तक पहुंचा — यह राउंड में प्रस्तुत एकमात्र स्टैंडअलोन सर्वर CPU है; एक Xeon 6787P + 4× Arc Pro B70 नोड (128 GB VRAM) ने राउंड के एकमात्र E2E-RAG सबमिशन किए, जिसमें एक ही मापे गए रन में CPU और GPU दोनों क्रिटिकल पाथ पर थे; v6.0 के बाद से समान चार-GPU Arc Pro B70 हार्डवेयर पर gpt-oss-120b सर्वर 36% और Offline 27% सुधरा।
• Lambda (सबमिटर, Open डिवीजन): MLPerf में डेटासेंटर हार्डवेयर पर पहला एजेंटिक इन्फरेंस वर्कलोड — संदर्भ Qwen3.6-27B की जगह Kimi K2.6 (Moonshot AI, 1 ट्रिलियन से अधिक पैरामीटर, MoE) रखा, FP8 में HGX B200 पर SGLang के साथ TP=8 पर परोसा; 1,007/1,007 रीप्ले टर्न पूरे हुए, शून्य विफलता; औसत प्रति-टर्न लेटेंसी 770.8 ms (मीडियन 361.0 ms), औसत TTFT 179.7 ms; BFCL v4 सटीकता 86.83% (क्षेत्र के 86.13–87.94% बैंड के भीतर) — यह MLPerf सबमिशन में अब तक तैनात पहला 1T-से-अधिक पैरामीटर मॉडल भी है।
• Atlas Inference (सप्लीमेंटल): NVIDIA DGX Spark (GB10) और AMD Strix Halo पर एज एजेंटिक प्रविष्टियां, लगभग 20 tok/s पर (DGX Spark पर 64 मिनट से कम में 1,007 टर्न)।

• स्टोरी आईडी (Story ID): S18
• शीर्षक (Title): 30 सबमिटर के साथ MLPerf Inference v6.1 जारी, Vera Rubin NVL72 की पहली उपस्थिति, नए E2E-RAG और Edge-Agentic वर्कलोड
• संगठन (Organization): MLCommons (खुला इंजीनियरिंग कंसोर्टियम (Open Engineering Consortium), 130+ सदस्य और सहयोगी संस्थाएं; MLPerf बेंचमार्क (Benchmark) परिवार का केंद्र)
• श्रेणी (Category): research (उद्योग-मानक एआई बेंचमार्किंग (AI Benchmarking))
• इवेंट तिथि (Event date): 2026-09-16 — CONFIRMED, विंडो के भीतर (2026-09-10 ≤ 2026-09-16 ≤ 2026-09-17 ✓)। MLCommons ने 16 सितंबर 2026 को MLPerf Inference v6.1 के नतीजे और घोषणा प्रकाशित की (आधिकारिक घोषणा की तारीख 16 सितंबर 2026; GlobeNewswire प्रेस रिलीज़ का टाइमस्टैम्प 2026-09-16T15:00:00Z; StorageReview, WCCFTech और Unite.AI के 16 सितंबर 2026 के लेखों से पुष्टि होती है)।
• घोषणा तिथि (Announcement date): 2026-09-16 (आधिकारिक घोषणा + प्रेस रिलीज़)। इसके बाद एक चेयर्स विश्लेषण (Chairs Analysis), "Where the Industry Is Investing: A Look at MLPerf Inference v6.1," 2026-09-17 को प्रकाशित हुआ — यह भी विंडो के भीतर है।
• लेखों की तिथियां (Article dates): 2026-09-16 (MLCommons, GlobeNewswire, StorageReview, WCCFTech, Unite.AI, diyai.io, theclarity.today, Lambda, NVIDIA ब्लॉग) और 2026-09-17 (MLCommons चेयर्स विश्लेषण, TechTimes, IoT Tech News, agenccy.ai)। डिस्कवरी रिकॉर्ड में दी गई article_dates (2026-09-16) प्राथमिक कवरेज के लिए सही है।
• साक्ष्य स्थिति (Evidence status): रिलीज़ के स्तर पर CONFIRMED (FACT)। v6.1 के नतीजे, रिकॉर्ड 30-सबमिटर वाला क्षेत्र, दो नई वर्कलोड श्रेणियां (E2E-RAG, Edge Agentic), NVIDIA Rubin / Vera Rubin NVL72 का preview वर्गीकरण, मुख्य सुधार के आंकड़े (प्रति-एक्सेलेरेटर (Per-Accelerator) सर्वश्रेष्ठ DeepSeek-R1 सर्वर नतीजा एक साल पहले के v5.1 से 5.7× बेहतर; प्रति-एक्सेलेरेटर सर्वश्रेष्ठ VLM सर्वर नतीजा छह महीने पहले के v6.0 से 2.99× बेहतर), 512-एक्सेलेरेटर वाला सिस्टम, दो विषम (Heterogeneous) सिस्टम, और यह प्रतिबद्धता कि डेटासेंटर के लिए MLPerf Endpoints, Inference का स्थान लेगा — ये सब MLCommons की अपनी आधिकारिक घोषणा और चेयर्स विश्लेषण में कहे गए हैं, और कई मीडिया संस्थानों ने स्वतंत्र रूप से इनकी पुष्टि की है। वेंडर (Vendor) के अपने विवरणों के स्तर पर COMPANY CLAIM। NVIDIA की "up to 3.7× / up to 2.5×" वाली Vera-Rubin-बनाम-GB300 तुलनाएं, AMD की 512-GPU नेतृत्व वाली प्रस्तुति, और NVIDIA की पोस्ट में "प्रति टोकन (Token) कम लागत" वाला आर्थिक तर्क — ये सब सबमिटर की व्याख्याएं हैं जो MLCommons द्वारा सत्यापित कच्ची प्रविष्टियों के ऊपर बनी हैं। AGENTS.md की स्रोत-वरीयता और साक्ष्य-अनुशासन के अनुसार NVIDIA ब्लॉग को सबमिटर सामग्री माना गया है: कच्चे आंकड़े MLPerf पीयर रिव्यू (Peer Review) से गुजरते हैं (FACT), जबकि वेंडर का तुलनात्मक/आर्थिक स्पिन COMPANY CLAIM है।
• डिस्कवरी-रिकॉर्ड टिप्पणी (Discovery-record note): डिस्कवरी में "The Register" और "VentureBeat" को स्वतंत्र स्रोत बताया गया था; इस पास की खोजों में इन दोनों में से किसी का भी v6.1-विशिष्ट लेख नहीं मिला (केवल पुरानी MLPerf कवरेज, 2019–2024)। दोनों की कोई सामग्री उपयोग नहीं की गई; वास्तव में उपयोग की गई स्वतंत्र कवरेज StorageReview, WCCFTech, TechTimes, Unite.AI, IoT Tech News, diyai.io, theclarity.today और agenccy.ai से आती है (देखें sources/S18.md)। बाकी हर जांचने योग्य विवरण में डिस्कवरी रिकॉर्ड सटीक था।

• पहले (v6.0 तक, अप्रैल 2026): MLPerf Inference मॉडलों को एक-एक करके, सिंगल-शॉट मापता था। (a) पूरी मल्टी-मॉडल RAG पाइपलाइन या (b) मल्टी-टर्न एजेंटिक टूल-कॉलिंग इन्फरेंस के लिए, डेटासेंटर में या एज पर, कोई मानकीकृत बेंचमार्क नहीं था। भागीदारी: 24 संगठन। हार्डवेयर की मुख्य कहानी Blackwell (GB200/GB300) थी; Vera Rubin के कोई कंसोर्टियम-सत्यापित आंकड़े नहीं थे — NVIDIA के AgentX नतीजे, जो 15 सितंबर 2026 को उसके AI Infra Summit पर जारी हुए, प्रारंभिक सिलिकॉन पर स्व-होस्टेड बेंचमार्क रन थे, जो साक्ष्य की अलग श्रेणी है। API-केंद्रित हार्नेस का v6.0 में केवल एक ओपन-डिवीजन उपयोगकर्ता था। MLPerf Endpoints केवल v0.7 फाउंडेशन रिलीज़ (28 जुलाई 2026) के रूप में मौजूद था, जिसमें CoreWeave, Google, Intel, KRAI और NVIDIA के शुरुआती नतीजे थे।
• बदलाव (v6.1, 16 सितंबर 2026): सूट ने औपचारिक रूप से स्वीकार किया कि प्रोडक्शन एआई अलग-अलग मॉडल नहीं, पाइपलाइन और एजेंट हैं: E2E-RAG (मल्टी-हॉप, मल्टी-मॉडल, अधिकतम 5 रिट्रीवल राउंड, वेक्टर DB + रीरैंकर + दो LLM टियर + जज) और Edge Agentic Inference (मल्टी-टर्न कोडिंग ट्रैजेक्टरी, टूल कॉलिंग, सिंगल-स्ट्रीम लेटेंसी) आधिकारिक बेंचमार्क बने। भागीदारी रिकॉर्ड 30 संगठन / 120 सिस्टम / 486 नतीजों तक पहुंची। Vera Rubin NVL72 (preview, NVIDIA + Nebius), MI350P, Arc Pro B70 और Ryzen AI Max+ 395 के लिए पहले पीयर-रिव्यू किए गए आंकड़े आए। 30 में से सोलह सबमिटरों ने API-केंद्रित हार्नेस अपनाया, और MLCommons ने आधिकारिक रूप से डेटासेंटर के लिए Endpoints द्वारा Inference के स्थान लिए जाने की प्रतिबद्धता जताई। कुल मापन मिश्रण बदला: gpt-oss-120b (MoE) ने सबसे अधिक सबमिट होने में Llama2-70B को पीछे छोड़ा; 16 मल्टी-नोड और दो विषम सबमिशन स्केल-आउट साक्ष्य का आधार बने।
• बाद में (अपेक्षित): RAG पाइपलाइनों और एजेंटिक एज डिवाइसों के लिए अब खरीद-योग्य (Procurement-Grade) साक्ष्य मौजूद है; RFP और वेंडर स्कोरकार्ड में E2E-RAG और Agentic आंकड़े शामिल होंगे; डेटासेंटर बेंचमार्क व्यवस्था रोलिंग, API-केंद्रित, सामान्यीकृत Endpoints नतीजों की ओर बढ़ेगी (अक्टूबर 2026 में साइन-अप; 2027 में प्रतिस्थापन); Vera Rubin शिप होने के साथ preview से available श्रेणी में जाएगा (preview वाले को दोबारा सबमिट करना अनिवार्य है); केवल-सॉफ्टवेयर वाले लाभ (एक ही चक्र में समान हार्डवेयर पर 8–36%) "खरीदने से पहले ऑप्टिमाइज़ करें" के लिए एक मापने योग्य, उद्धरण-योग्य आधार बन जाएंगे।

MLPerf Inference का तंत्र (Mechanics)। सिस्टम तय मॉडल/डेटासेट वर्कलोड Closed डिवीजन (मॉडल गणितीय रूप से संदर्भ के बराबर — सेब-से-सेब हार्डवेयर/फ्रेमवर्क तुलना) या Open डिवीजन (कोई भी मॉडल/हार्नेस) में चलाते हैं, और यह सिनेरियो के आर-पार होता है (डेटासेंटर: Offline, Server, Interactive; एज: SingleStream, MultiStream, Offline)। उपलब्धता श्रेणियां: Available (अभी खरीदा जा सकता है) बनाम Preview (अगले राउंड तक व्यावसायिक रूप से उपलब्ध होने की अपेक्षा; वेंडर को बाद में Available के रूप में दोबारा सबमिट करना होता है)। नतीजे वर्किंग-ग्रुप पीयर रिव्यू से गुजरते हैं; सबमिटर सार्वजनिक परिणाम रिपॉजिटरी में पुनरुत्पादन (Reproducibility) आर्टिफैक्ट प्रकाशित करते हैं।

एंड-टू-एंड RAG (डेटासेंटर, नया)। यह एक मॉडल के बजाय पूरे प्रोडक्शन-शैली RAG सिस्टम को मापता है। दो वर्कलोड: इनजेशन (Ingestion) — 2,515 Wikipedia HTML फाइलों के जमे हुए कॉर्पस (Frozen Corpus) को पार्स करके 768 अक्षरों के ~107,484 पैसेजों में चंक करना (32-अक्षर ओवरलैप), e5-base-v2 (110M) से एम्बेड करना, FAISS HNSW ग्राफ में इंडेक्स करना; और QnA — स्कोर होने वाला लूप: क्वेरी रीराइटर (GPT-OSS-120B) क्वेरी को अधिकतम 3 सब-क्वेरी में तोड़ता है → एम्बेड → रिट्रीव → रीरैंक (ColBERTv2) → दस्तावेजों को ग्रेड करना (GPT-OSS-20B) → पर्याप्तता जांच (GPT-OSS-120B) → उत्तर जनरेशन (GPT-OSS-120B), और यह 824 मल्टी-हॉप FRAMES क्वेरीज पर 5 हॉप तक दोहराया जाता है। मेट्रिक्स: दस्तावेज/सेकंड (इनजेशन) और टास्क/सेकंड (QnA — एक टास्क में एक दर्जन या अधिक LLM कॉल शामिल हो सकते हैं, इसीलिए टोकन/सेकंड के बजाय टास्क/सेकंड)। सटीकता: एक Llama-3.1-8B जज (जानबूझकर अलग मॉडल परिवार, ताकि स्व-पसंद पूर्वाग्रह न हो) अंतिम उत्तरों को स्कोर करता है; पूरे सेट पर संदर्भ उत्तर की सटीकता 35% है और सबमिशन संदर्भ के ≥97% पर मान्य होता है; एक DB-इंटेग्रिटी जांच (आवश्यक Wikipedia URL की रिट्रीवल) सत्यापित करती है कि सबमिटरों ने समतुल्य वेक्टर डेटाबेस बनाए। अनुपालन कोड TEST09 प्रदर्शन-मोड में आउटपुट ट्रंकेशन की निगरानी करता है (औसत आउटपुट टोकन लंबाई 273.81-टोकन संदर्भ के ±10% के भीतर)। संदर्भ कार्यान्वयन ओपन सोर्स है (mlcommons/inference e2e-rag/, ~283 GB मॉडल/डेटा, जमा हुआ कॉर्पस अनिवार्य, CUDA/ROCm/XPU/CPU समर्थित)।

एज एजेंटिक इन्फरेंस (एज, नया)। इसका लक्ष्य ऑन-डिवाइस कोडिंग-असिस्टेंट पैटर्न है: एक इंटरैक्टिव उपयोगकर्ता, एक एक्सेलेरेटर, तय मेमोरी/पावर, बढ़ता कॉन्टेक्स्ट (Context)। संदर्भ: Qwen3.6-27B (Apache-2.0, 22 अप्रैल 2026 को जारी) एक Q4_K_M GGUF (~16.5 GB) के रूप में, llama.cpp द्वारा परोसा गया, 32K परोसा गया कॉन्टेक्स्ट, रीजनिंग बंद, temperature 0, max_new_tokens 1024। दो गेटेड घटक: (1) सटीकता — Berkeley Function Calling Leaderboard v4 (BFCL v4) का सिंगल-टर्न सेट (non_live/live/hallucination श्रेणियों में ~995 सैंपल), पास थ्रेशोल्ड संदर्भ का 0.97× (संदर्भ Overall 86.23% → पास ≥83.64%; Normalized 87.96% → ≥85.32%); (2) प्रदर्शन — SWE-bench-शैली रिपॉजिटरी से 20 रिकॉर्डेड एजेंटिक-कोडिंग ट्रैजेक्टरी (1,007 टर्न) का नियतात्मक (Deterministic) रीप्ले (शिखर इनपुट ~23.5K टोकन, 32K विंडो के भीतर, इसलिए कोई ट्रैजेक्टरी ओवरफ्लो नहीं होती), सिंगल-स्ट्रीम परोसा गया (target_concurrency 1), जो प्रति टर्न TTFT, TPOT और एंड-टू-एंड लेटेंसी (p50/p90/p99/max) रिपोर्ट करता है, तथा लेटेंसी रन के दौरान एक शून्य-लागत इनलाइन मल्टीसेट-IoU टूल-कॉल जांच भी करता है। यह डिज़ाइन आने वाले डेटासेंटर MLPerf Agentic बेंचमार्क की पद्धति को एज बजट के अनुसार ढालता है। पहले राउंड का क्षेत्र: 5 सिस्टम — NVIDIA Jetson AGX Thor (TensorRT Edge-LLM: 52.33 tok/s, मीडियन TTFT 247.12 ms, मीडियन TPOT 14.68 ms, पूरा सूट 24m36s में, जबकि उसी बोर्ड पर llama.cpp Q4_K_M संदर्भ को 2h37m लगे, BFCL v4 87.94% — वेंडर-प्रकाशित, MLCommons-सत्यापित प्रविष्टियां), HPE ProLiant DL345 Gen12 (4× RTX PRO 4500) और DL145 Gen11 (1× RTX PRO 4500), NVIDIA DGX Spark (GB10), तथा Lambda का Open-डिवीजन HGX B200/Kimi K2.6 रन।

API-केंद्रित हार्नेस और Endpoints का उत्तराधिकार। एक डिकपल्ड क्लाइंट मानक API (HTTP/gRPC) पर एक जीवंत मॉडल-सर्विंग एंडपॉइंट चलाता है; परीक्षणाधीन सिस्टम "बस एक URL" होता है। v6.1 के 30 में से सोलह सबमिटरों ने इसे इस्तेमाल किया (v6.0 में केवल एक ने)। यह MLPerf Endpoints का आधार है, जो तय ऑपरेटिंग पॉइंट्स की जगह स्वीप्ट-लोड Pareto कर्व लाता है, रोलिंग सबमिशन की ओर बढ़ता है, और 2027 में डेटासेंटर के लिए Inference का स्थान लेने वाला है (v1.0 में सामान्यीकरण और विस्तारित एजेंटिक वर्कलोड; StorageReview के अनुसार रोलिंग सबमिशन अक्टूबर 2026 में खुलेंगे)।

MLPerf Inference v6.1 इसलिए मायने रखता है क्योंकि उद्योग का मापन-मानक आखिरकार उस स्तर तक पहुंच गया जो प्रोडक्शन एआई वास्तव में है: मल्टी-मॉडल RAG पाइपलाइन, मल्टी-टर्न एजेंट, और रोलिंग API-केंद्रित मूल्यांकन। रिकॉर्ड 30 सबमिटर, 120 सिस्टम और 486 नतीजों ने Vera Rubin NVL72 (preview) के लिए पहले न्यूट्रल, पीयर-रिव्यू किए गए आंकड़े दिए, ~5.8M टोकन/सेकंड पर एक 512-एक्सेलेरेटर सिस्टम, क्रॉस-वेंडर और ट्रांस-पैसिफिक विषम तैनातियां, और प्रति चक्र 8-36% के दस्तावेजीकृत केवल-सॉफ्टवेयर लाभ। दो नई वर्कलोड श्रेणियां (E2E-RAG और Edge Agentic Inference) पहली बार आधिकारिक बेंचमार्क बनीं, और MLCommons ने प्रतिबद्धता जताई कि डेटासेंटर बेंचमार्क के रूप में MLPerf Endpoints, Inference का स्थान लेगा। टिकाऊ नतीजा यह है कि पाइपलाइनों और एजेंटों के लिए खरीद-योग्य, सेब-से-सेब एआई प्रदर्शन मापन आ चुका है, इसलिए बेंचमार्क-नेतृत्व वाली खरीद तर्कसंगत डिफ़ॉल्ट बन जाती है।

उद्यम, इंजीनियर और निवेशक अब यह कर सकते हैं:

• RAG पाइपलाइनों और एजेंटिक एज डिवाइसों की तुलना वेंडर-न्यूट्रल आंकड़ों से करना: E2E-RAG तय Llama-3.1-8B जज के साथ FRAMES पर दस्तावेज/सेकंड और टास्क/सेकंड मापता है, संदर्भ के 97% पर गेटेड; Edge Agentic TTFT/TPOT और BFCL-v4-गेटेड सटीकता एक नियतात्मक 1,007-टर्न रीप्ले पर मापता है।
• Vera Rubin NVL72 (preview, NVIDIA + Nebius), AMD MI350P, Intel Arc Pro B70 और Ryzen AI Max+ 395 के पहले सत्यापित आंकड़े देखना।
• सिंगल-मॉडल पंक्तियों के बजाय पाइपलाइन/एजेंटिक मेट्रिक्स के इर्द-गिर्द RFP चेकबॉक्स बनाना, और वेंडर वार्ताओं में लीवरेज के रूप में न्यूट्रल-स्रोत सॉफ्टवेयर-लाभ साक्ष्य (CoreWeave +19.8%, Lambda +8.85%, Intel +36%) इस्तेमाल करना।
• Endpoints व्यवस्था की तैयारी करना: रोलिंग सबमिशन अक्टूबर 2026 में खुलेंगे और Endpoints 2027 में डेटासेंटर बेंचमार्क के रूप में Inference का स्थान लेगा।

यह सूट अब सिंगल मॉडल नहीं, मल्टी-कंपोनेंट सिस्टम मापता है। E2E-RAG एक पांच-हॉप पाइपलाइन चलाता है (क्वेरी रीराइटर, एम्बेडिंग, FAISS HNSW रिट्रीवल, ColBERTv2 रीरैंकर, दो टोकन-ग्रेडेड LLM टियर और एक जज), 2,515 Wikipedia पेजों पर जो ~107,484 पैसेजों में चंक किए गए हैं; Edge Agentic llama.cpp के जरिए Qwen3.6-27B Q4_K_M GGUF चलाता है, एक 1,007-टर्न रीप्ले के विरुद्ध, शून्य-लागत इनलाइन मल्टीसेट-IoU टूल-कॉल जांच सहित। API-केंद्रित हार्नेस (30 में से 16 सबमिटर) क्लाइंट को सर्विंग एंडपॉइंट से अलग करता है, जिससे परीक्षणाधीन सिस्टम "बस एक URL" बन जाता है — यही रोल्ड/सामान्यीकृत एंड-टू-एंड स्वीप मूल्यांकन की नींव है। Preview-श्रेणी का हार्डवेयर (Vera Rubin NVL72) Available वर्ग के रूप में दोबारा सबमिशन का बाध्यकारी है, और डेडलाइन के बाद के आर्टिफैक्ट MLCommons द्वारा स्पष्ट रूप से असत्यापित होते हैं।

डेवलपर्स को पुनरुत्पादन के लिए ठोस, सार्वजनिक संदर्भ कार्यान्वयन मिलते हैं: mlcommons/inference में E2E-RAG संदर्भ (e2e-rag/, ~283 GB, CUDA/ROCm/XPU/CPU) और Edge-Agentic रीप्ले हार्नेस (Qwen3.6-27B + llama.cpp, 32K कॉन्टेक्स्ट, BFCL v4 गेट)। सुझाव: पहले एजेंटिक रीप्ले से लैब/बेसलाइन बनाएं (एक एक्सेलेरेटर काफी है), प्रति टर्न TTFT/TPOT इंस्ट्रूमेंट करें, फिर वैकल्पिक रूप से भारी E2E-RAG इनजेशन चलाएं। Preview आंकड़ों को खरीद के लिए असत्यापित मानें।

उद्यम खरीदार और क्लाउड/प्लेटफॉर्म खरीद अब RFP में E2E-RAG और Edge-Agentic आंकड़े मांग सकते हैं, preview-लेबल का खुलासा अनिवार्य कर सकते हैं, और रोलिंग सबमिशन खुलने पर Endpoints-सामान्यीकृत कर्व्स ट्रैक कर सकते हैं। न्यूट्रल सॉफ्टवेयर-लाभ बेसलाइन "ऑप्टिमाइज़-फिर-खरीदें" वाली वार्ता-लीवरेज को समर्थन देते हैं। स्थायी चेतावनी: preview लेबल वेंडर के दोबारा सबमिशन को अनिवार्य बनाते हैं, इसलिए खरीदारों को दोबारा बेसलाइन बनाए बिना preview-पीढ़ी का हार्डवेयर लॉक-इन नहीं करना चाहिए।

यह राउंड RAG/एजेंटिक-भारी वर्कलोड के भीतर Rubin के कथन का जोखिम घटाता है और साथ ही AMD को उसका सबसे मजबूत क्रॉस-राउंड स्केल-आउट साक्ष्य देता है (512-GPU MI355X, 5.8M tok/s, समान क्लस्टरों पर ~31%/~27% सॉफ्टवेयर लाभ)। पारिस्थितिकी-स्तर पर, सामान्यीकृत, रोलिंग, API-केंद्रित Endpoints मूल्यांकन की ओर बदलाव यह बदल देता है कि एआई प्रदर्शन कैसे बेचा जाता है: जीत उस हार्डवेयर को मिलती है जो स्टैक्स के आर-पार सामान्यीकृत होता है और उन सॉफ्टवेयर/ऑप्टिमाइज़ेशन विशेषज्ञों को जो मापे गए लाभों का मुद्रीकरण करते हैं।

Preview-लेबल के जोखिम: Vera Rubin NVL72 के आंकड़े pre-GA हैं, डेडलाइन-पश्चात सॉफ्टवेयर के साथ, और पावर-सबमिशन की स्थिति अप्रमाणित है। बेंचमार्क-डिज़ाइन के जोखिम: FRAMES जज थ्रेशोल्ड (35% संदर्भ के 97% पर मान्य) छोटे-मॉडल भेदभाव के दावों को सपाट कर सकता है, और एक छोटा सटीकता बैंड तथा गिरावट-रोक उपाय (TEST09 लंबाई जांच) अभी सार्वजनिक बहस में सुदृढ़ नहीं हुए हैं। नेतृत्व के दावे मॉडल- और सिनेरियो-चयनित होते हैं; हर राउंड की प्राथमिकता तालिका फिर से बनती है — यही कारण है कि MLCommons ने सामान्यीकरण को मानकीकृत किया।

शोध में दर्ज मान्यताएं और कमजोरियां: वेंडर-स्रोत वाले "up to" गुणक COMPANY CLAIM हैं (कच्चे आंकड़े सत्यापित, तुलनात्मक फ्रेमिंग वेंडर-लिखित; diyai.io दिखाता है कि मुख्य 3.7x Interactive-सिनेरियो-बद्ध है, Offline/Server में ~1.74-2.0x)। Endpoints समय-विवरण StorageReview के लेख से आते हैं, जो MLCommons के घोषणा पृष्ठ के अनुरूप हैं, पर सीधे उस पर नहीं हैं। कुछ द्वितीयक मीडिया मध्यम/निम्न-प्राधिकार वाले एग्रीगेटर हैं, जिनका उपयोग केवल ढांचागत फ्रेमिंग के लिए हुआ। सभी 486 नतीजा-पंक्तियों का व्यक्तिगत रूप से ऑडिट नहीं हुआ; मुख्य आंकड़े और बार-बार दोहराए गए दावे घोषणा/चेयर्स विश्लेषण/वेंडर सामग्री तक लेबल के अनुसार ट्रेस किए गए। ज्ञात अज्ञात: Endpoints v1.0 का सटीक सामान्यीकरण, Rubin GA तिथियां, preview पावर-स्थिति, और 5.8M tok/s रिकॉर्ड का स्वतंत्र सामान्यीकरण।

1. Vera Rubin NVL72 preview से available में कब जाएगा, और क्या GA के आंकड़े preview के 3.7×/2.5× Interactive-भारी दावों से Offline/Server वर्कलोड पर मेल खाते हैं?
2. क्या सत्यापित 5.8M tok/s gpt-oss-120b Offline रिकॉर्ड स्वतंत्र सामान्यीकरण (समान-हार्डवेयर, समान-बैच) के तहत टिकेगा?
3. अगले राउंड में नए E2E-RAG टास्क/सेकंड और Edge-Agentic TTFT/TPOT आंकड़े Accelerator→CPU/XPU और bed-of-NVIDIA लेन के बीच कैसे अभिसरित होंगे?
4. क्या Intel की E2E-RAG विशिष्टता और 36% सॉफ्टवेयर लाभ उद्यम CPU+GPU खरीद में हिस्सेदारी में बदलेंगे, या नवीनता बने रहेंगे?
5. "AMD सबसे बड़े सिस्टमों में अग्रणी है" वाली स्थिति का कितना हिस्सा ऐसे राउंड में बचेगा जिसमें NVIDIA का पूरा GA Vera Rubin फ्लीट और Rubin-ऑप्टिमाइज़्ड स्टैक्स शामिल हों?
6. क्या BFCL v4 गेट 0.97× संदर्भ से आगे कसेगा, और क्या जज-पद्धति में बदलाव (LLaMA-3.1-8B, FRAMES) उद्यम RAG डेटा पर सामान्यीकृत होंगे?
7. कौन से सबमिटर Endpoints रोलिंग प्रवेश (अक्टूबर 2026) को स्थायी सामान्यीकृत उपस्थिति में बदलते हैं, और क्या यह Inference राउंडों को कम करता है या उनका पूरक बनता है?
8. preview Vera-Rubin और 512-GPU सिस्टमों की पावर/एनर्जी सबमिशन स्थिति क्या है — शुद्ध-प्रदर्शन प्रविष्टियां या दक्षता-हिसाब वाली प्रविष्टियां?

• शोधकर्ता और बेंचमार्क प्रैक्टिशनर को मानकीकृत, पीयर-रिव्यू किए गए पाइपलाइन और एजेंट वर्कलोड मिलते हैं — E2E-RAG (FRAMES, 5 हॉप, जज-गेटेड) और Edge Agentic (BFCL-v4-गेटेड रीप्ले) — जो तदर्थ स्व-होस्टेड मूल्यांकनों का स्थान लेते हैं। सुझाए गए कदम: लैब तुलनाओं के लिए संदर्भ कार्यान्वयन अपनाएं; वर्कलोड/सुधार अपस्ट्रीम योगदान करें (mlcommons/inference); आंतरिक रूप से सामान्यीकृत Pareto बेसलाइन बनाना शुरू करें।
• हार्डवेयर/फ्रेमवर्क इंजीनियर को प्रकाशन-स्तर के न्यूट्रल सेब-से-सेब आधार (यह सूट) मिलते हैं जिनके विरुद्ध ऑप्टिमाइज़ करना है (8–36%/चक्र के केवल-सॉफ्टवेयर लाभ अब दस्तावेजी, उद्धरण-योग्य प्रमाण हैं कि "खरीदने से पहले ऑप्टिमाइज़ करें" काम करता है)। सुझाए गए कदम: अपने सर्विंग स्टैक्स (vLLM, TensorRT-LLM, SGLang, llama.cpp) पर API-केंद्रित हार्नेस चलाएं; प्रति टर्न TTFT/TPOT इंस्ट्रूमेंट करें; दोबारा सबमिशन तक preview आंकड़ों को खरीद के लिए असत्यापित मानें।
• डेटासेंटर/एज ऑपरेटर और एआई-प्लेटफॉर्म टीम को पहला मापा गया Vera-Rubin/512-GPU/विषम स्केल साक्ष्य मिलता है, साथ ही ऑन-डिवाइस एजेंटिक बजट (Jetson AGX Thor TTFT/TPOT)। सुझाए गए कदम: RAG और एजेंटिक क्षमता योजनाओं को E2E-RAG/Agentic आंकड़ों के विरुद्ध दोबारा बेसलाइन करें; "up to" गुणकों को सिनेरियो के हिसाब से परखें; रोलिंग-नतीजों बनाम निश्चित-राउंड वाले आर्थिक हिसाब का मॉडल बनाएं।

• उद्यम खरीदार और क्लाउड/प्लेटफॉर्म खरीद: RFP स्कोरकार्ड में अब पाइपलाइन- और एजेंट-स्तरीय मेट्रिक्स शामिल हो सकते हैं; न्यूट्रल सॉफ्टवेयर-लाभ बेसलाइन वेंडर वार्ताओं में लीवरेज देते हैं। सुझाए गए कदम: RFP में E2E-RAG और Edge-Agentic आंकड़े मांगें; preview-लेबल का खुलासा अनिवार्य करें; रोलिंग सबमिशन खुलने पर Endpoints-सामान्यीकृत कर्व्स ट्रैक करें।
• क्लाउड/नियोक्लाउड वेंडर (CoreWeave, Crusoe, Lambda, Nebius, VibeHPC, Cisco, MangoBoost): सहभागिता एक ग्रोथ चैनल है — हर सत्यापित नतीजा एक बिक्री-संपत्ति है; नियोक्लाउड्स को सबसे बड़े सिस्टम और विषम-सिस्टम का प्रदर्शन मिलता है। सुझाए गए कदम: पुनरुत्पादन आर्टिफैक्ट प्रकाशित करें; सॉफ्टवेयर-लाभ साक्ष्य को TCO कैलकुलेटर में बदलें।
• हार्डवेयर/फ्रेमवर्क वेंडर: सत्यापित जीत (NVIDIA Rubin, AMD MI355X/MI350P, Intel Arc Pro B70/Xeon 6) मार्केटिंग-स्तर की बनती हैं, पर preview लेबल और "up to" फ्रेमिंग की कड़ी जांच होती है। सुझाए गए कदम: preview प्रविष्टियों को available में ले जाएं; Endpoints रोलिंग सबमिशन के लिए समय से टीम तैनात करें।
• सलाहकार/इंटीग्रेटर (ScitiX, KRAI, Red Hat, Cirrascale): बेंचमार्क अपनाने, E2E-RAG संदर्भ बिल्डों और एजेंटिक-एज तैनातियों के इर्द-गिर्द नई सेवाएं। सुझाए गए कदम: क्विक-स्टार्ट स्टैक्स विकसित करें; मापे गए ऑप्टिमाइज़ेशन लाभों का मुद्रीकरण करें।
• निवेशक और विश्लेषक: रिकॉर्ड 30 सबमिटर, पहले Rubin डेटा पॉइंट, नई वर्कलोड श्रेणियां, Endpoints का समय — एआई-इन्फ्रास्ट्रक्चर थीसिस के लिए एक टिकाऊ साक्ष्य आधार। सुझाए गए कदम: मुख्य गुणकों के बजाय preview→available संक्रमण और सामान्यीकृत कर्व्स ट्रैक करें।
• प्रेस/विश्लेषक: कहानी व्यवस्था का बदलाव है (पाइपलाइन/एजेंट + रोलिंग सामान्यीकरण), केवल लीडरबोर्ड नहीं। सुझाए गए कदम: सिनेरियो-विशिष्ट लाभ रिपोर्ट करें; आधार (Denominator) बताए बिना "up to" गुणक उद्धृत करने से बचें।

• मानक और मापन पारिस्थितिकी: MLCommons एआई इन्फरेंस प्रदर्शन दावों के लिए न्यूट्रल शासी निकाय के रूप में सुदृढ़ होता है; मानकीकृत एनर्जी/पावर हिसाब और सामान्यीकृत Pareto मूल्यांकन की अपेक्षाएं बढ़ती हैं।
• नीति और खरीद पारदर्शिता: सरकार और नियमित उद्योगों को एआई इन्फ्रास्ट्रक्चर दावों के लिए सत्यापन चैनल मिलता है; preview-बनाम-available लेबलिंग एआई खरीद में ईमानदार खुलासे का टेम्पलेट बनती है।
• जोखिम और पूर्वाग्रह: नए वर्कलोड (FRAMES मल्टी-हॉप रीडिंग, BFCL टूल कॉलिंग) बेंचमार्क डिज़ाइन के व्यवहारिक आयाम सामने लाते हैं; जज-मॉडल का चुनाव (Llama-3.1-8B) और गेट की जगह (संदर्भ का 97%) तय कर सकते हैं कि कौन से सटीकता अंतर दर्ज होंगे ही।
• बहस: सार्वजनिक चर्चा "लीडरबोर्ड कौन जीतता है" से "कौन से असली वर्कलोड मापे जाते हैं, और किस उपलब्धता लेबल के तहत" की ओर खिसकती है — यह एआई उद्योग के परिपक्व होने का संकेत है।

• पैसा: बेंचमार्क बड़ी एआई-इन्फ्रास्ट्रक्चर खरीद का साक्ष्य आधार बनता है; सामान्यीकृत Endpoints कर्व्स खरीद को कसेंगे; preview-लेबल वाला डेटा कुछ खरीदारों को प्रतीक्षा-और-देखो की स्थिति में रखता है। सॉफ्टवेयर-ऑप्टिमाइज़ेशन फर्म और सलाहकार मापे गए लाभों का सीधे मुद्रीकरण कर सकते हैं।
• ग्राहक: उद्यमों को RAG और एजेंटिक वर्कलोड के लिए सत्यापन-योग्य क्रॉस-वेंडर बेसलाइन मिलती हैं — "सेब-से-सेब प्रोडक्शन एआई प्रदर्शन" के अब तक के सबसे निकट रूप; "ऑप्टिमाइज़-फिर-खरीदें" डेटा-समर्थित हो जाता है।
• नौकरियां: बेंचमार्क इंजीनियर, RAG/एजेंटिक मूल्यांकन विशेषज्ञ, और इन्फरेंस-ऑप्टिमाइज़ेशन सलाहकार सीधे नियुक्ति के लाभार्थी हैं; वेंडर Endpoints सबमिशन टीमों को स्टाफ करेंगे।
• जीतने वाले: वह हार्डवेयर जो स्टैक्स और वर्कलोड के आर-पार सामान्यीकृत होता है; सत्यापित स्केल-आउट रिकॉर्ड वाले नियोक्लाउड; सॉफ्टवेयर/ऑप्टिमाइज़ेशन विशेषज्ञ; वे उद्यम जो बेंचमार्क-नेतृत्व वाली खरीद जल्दी अपनाते हैं।
• हारने वाले/जोखिम: असत्यापित "up to" मार्केटिंग पर टिके वेंडर; सिंगल-मॉडल बेंचमार्क श्रेष्ठता के दावे; बिना दोबारा बेसलाइन बनाए preview-पीढ़ी का हार्डवेयर लॉक-इन करने वाले खरीदार।

उच्च मूल्य, कम लागत: कच्चे लीडरबोर्ड तंत्र को स्वयं सत्यापित करें। सार्वजनिक परिणाम रिपॉजिटरी डाउनलोड करें और सत्यापित करें: (1) 5.7× DeepSeek-R1 और 2.99× VLM प्रति-एक्सेलेरेटर दावे, v6.1 की तुलना v5.1/v6.0 पंक्तियों से सीधे करके; (2) NVIDIA की "up to 3.7×" फ्रेमिंग, VR200 NVL72 और GB300 NVL72 प्रविष्टियों के बीच Offline/Server/Interactive अनुपात निकालकर; (3) 512-GPU Crusoe सिस्टम (प्रविष्टियां 6.1-0026/6.1-0027) का प्रोफाइल, AMD के 8-GPU और 72-GPU स्केलिंग दावों के विरुद्ध। वैकल्पिक रूप से, सार्वजनिक e2e-rag/ संदर्भ (या Edge-Agentic Qwen3.6-27B Q4_K_M GGUF + llama.cpp रीप्ले) अपने हार्डवेयर पर चलाकर आंतरिक बेसलाइन बनाएं — ~283 GB एसेट सेट और मल्टी-GPU आवश्यकता पूरे E2E-RAG इनजेशन को महंगा बनाती है, इसलिए सबसे हल्की उपयोगी लैब एक GPU/एक्सेलेरेटर पर एजेंटिक रीप्ले है। (इस शोध पास में क्या सत्यापित हुआ, यह labs/S18.md में देखें।)

• अक्टूबर 2026: MLPerf Endpoints रोलिंग सबमिशन खुलेंगे (स्थिर नतीजे अभी उपलब्ध; सामान्यीकृत, पावर-रहित Pareto कर्व्स बाद में); पहले Fall 2026 राउंड के सबमिशन विंडो में आएंगे; उद्योग वेबिनार/वर्कशॉप v6.1 तालिकाओं के फॉलो-अप विश्लेषण प्रकाशित करेंगे।
• 2026 के अंत / 2027: Fall 2026 राउंड के नतीजे (अपेक्षित: available श्रेणी में व्यापक Rubin फ्लीट का दोबारा सबमिशन, अधिक E2E-RAG और Edge-Agentic प्रविष्टियां, पहले Endpoints v1.0 सामान्यीकृत आउटपुट); MMA (MLPerf Agentic) डेटासेंटर बेंचमार्क आगे बढ़ता हुआ; BFCL-v4 गेट्स के संभावित कसाव और E2E-RAG का मल्टी-मॉडल परिवारों तक विस्तार।
• 2027: Kanter के कथन के अनुसार MLPerf Endpoints डेटासेंटर बेंचमार्क के रूप में Inference का स्थान लेगा — डेटासेंटर दावों के लिए निश्चित-राउंड व्यवस्था का अंत।
• लगातार देखने योग्य बातें: Rubin/MI355X-श्रेणी के सिलिकॉन के लिए preview→available संक्रमण; पावर/एनर्जी हिसाब की परिपक्वता; जज-मॉडल के चुनाव और सटीकता-गेट पर बहस; असली RFP में E2E-RAG/Edge-Agentic आंकड़ों को अपनाया जाना।

MLPerf Inference v6.1 इस सूट के इतिहास में सबसे परिणामकारी बेंचमार्क रिलीज़ों में से एक है — इसलिए नहीं कि कोई एक वेंडर "जीता," बल्कि इसलिए कि उद्योग का मानक आखिरकार उस स्तर तक पहुंच गया जो प्रोडक्शन एआई वास्तव में है: मल्टी-मॉडल RAG पाइपलाइन, मल्टी-टर्न एजेंट, और रोलिंग API-केंद्रित मूल्यांकन। रिकॉर्ड 30 सबमिटर, 120 सिस्टम और 486 नतीजों ने Vera Rubin NVL72 (preview) के लिए पहले न्यूट्रल, पीयर-रिव्यू किए गए आंकड़े दिए, ~5.8M टोकन/सेकंड पर एक 512-एक्सेलेरेटर सिस्टम, क्रॉस-वेंडर और ट्रांस-पैसिफिक विषम तैनातियां, और प्रति चक्र 8–36% के दस्तावेजीकृत केवल-सॉफ्टवेयर लाभ। मुख्य 5.7× (DeepSeek-R1) और 2.99× (VLM) प्रति-एक्सेलेरेटर सुधार, तथा NVIDIA का "up to 3.7×" वाला Vera-बनाम-GB300 दावा असली हैं पर सिनेरियो- और स्टैक-विशिष्ट; सबसे विस्फोटक आंकड़ों पर preview लेबल का अर्थ है कि टिकाऊ व्यावसायिक सार नई वर्कलोड (E2E-RAG, Edge Agentic) और Endpoints उत्तराधिकार हैं, जो 2027 से आगे यह बदल देंगे कि एआई प्रदर्शन कैसे मापा, प्रचारित और खरीदा जाता है। उद्यम पाठकों को एक व्यावहारिक पंक्ति याद रखनी चाहिए: पाइपलाइनों और एजेंटों के लिए खरीद-योग्य, सेब-से-सेब एआई प्रदर्शन मापन आ चुका है — बेंचमार्क-नेतृत्व वाली खरीद अब तर्कसंगत डिफ़ॉल्ट है।