AI क्रांति का इंजन: हाई बैंडविड्थ मेमोरी (HBM) क्या है और यह कैसे काम करती है?
आर्टिफिशियल इंटेलिजेंस के सुपरकंप्यूटरों को अत्यधिक तीव्र डेटा प्रदान करने वाली HBM तकनीक की आंतरिक संरचना और उसके भविष्य की विस्तृत व्याख्या।
आज के आर्टिफिशियल इंटेलिजेंस (AI) के युग में जब हम ChatGPT या अन्य बड़े भाषा मॉडलों के साथ बात करते हैं, तो पर्दे के पीछे हजारों शक्तिशाली प्रोसेसर काम कर रहे होते हैं। इन प्रोसेसरों को न केवल गणना करने की शक्ति, बल्कि अत्यधिक गति से डेटा प्राप्त करने की भी आवश्यकता होती है। सामान्य कंप्यूटर में इस्तेमाल होने वाली रैम (RAM) इतनी गति प्रदान करने में विफल रहती है, और यहीं पर हाई बैंडविड्थ मेमोरी (High Bandwidth Memory - HBM) तस्वीर में आती है। HBM केवल एक मेमोरी चिप नहीं है, बल्कि यह सेमीकंडक्टर इंजीनियरिंग का एक अद्भुत नमूना है जो डेटा को बिजली की गति से प्रोसेसर तक पहुंचाता है।
विकिपीडिया और उद्योग की रिपोर्टों के अनुसार, HBM एक 3D-स्टैक्ड सिंक्रोनस डायनेमिक रैंडम-एक्सेस मेमोरी (SDRAM) के लिए एक इंटरफेस है। इसकी शुरुआत सैमसंग (Samsung), AMD और SK Hynix द्वारा संयुक्त रूप से की गई थी। इस तकनीक का मुख्य उद्देश्य ग्राफिक्स एक्सीलरेटर्स, नेटवर्क उपकरणों और सुपरकंप्यूटरों में डेटा ट्रांसफर करने की क्षमता यानी बैंडविड्थ (bandwidth) को बढ़ाना था। पहली HBM चिप का उत्पादन 2013 में SK Hynix द्वारा किया गया था, और 2015 में AMD Fiji GPU के साथ यह बाजार में उपलब्ध हुई थी। तब से लेकर अब तक HBM ने AI क्षेत्र में अनिवार्य स्थान बना लिया है।
थ्री-डी स्टैकिंग: मेमोरी की आधुनिक इमारत
HBM की सबसे बड़ी विशेषता इसकी संरचना है। पारंपरिक मेमोरी चिप्स मदरबोर्ड पर सपाट रूप से व्यवस्थित होती हैं, जो काफी जगह घेरती हैं और डेटा को प्रोसेसर तक पहुंचने के लिए लंबी दूरी तय करनी पड़ती है। HBM इस समस्या का समाधान 'स्टैकिंग' (stacking) के जरिए लाती है। इसमें मेमोरी की कई डाई (die) यानी छोटी चिप्स को एक-दूसरे के ऊपर व्यवस्थित किया जाता है, जो एक बहुमंजिला इमारत जैसी संरचना बनाती है। एक स्टैक में 32 तक DRAM डाई हो सकती हैं। इस संरचना के कारण यह कम जगह में अधिक मेमोरी समाहित कर सकती है और बिजली की खपत भी कम करती है।
इन स्तरों को एक-दूसरे के साथ जोड़ने के लिए थ्रू-सिलिकॉन वाया (through-silicon vias - TSVs) और माइक्रोबम्प्स (microbumps) का उपयोग किया जाता है। TSV सिलिकॉन चिप में किए गए अति सूक्ष्म छिद्र हैं जो लंबवत रूप से डेटा का वहन करते हैं। इस पद्धति के कारण डेटा को यात्रा करने के लिए बहुत छोटा रास्ता मिलता है। स्टैक के नीचे एक बेस डाई (base die) होती है जिसमें बफर सर्किटरी और टेस्ट लॉजिक होता है, जो पूरे स्टैक के संचालन का ध्यान रखता है। इस आर्किटेक्चर के कारण HBM अन्य मेमोरी की तुलना में काफी छोटी होने के बावजूद कई गुना तेज होती है।
- DRAM डाई उत्पादनसबसे पहले सिलिकॉन वेफर पर अनेक स्वतंत्र DRAM मेमोरी चिप्स (डाई) तैयार की जाती हैं।
- TSV ड्रिलिंगप्रत्येक चिप में हजारों सूक्ष्म छिद्र (Through-Silicon Vias) किए जाते हैं और उनमें वाहक धातु भरी जाती है।
- वर्टिकल स्टैकिंग8 से 16 मेमोरी चिप्स को एक-दूसरे के ऊपर रखकर माइक्रोबम्प्स द्वारा लंबवत रूप से जोड़ा जाता है।
- इंटरपोजर कनेक्शनतैयार हुए मेमोरी स्टैक को सिलिकॉन इंटरपोजर पर प्रोसेसर के बिल्कुल करीब बैठाया जाता है।
इंटरपोजर और डेटा का हाईवे
HBM की अद्भुत गति का दूसरा कारण इसकी बस विड्थ (bus width) है। बस विड्थ का अर्थ है कि एक साथ कितने डेटा बिट्स यात्रा कर सकते हैं, इसकी क्षमता। सामान्य GDDR मेमोरी में यह विड्थ 32 बिट की होती है, जबकि HBM1 के एक स्टैक में 1024 बिट की विड्थ होती है। यदि एक ग्राफिक्स कार्ड में ऐसे चार स्टैक हों, तो कुल बस विड्थ 4096 बिट तक पहुँच जाती है। इतने बड़े डेटा हाईवे के कारण ही AI मॉडल अरबों पैरामीटर्स को सेकंड के हिस्से में प्रोसेस कर सकते हैं।
इतनी बड़ी संख्या में कनेक्शन होने के कारण HBM को प्रोसेसर के साथ जोड़ने के लिए एक विशेष पद्धति की आवश्यकता होती है। AMD और Nvidia जैसी कंपनियाँ इसके लिए इंटरपोजर (interposer) नामक सेमीकंडक्टर उपकरण का उपयोग करती हैं। इंटरपोजर एक सिलिकॉन स्तर है जिसके ऊपर GPU और HBM स्टैक्स को बहुत ही करीब व्यवस्थित किया जाता है। इससे डेटा पाथ (memory paths) छोटे हो जाते हैं और गति बढ़ जाती है। हालाँकि, यह पद्धति सामान्य सर्किट बोर्ड उत्पादन की तुलना में काफी महंगी है, जो HBM आधारित ग्राफिक्स कार्ड्स की ऊंची कीमत के पीछे का एक मुख्य कारण है।
| पीढ़ी | बस विड्थ (बिट्स) | अधिकतम क्षमता | पिन स्पीड |
|---|---|---|---|
| HBM1 | 1024 | 4 GB | 1 GT/s |
| HBM2 | 1024 | 8 GB | 2 GT/s |
| HBM3 | 1024 | 24 GB | 6.4 Gb/s |
| HBM3E | 1024 | 36 GB | 9.6 Gb/s |
| HBM4 | 2048 | 64 GB | 8 Gb/s |
| पीढ़ी | बैंडविड्थ (प्रति स्टैक) | क्षमता |
|---|---|---|
| HBM1 | 128 GB/s | 4 GB |
| HBM2 | 256 GB/s | 8 GB |
| HBM3 | 819 GB/s | 24 GB |
| HBM3E | 1.2 TB/s | 36 GB |
| HBM4 | 2 TB/s | 64 GB |
पीढ़ी दर पीढ़ी प्रगति: HBM1 से HBM4 तक
HBM टेक्नोलॉजी लगातार विकसित होती रही है। पहली पीढ़ी की HBM1 प्रति सेकंड 128 GB डेटा ट्रांसफर कर सकती थी और इसकी क्षमता 4 GB प्रति पैकेज थी। 2016 में आई HBM2 ने इस गति को दोगुना करके 256 GB/s किया और क्षमता 8 GB तक बढ़ाई। इसके बाद HBM2E आई, जिसमें 12 स्तरों तक का स्टैकिंग संभव हुआ और क्षमता 24 GB तक पहुँच गई। सैमसंग और SK Hynix जैसी कंपनियों ने इस क्षेत्र में लगातार प्रतिस्पर्धा करके डेटा ट्रांसफर रेट में वृद्धि की है।
वर्ष 2022 में JEDEC द्वारा HBM3 स्टैंडर्ड की घोषणा की गई, जो AI क्रांति के लिए गेम-चेंजर साबित हुई। HBM3 में डेटा चैनल्स की संख्या 8 से बढ़ाकर 16 कर दी गई। SK Hynix के अनुसार, उनकी HBM3 मेमोरी 819 GB/s तक की बैंडविड्थ प्रदान करती है। Nvidia के प्रसिद्ध H100 GPU में इसी मेमोरी का उपयोग किया गया है। इसके बाद HBM3E आया, जो 1.2 TB/s की गति और 36 GB तक की क्षमता रखता है। माइक्रोन (Micron) कंपनी ने 2024 में HBM3E का बड़े पैमाने पर उत्पादन शुरू करने की घोषणा की थी, जो Blackwell श्रेणी के GPU में उपयोग होगा।
बाजार की स्थिति और भविष्य की योजना
वर्ष 2025 और 2026 में HBM की मांग में अभूतपूर्व वृद्धि देखी गई है। AI सेक्टर की इस मांग के कारण सामान्य DRAM मेमोरी की कीमतों में 200% से अधिक की वृद्धि हुई है। माइक्रोन कंपनी के अनुसार, HBM के उत्पादन के लिए सामान्य DDR5 मेमोरी की तुलना में तीन गुना अधिक क्षमता की आवश्यकता होती है, जिसके कारण बाजार में मेमोरी की कमी पैदा हो गई है। वर्तमान में SK Hynix, सैमसंग और माइक्रोन इस क्षेत्र के प्रमुख खिलाड़ी हैं, जबकि TSMC इस मेमोरी के लिए बेस डाई बनाने का महत्वपूर्ण कार्य करती है।
भविष्य की बात करें तो, अप्रैल 2025 में HBM4 स्टैंडर्ड की घोषणा की गई है। HBM4 में बस विड्थ 1024 से बढ़ाकर 2048 बिट की जाएगी, जो प्रति स्टैक 2 TB/s की बैंडविड्थ प्रदान करेगी। इसके अलावा, सैमसंग ने HBM-PIM (प्रोसेसिंग-इन-मेमोरी) जैसी तकनीक पर भी काम शुरू कर दिया है, जिसमें मेमोरी के भीतर ही एक छोटा AI इंजन लगाया जाएगा। इससे डेटा को प्रोसेसर तक भेजने की आवश्यकता कम हो जाएगी और गणनाएं अधिक तेज हो जाएंगी। जैसे-जैसे AI मॉडल अधिक जटिल होते जाएंगे, वैसे-वैसे HBM तकनीक इस डिजिटल क्रांति की आधारशिला के रूप में अपनी भूमिका निभाती रहेगी।
