AI ક્રાંતિનું એન્જિન: હાઈ બેન્ડવિડ્થ મેમરી (HBM) શું છે અને તે કેવી રીતે કામ કરે છે?
આર્ટિફિશિયલ ઇન્ટેલિજન્સના સુપરકોમ્પ્યુટર્સને અતિશય ઝડપી ડેટા પૂરો પાડતી HBM ટેકનોલોજીની આંતરિક રચના અને તેના ભવિષ્યની ઊંડી સમજૂતી.
આજના આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) ના યુગમાં જ્યારે આપણે ChatGPT અથવા અન્ય મોટા ભાષા મોડેલો સાથે વાત કરીએ છીએ, ત્યારે પડદા પાછળ હજારો શક્તિશાળી પ્રોસેસર્સ કામ કરી રહ્યા હોય છે. આ પ્રોસેસર્સને માત્ર ગણતરી કરવાની શક્તિ જ નહીં, પરંતુ અતિશય ઝડપે ડેટા મેળવવાની પણ જરૂર હોય છે. સામાન્ય કોમ્પ્યુટરમાં વપરાતી રેમ (RAM) આટલી ઝડપ પૂરી પાડવામાં નિષ્ફળ જાય છે, અને અહીં જ હાઈ બેન્ડવિડ્થ મેમરી (High Bandwidth Memory - HBM) ચિત્રમાં આવે છે. HBM એ માત્ર એક મેમરી ચિપ નથી, પરંતુ તે સેમિકન્ડક્ટર એન્જિનિયરિંગનો એક અદભૂત નમૂનો છે જે ડેટાને વીજળીની ઝડપે પ્રોસેસર સુધી પહોંચાડે છે.
વિકિપીડિયા અને ઉદ્યોગના અહેવાલો મુજબ, HBM એ ૩D-સ્ટેક્ડ સિંક્રોનસ ડાયનેમિક રેન્ડમ-એક્સેસ મેમરી (SDRAM) માટેનું એક ઇન્ટરફેસ છે. તેની શરૂઆત સેમસંગ (Samsung), AMD અને SK Hynix દ્વારા સંયુક્ત રીતે કરવામાં આવી હતી. આ ટેકનોલોજીનો મુખ્ય ઉદ્દેશ્ય ગ્રાફિક્સ એક્સિલરેટર્સ, નેટવર્ક ઉપકરણો અને સુપરકોમ્પ્યુટર્સમાં ડેટા ટ્રાન્સફર કરવાની ક્ષમતા એટલે કે બેન્ડવિડ્થ (bandwidth) વધારવાનો હતો. પ્રથમ HBM ચિપનું ઉત્પાદન ૨૦૧૩માં SK Hynix દ્વારા કરવામાં આવ્યું હતું, અને ૨૦૧૫માં AMD Fiji GPU સાથે તે બજારમાં ઉપલબ્ધ થઈ હતી. ત્યારથી લઈને અત્યાર સુધીમાં HBM એ AI ક્ષેત્રમાં અનિવાર્ય સ્થાન બનાવી લીધું છે.
થ્રી-ડી સ્ટેકિંગ: મેમરીની આધુનિક ઈમારત
HBM ની સૌથી મોટી વિશેષતા તેની રચના છે. પરંપરાગત મેમરી ચિપ્સ મધરબોર્ડ પર સપાટ રીતે ગોઠવાયેલી હોય છે, જે ઘણી જગ્યા રોકે છે અને ડેટાને પ્રોસેસર સુધી પહોંચવા માટે લાંબુ અંતર કાપવું પડે છે. HBM આ સમસ્યાનો ઉકેલ 'સ્ટેકિંગ' (stacking) દ્વારા લાવે છે. આમાં મેમરીની અનેક ડાઇ (die) એટલે કે નાની ચિપ્સને એકબીજાની ઉપર ગોઠવવામાં આવે છે, જે એક બહુમાળી ઈમારત જેવી રચના બનાવે છે. એક સ્ટેકમાં ૩૨ જેટલી DRAM ડાઇ હોઈ શકે છે. આ રચનાને કારણે તે ઓછી જગ્યામાં વધુ મેમરી સમાવી શકે છે અને વીજળીનો વપરાશ પણ ઘટાડે છે.
આ સ્તરોને એકબીજા સાથે જોડવા માટે થ્રુ-સિલિકોન વાયાસ (through-silicon vias - TSVs) અને માઇક્રોબમ્પ્સ (microbumps) નો ઉપયોગ કરવામાં આવે છે. TSV એ સિલિકોન ચિપમાં પાડવામાં આવેલા અતિ સૂક્ષ્મ છિદ્રો છે જે ઊભી રીતે ડેટાનું વહન કરે છે. આ પદ્ધતિને કારણે ડેટાને મુસાફરી કરવા માટે ખૂબ જ ટૂંકો રસ્તો મળે છે. સ્ટેકની નીચે એક બેઝ ડાઇ (base die) હોય છે જે બફર સર્કિટરી અને ટેસ્ટ લોજિક ધરાવે છે, જે સમગ્ર સ્ટેકના સંચાલનનું ધ્યાન રાખે છે. આ આર્કિટેક્ચરને કારણે HBM અન્ય મેમરીની સરખામણીમાં ઘણી નાની હોવા છતાં અનેકગણી ઝડપી હોય છે.
- DRAM ડાઇ ઉત્પાદનસૌ પ્રથમ સિલિકોન વેફર પર અનેક સ્વતંત્ર DRAM મેમરી ચિપ્સ (ડાઇ) તૈયાર કરવામાં આવે છે.
- TSV ડ્રિલિંગદરેક ચિપમાં હજારો સૂક્ષ્મ છિદ્રો (Through-Silicon Vias) પાડવામાં આવે છે અને તેમાં વાહક ધાતુ ભરવામાં આવે છે.
- વર્ટિકલ સ્ટેકિંગ૮ થી ૧૬ મેમરી ચિપ્સને એકબીજાની ઉપર ગોઠવીને માઇક્રોબમ્પ્સ દ્વારા ઊભી રીતે જોડવામાં આવે છે.
- ઇન્ટરપોઝર જોડાણતૈયાર થયેલા મેમરી સ્ટેકને સિલિકોન ઇન્ટરપોઝર પર પ્રોસેસરની એકદમ નજીક બેસાડવામાં આવે છે.
ઇન્ટરપોઝર અને ડેટાનો હાઇવે
HBM ની અદભૂત ઝડપનું બીજું કારણ તેની બસ વિડ્થ (bus width) છે. બસ વિડ્થ એટલે એકસાથે કેટલા ડેટા બીટ્સ મુસાફરી કરી શકે છે તેની ક્ષમતા. સામાન્ય GDDR મેમરીમાં આ વિડ્થ ૩૨ બીટની હોય છે, જ્યારે HBM૧ ના એક સ્ટેકમાં ૧૦૨૪ બીટની વિડ્થ હોય છે. જો એક ગ્રાફિક્સ કાર્ડમાં આવા ચાર સ્ટેક હોય, તો કુલ બસ વિડ્થ ૪૦૯૬ બીટ સુધી પહોંચી જાય છે. આટલો મોટો ડેટા હાઇવે હોવાને કારણે જ AI મોડેલો અબજો પેરામીટર્સને સેકન્ડના ભાગમાં પ્રોસેસ કરી શકે છે.
આટલી મોટી સંખ્યામાં જોડાણો હોવાને કારણે HBM ને પ્રોસેસર સાથે જોડવા માટે એક ખાસ પદ્ધતિની જરૂર પડે છે. AMD અને Nvidia જેવી કંપનીઓ આ માટે ઇન્ટરપોઝર (interposer) નામના સેમિકન્ડક્ટર ઉપકરણનો ઉપયોગ કરે છે. ઇન્ટરપોઝર એ એક સિલિકોન સ્તર છે જેની ઉપર GPU અને HBM સ્ટેક્સને ખૂબ જ નજીક ગોઠવવામાં આવે છે. આનાથી ડેટા પાથ (memory paths) ટૂંકા થાય છે અને ઝડપ વધે છે. જોકે, આ પદ્ધતિ સામાન્ય સર્કિટ બોર્ડ ઉત્પાદન કરતા ઘણી મોંઘી છે, જે HBM આધારિત ગ્રાફિક્સ કાર્ડ્સની ઊંચી કિંમત પાછળનું એક મુખ્ય કારણ છે.
| પેઢી | બસ વિડ્થ (બીટ્સ) | મહત્તમ ક્ષમતા | પિન સ્પીડ |
|---|---|---|---|
| HBM1 | ૧૦૨૪ | ૪ GB | ૧ GT/s |
| HBM2 | ૧૦૨૪ | ૮ GB | ૨ GT/s |
| HBM3 | ૧૦૨૪ | ૨૪ GB | ૬.૪ Gb/s |
| HBM3E | ૧૦૨૪ | ૩૬ GB | ૯.૬ Gb/s |
| HBM4 | ૨૦૪૮ | ૬૪ GB | ૮ Gb/s |
| પેઢી | બેન્ડવિડ્થ (પ્રતિ સ્ટેક) | ક્ષમતા |
|---|---|---|
| HBM1 | 128 GB/s | 4 GB |
| HBM2 | 256 GB/s | 8 GB |
| HBM3 | 819 GB/s | 24 GB |
| HBM3E | 1.2 TB/s | 36 GB |
| HBM4 | 2 TB/s | 64 GB |
પેઢી દર પેઢી પ્રગતિ: HBM૧ થી HBM૪ સુધી
HBM ટેકનોલોજી સતત વિકસતી રહી છે. પ્રથમ પેઢીની HBM૧ પ્રતિ સેકન્ડ ૧૨૮ GB ડેટા ટ્રાન્સફર કરી શકતી હતી અને તેની ક્ષમતા ૪ GB પ્રતિ પેકેજ હતી. ૨૦૧૬માં આવેલી HBM૨ એ આ ઝડપ બમણી કરીને ૨૫૬ GB/s કરી અને ક્ષમતા ૮ GB સુધી વધારી. ત્યારબાદ HBM૨E આવી, જેમાં ૧૨ સ્તરો સુધીનું સ્ટેકિંગ શક્ય બન્યું અને ક્ષમતા ૨૪ GB સુધી પહોંચી. સેમસંગ અને SK Hynix જેવી કંપનીઓએ આ ક્ષેત્રમાં સતત સ્પર્ધા કરીને ડેટા ટ્રાન્સફર રેટમાં વધારો કર્યો છે.
વર્ષ ૨૦૨૨માં JEDEC દ્વારા HBM૩ સ્ટાન્ડર્ડની જાહેરાત કરવામાં આવી, જે AI ક્રાંતિ માટે ગેમ-ચેન્જર સાબિત થઈ. HBM૩ માં ડેટા ચેનલ્સની સંખ્યા ૮ થી વધારીને ૧૬ કરવામાં આવી. SK Hynix ના જણાવ્યા મુજબ, તેમની HBM૩ મેમરી ૮૧૯ GB/s સુધીની બેન્ડવિડ્થ પૂરી પાડે છે. Nvidia ના પ્રખ્યાત H૧૦૦ GPU માં આ જ મેમરીનો ઉપયોગ કરવામાં આવ્યો છે. ત્યારબાદ HBM૩E આવ્યું, જે ૧.૨ TB/s ની ઝડપ અને ૩૬ GB સુધીની ક્ષમતા ધરાવે છે. માઇક્રોન (Micron) કંપનીએ ૨૦૨૪માં HBM૩E નું મોટા પાયે ઉત્પાદન શરૂ કરવાની જાહેરાત કરી હતી, જે Blackwell શ્રેણીના GPU માં વપરાશે.
બજારની સ્થિતિ અને ભવિષ્યનું આયોજન
વર્ષ ૨૦૨૫ અને ૨૦૨૬માં HBM ની માંગમાં અભૂતપૂર્વ વધારો જોવા મળ્યો છે. AI સેક્ટરની આ માંગને કારણે સામાન્ય DRAM મેમરીના ભાવમાં ૨૦૦% થી વધુનો વધારો થયો છે. માઇક્રોન કંપનીના જણાવ્યા મુજબ, HBM ના ઉત્પાદન માટે સામાન્ય DDR૫ મેમરી કરતા ત્રણ ગણી વધુ ક્ષમતાની જરૂર પડે છે, જેને કારણે બજારમાં મેમરીની અછત સર્જાઈ છે. હાલમાં SK Hynix, સેમસંગ અને માઇક્રોન આ ક્ષેત્રના મુખ્ય ખેલાડીઓ છે, જ્યારે TSMC આ મેમરી માટે બેઝ ડાઇ બનાવવાનું મહત્વનું કામ કરે છે.
ભવિષ્યની વાત કરીએ તો, એપ્રિલ ૨૦૨૫માં HBM૪ સ્ટાન્ડર્ડની જાહેરાત કરવામાં આવી છે. HBM૪ માં બસ વિડ્થ ૧૦૨૪ થી વધારીને ૨૦૪૮ બીટ કરવામાં આવશે, જે પ્રતિ સ્ટેક ૨ TB/s ની બેન્ડવિડ્થ આપશે. આ ઉપરાંત, સેમસંગે HBM-PIM (Processing-in-memory) જેવી ટેકનોલોજી પર પણ કામ શરૂ કર્યું છે, જેમાં મેમરીની અંદર જ નાનું AI એન્જિન મૂકવામાં આવશે. આનાથી ડેટાને પ્રોસેસર સુધી મોકલવાની જરૂરિયાત ઘટશે અને ગણતરીઓ વધુ ઝડપી બનશે. જેમ જેમ AI મોડેલો વધુ જટિલ બનતા જશે, તેમ તેમ HBM ટેકનોલોજી આ ડિજિટલ ક્રાંતિના પાયાના પથ્થર તરીકે પોતાની ભૂમિકા ભજવતી રહેશે.
