ડાર્ક જીપીયુ: એઆઈ તેજી વચ્ચે ડેટાસેન્ટર્સમાં વણવપરાયેલી પડેલી પ્રોસેસિંગ ક્ષમતાનું કોયડારૂપ સત્ય
કૃત્રિમ બુદ્ધિમત્તાના મોડેલો વિકસાવવા ચિપ્સની વૈશ્વિક અછત પ્રવર્તે છે, છતાં અબજો ડોલરના ડેટાસેન્ટર્સમાં અનેક જીપીયુ સંપૂર્ણ ક્ષમતાથી કામ કરી શકતા નથી.
કૃત્રિમ બુદ્ધિમત્તા એટલે કે આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) ના આધુનિક યુગમાં સૌથી મૂલ્યવાન સંપત્તિ સિલિકોન ચિપ્સ છે. વિશ્વભરની ટેકનોલોજી કંપનીઓ અત્યાધુનિક જીપીયુ મેળવવા માટે અબજો ડોલર ખર્ચી રહી છે, પરંતુ તેની પાછળ એક છૂપી અને ગંભીર સમસ્યા આકાર લઈ રહી છે જેને ટેકનોલોજી નિષ્ણાતો 'ડાર્ક જીપીયુ' (dark GPUs) તરીકે ઓળખાવી રહ્યા છે. Business Standard ના અહેવાલ મુજબ, ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ (GPU) એ એક વિશિષ્ટ કમ્પ્યુટર ચિપ છે જે એકસાથે અનેક જટિલ ગણતરીઓ કરવા માટે ખાસ ડિઝાઇન કરવામાં આવી છે.
ડાર્ક જીપીયુ એ એવી પરિસ્થિતિ દર્શાવે છે કે જ્યાં ડેટાસેન્ટર્સમાં લાખો ડોલરના અત્યાધુનિક પ્રોસેસર લગાવેલા હોવા છતાં, તે પોતાની પૂર્ણ ક્ષમતાથી કામ કરી શકતા નથી અથવા મોટાભાગનો સમય નિષ્ક્રિય (idle) અવસ્થામાં પડી રહે છે. આ ઘટના માત્ર નાણાકીય બગાડ નથી, પરંતુ વૈશ્વિક સ્તરે એઆઈના વિકાસની ગતિને પણ ધીમી પાડી રહી છે. જ્યારે દુનિયામાં પ્રોસેસિંગ પાવરની ભારે અછત હોય, ત્યારે સર્વર રેકમાં રહેલા હજારો પ્રોસેસર પૂરતી ક્ષમતા વગર પડી રહે તે આજના કમ્પ્યુટિંગ જગતનો સૌથી મોટો વિરોધાભાસ છે.
જીપીયુની રચના અને એઆઈ માટે તેની અનિવાર્યતા
કમ્પ્યુટિંગના ઇતિહાસ પર નજર કરીએ તો સામાન્ય પ્રોસેસર એટલે કે સીપીયુ (CPU - central processing unit) જટિલ ગણતરીઓ ક્રમબદ્ધ રીતે કરવા માટે બનેલું છે. તેની સામે ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ (GPU) નો ઉદ્ભવ ૧૯૯૦ના દાયકામાં ડિજિટલ ઇમેજ પ્રોસેસિંગ અને કમ્પ્યુટર ગ્રાફિક્સને ઝડપી બનાવવા માટે થયો હતો. જીપીયુમાં સેંકડો કે હજારો નાના કેલ્ક્યુલેશન યુનિટ્સ આવેલા હોય છે, જે સમાંતર રીતે એટલે કે પેરેલલ પ્રોસેસિંગ (parallel processing) દ્વારા વિશાળ જથ્થામાં ડેટા પ્રોસેસ કરવાની ક્ષમતા ધરાવે છે.
વિકિપીડિયાની વિગતો અનુસાર, ૨૦૧૨ પછી જ્યારે ન્યુરલ નેટવર્ક્સને વેગ આપવા માટે જીપીયુનો ઉપયોગ શરૂ થયો, ત્યારે ડીપ લર્નિંગ (deep learning) ક્ષેત્રે અસાધારણ ક્રાંતિ આવી. લાર્જ લેંગ્વેજ મોડેલ્સ (LLM) અને જનરેટિવ એઆઈ માટે જંગી માત્રામાં લિનિયર અલ્જેબ્રા (linear algebra) એટલે કે રેખીય બીજગણિતની ગણતરીઓની જરૂર પડે છે. જીપીયુની રચના આવા સમાંતર કાર્યો માટે કુદરતી રીતે જ અનુકૂળ હોવાથી તે સુપરકમ્પ્યુટિંગ અને આર્ટિફિશિયલ ઇન્ટેલિજન્સનું અનિવાર્ય હૃદય બની ગયું છે.
સિસ્ટમ્સ
'ડાર્ક જીપીયુ' શા માટે સર્જાય છે: ક્ષમતા હોવા છતાં લાચારી
ડાર્ક જીપીયુની સમસ્યા કોઈ એક ભૌતિક ખામી નથી પરંતુ આખી સિસ્ટમની અસંતુલિત ડિઝાઇનનું પરિણામ છે. જ્યારે કોઈ સુપરકમ્પ્યુટર અથવા ક્લાઉડ ડેટાસેન્ટરમાં સેંકડો જીપીયુ એકસાથે જોડીને વિશાળ મોડેલ ટ્રેન કરવામાં આવે છે, ત્યારે દરેક ચિપ સતત કાર્યરત રહેવી જરૂરી છે. પરંતુ વ્યવહારમાં ઘણી વખત જીપીયુની પ્રોસેસિંગ સ્પીડ ખૂબ ઊંચી હોય છે, જ્યારે તેને ડેટા પહોંચાડતી મેમરી કે નેટવર્ક એટલી ઝડપે કામ કરી શકતા નથી.
આ પરિસ્થિતિને મેમરી બોટલનેક (memory bottleneck) કહેવામાં આવે છે, જેમાં પ્રોસેસર ડેટાની રાહ જોવામાં કિંમતી મિલીસેકન્ડ્સ બગાડે છે. સમર્પિત એટલે કે ડેડિકેટેડ જીપીયુ પોતાની સાથે જોડાયેલી વિશિષ્ટ મેમરી (VRAM) નો ઉપયોગ કરે છે, પરંતુ જ્યારે જટિલ મોડેલના પેરામીટર્સ આ મેમરી કરતા મોટા થઈ જાય ત્યારે સિસ્ટમ ગૂંગળાઈ જાય છે જેને તકનીકી ભાષામાં ચોકિંગ (choking) કહે છે. જ્યારે એક ચિપ ડેટાની રાહ જોતી હોય ત્યારે તેની સાથે જોડાયેલા અન્ય પ્રોસેસર્સ પણ અટકી જાય છે, જેનાથી સમગ્ર ક્લસ્ટરની ક્ષમતા ઘટી જાય છે.
- ડેટા વિતરણમાં વિલંબવિશાળ મોડેલનો ડેટા મુખ્ય સ્ટોરેજમાંથી પ્રોસેસર સુધી પહોંચવામાં મેમરી બેન્ડવિડ્થના કારણે અવરોધ ઊભો થાય છે.
- મેમરી સેચ્યુરેશનપ્રોસેસરની પોતાની VRAM મર્યાદિત હોવાથી જટિલ કેલ્ક્યુલેશન્સ દરમિયાન ડેટા ટ્રાન્સફર ચોક થઈ જાય છે.
- સિન્ક્રોનાઇઝેશન અડચણસમાંતર જોડાયેલા હજારો જીપીયુમાંથી અમુક પ્રોસેસર પરિણામની રાહ જોતા અન્ય પ્રોસેસર્સ અટકી પડે છે.
- ડાર્ક અથવા આઈડલ સ્ટેટવીજળી વપરાતી હોવા છતાં ચિપ પોતાની સો ટકા ક્ષમતા વાપર્યા વગર નિષ્ક્રિય સાયકલ ચલાવે છે.
તકનીકી આંકડા: મેમરી બેન્ડવિડ્થ અને સુપરકમ્પ્યુટર્સનું વિશ્લેષણ
પ્રોસેસિંગ ક્ષમતા માપવા માટે સામાન્ય રીતે ફ્લોપ્સ (FLOPS: floating point operations per second) નો ઉપયોગ થાય છે, અને આધુનિક ચિપ્સ ટેરાફ્લોપ્સ (TFLOPS) માં ગણતરી કરે છે. પરંતુ માત્ર ફ્લોપ્સથી વાસ્તવિક કામગીરી નક્કી થતી નથી. સામાન્ય ઇન્ટિગ્રેટેડ જીપીયુ સિસ્ટમ મેમરી સાથે વધુમાં વધુ ૧૨૮ ગીગાબાઇટ્સ પ્રતિ સેકન્ડ (GB/s) ની બેન્ડવિડ્થ ધરાવે છે, જ્યારે અત્યાધુનિક ડેડિકેટેડ ગ્રાફિક્સ કાર્ડ પોતાની VRAM અને કોર વચ્ચે ૧૦૦૦ ગીગાબાઇટ્સ પ્રતિ સેકન્ડથી વધુ બેન્ડવિડ્થ આપી શકે છે.
જૂન ૨૦૨૬ની વૈશ્વિક TOP500 સુપરકમ્પ્યુટર યાદી અનુસાર, વિશ્વના ૨૭૬ અગ્રણી સુપરકમ્પ્યુટર્સ એક્સિલરેટર અથવા સહ-પ્રોસેસર ટેકનોલોજી પર નિર્ભર છે, જે અગાઉના છ મહિનાના ૨૫૫ સિસ્ટમ્સના આંકડા કરતા મોટો વધારો દર્શાવે છે. આ ડેટા દર્શાવે છે કે ૧૦૭ સિસ્ટમ્સ NVIDIA Hopper ચિપ્સથી સજ્જ છે, ૬૨ સિસ્ટમ્સ NVIDIA Ampere નો ઉપયોગ કરે છે અને ૩૨ સિસ્ટમ્સ AMD Instinct આર્કિટેક્ચર પર આધારિત છે. જો આટલા વિશાળ માળખામાં જીપીયુ અપૂર્ણ રીતે વપરાય, તો અબજો વોટ વીજળી અને કરોડો ડોલરનું નુકસાન થાય છે.
| જીપીયુ પ્રકાર | મેમરીનો પ્રકાર | મહત્તમ બેન્ડવિડ્થ |
|---|---|---|
| ઇન્ટિગ્રેટેડ જીપીયુ (IGPU) | શેર્ડ સિસ્ટમ રેમ (RAM) | ૧૨૮ GB/s સુધી |
| ડેડિકેટેડ જીપીયુ (Discrete) | સમર્પિત વિડીયો રેમ (VRAM) | ૧૦૦૦ GB/s થી વધુ |
ઊર્જા વપરાશ, કૂલિંગ અને ઇન્ફ્રાસ્ટ્રક્ચરનું સંકટ
આધુનિક ડેટાસેન્ટર્સ માત્ર સોફ્ટવેરથી નથી ચાલતા, પરંતુ તેમના માટે જંગી પાવર સપ્લાય અને કૂલિંગ સિસ્ટમ જરૂરી બને છે. અત્યાધુનિક એક્સિલરેટર ચિપ્સ સેંકડો વોટ પાવર ખેંચે છે અને અતિશય ગરમી પેદા કરે છે. જો ડેટાસેન્ટર પાસે દરેક રેકને પૂરતી વીજળી આપવાની ક્ષમતા ન હોય અથવા કૂલિંગ ક્ષમતા મર્યાદિત હોય, તો એન્જિનિયરોએ કેટલીક ચિપ્સને બંધ રાખવી પડે છે અથવા તેમની સ્પીડ ઘટાડવી પડે છે.
આ પરિસ્થિતિને કારણે સિલિકોન હાર્ડવેર ભૌતિક રીતે હાજર હોવા છતાં 'અંધારામાં' એટલે કે બિનકાર્યક્ષમ રહે છે. વધુમાં, વીજ પુરવઠામાં વિક્ષેપ ન પડે તે માટે મોટા પાયે ઔદ્યોગિક બેટરી બેન્ક અને બેકઅપ સિસ્ટમ્સ ગોઠવવી પડે છે. જ્યારે ઇન્ફ્રાસ્ટ્રક્ચરની આ મર્યાદાઓને કારણે હાર્ડવેરનો સરેરાશ ઉપયોગ ઘટીને ચાલીસ કે પચાસ ટકા રહી જાય, ત્યારે રોકાણ પરનું વળતર જોખમાય છે.
સામાન્ય લોકો અને ભારત પર આ ઘટનાની અસર
ડાર્ક જીપીયુની સમસ્યા દૂરના ડેટાસેન્ટર પૂરતી સીમિત નથી, પરંતુ તેની અસર આખરે ગ્રાહકો સુધી પહોંચે છે. જ્યારે એઆઈ ઇન્ફ્રાસ્ટ્રક્ચર બિનકાર્યક્ષમ બને છે, ત્યારે એઆઈ સેવાઓ આપવાનો ખર્ચ વધી જાય છે, જેનાથી વપરાશકર્તાઓ માટે સબ્સ્ક્રિપ્શન ફી ઊંચી રહે છે. ભારત જેવા વિકાસશીલ રાષ્ટ્ર માટે, જ્યાં સ્થાનિક એઆઈ મોડેલો અને ભાષા આધારિત કમ્પ્યુટિંગનો વિસ્તાર થઈ રહ્યો છે, ઉપલબ્ધ દરેક ચિપનો પૂર્ણ ઉપયોગ અત્યંત મહત્વપૂર્ણ છે.
જો ભારતીય સંસ્થાઓ અને સ્ટાર્ટઅપ્સ જીપીયુ રિસોર્સિસનું યોગ્ય શેડ્યુલિંગ કરી શકે અને ડાર્ક સિલિકોનની ખામીઓને સોફ્ટવેર ઑપ્ટિમાઇઝેશન દ્વારા સુધારે, તો મર્યાદિત હાર્ડવેરમાં પણ શ્રેષ્ઠ પરિણામ મેળવી શકાય છે. ભવિષ્યમાં માત્ર શક્તિશાળી જીપીયુ ખરીદવાથી સ્પર્ધા નહીં જીતી શકાય, પરંતુ તે હાર્ડવેરના એકેએક ટ્રાન્ઝિસ્ટરનો કેટલો સચોટ ઉપયોગ થાય છે તેના પર આખી એઆઈ ક્રાંતિનો આધાર રહેશે.
