મગજની જેમ વિચારતા 'સ્પાઇકિંગ ન્યુરલ નેટવર્ક્સ': આર્ટિફિશિયલ ઇન્ટેલિજન્સમાં ઊર્જા બચાવતી નવી ક્રાંતિ

આજના સમયમાં આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) આપણી જિંદગીનો અભિન્ન હિસ્સો બની ગયું છે, પરંતુ તેની પાછળ એક મોટું સંકટ છુપાયેલું છે: ઊર્જાનો વપરાશ. અત્યારના મોટાભાગના AI મોડલ્સ, જેને આપણે આર્ટિફિશિયલ ન્યુરલ નેટવર્ક્સ (ANN) કહીએ છીએ, તે ગણતરીઓ કરવા માટે સતત વીજળી અને પ્રોસેસિંગ પાવરનો ઉપયોગ કરે છે. આ સમસ્યાના ઉકેલ તરીકે વૈજ્ઞાનિકો હવે 'સ્પાઇકિંગ ન્યુરલ નેટવર્ક્સ' (Spiking Neural Networks - SNNs) પર ધ્યાન કેન્દ્રિત કરી રહ્યા છે. આ ટેકનોલોજી માનવ મગજના ન્યુરોન્સની કાર્યપદ્ધતિની આબેહૂબ નકલ કરવાનો પ્રયાસ કરે છે.

વિકિપીડિયાના અહેવાલ મુજબ, સ્પાઇકિંગ ન્યુરલ નેટવર્ક્સ એ AIની ત્રીજી પેઢી માનવામાં આવે છે. પરંપરાગત નેટવર્ક્સમાં માહિતી સતત વહેતી રહે છે, પરંતુ SNNમાં માહિતી માત્ર ત્યારે જ પ્રસારિત થાય છે જ્યારે કોઈ ચોક્કસ ઘટના અથવા 'સ્પાઇક' (spike) સર્જાય છે. આ પદ્ધતિ મગજની જૈવિક પ્રક્રિયા જેવી જ છે, જ્યાં ન્યુરોન્સ હંમેશા સક્રિય રહેવાને બદલે માત્ર જરૂર પડે ત્યારે જ વીજળીના ઝબકારા જેવા સંકેતો મોકલે છે. આનાથી ઊર્જાની મોટી બચત થાય છે અને ગણતરીની ક્ષમતામાં પણ વધારો થાય છે.

જૈવિક ન્યુરોન્સ અને સ્પાઇકિંગની પ્રક્રિયા

આપણા મગજમાં અબજો ન્યુરોન્સ આવેલા છે જે એકબીજા સાથે જટિલ રીતે જોડાયેલા છે. જ્યારે કોઈ ન્યુરોન તેના પડોશી ન્યુરોન્સ પાસેથી સંકેતો મેળવે છે, ત્યારે તેની અંદર એક પ્રકારનો વિદ્યુતભાર જમા થાય છે, જેને 'મેમ્બ્રેન પોટેન્શિયલ' (membrane potential) કહેવામાં આવે છે. આ પોટેન્શિયલ જ્યારે એક નિશ્ચિત મર્યાદા એટલે કે 'થ્રેશોલ્ડ' (threshold) સુધી પહોંચે છે, ત્યારે જ તે ન્યુરોન સક્રિય થાય છે અને આગળ સંકેત મોકલે છે. આ પ્રક્રિયાને 'ફાયરિંગ' (firing) કહેવામાં આવે છે.

સ્પાઇકિંગ ન્યુરલ નેટવર્ક્સમાં પણ આ જ સિદ્ધાંતનો ઉપયોગ થાય છે. અહીં દરેક કૃત્રિમ ન્યુરોન સમયની સાથે આવતા ઇનપુટ્સને ભેગા કરે છે. જો ઇનપુટ પૂરતું મજબૂત હોય અને તે થ્રેશોલ્ડને વટાવી જાય, તો જ ન્યુરોન એક 'સ્પાઇક' અથવા પલ્સ પેદા કરે છે. આ સ્પાઇક પછી નેટવર્કના અન્ય ન્યુરોન્સ સુધી પહોંચે છે. આ પ્રક્રિયામાં 'સમય' (time) એક મહત્વનું પરિબળ છે, જે પરંપરાગત AI મોડલ્સમાં જોવા મળતું નથી.

લીકી ઇન્ટિગ્રેટ-એન્ડ-ફાયર મોડેલ

SNNમાં સૌથી વધુ વપરાતું મોડેલ 'લીકી ઇન્ટિગ્રેટ-એન્ડ-ફાયર' (leaky integrate-and-fire - LIF) છે. આ મોડેલમાં ન્યુરોન તેની પાસે આવતા સંકેતોને 'ઇન્ટિગ્રેટ' એટલે કે એકઠા કરે છે. પરંતુ જો લાંબા સમય સુધી કોઈ નવો સંકેત ન આવે, તો જમા થયેલો વિદ્યુતભાર ધીમે ધીમે ઓછો થવા લાગે છે, જેને 'લીકેજ' (leakage) કહેવામાં આવે છે. આ પદ્ધતિ વાસ્તવિક જૈવિક ન્યુરોન્સની વર્તણૂકને ખૂબ જ નજીકથી મળતી આવે છે.

જ્યારે ન્યુરોન ફાયર થાય છે, ત્યારે તેનું પોટેન્શિયલ તરત જ શૂન્ય અથવા કોઈ નીચા સ્તરે પાછું આવી જાય છે. આને 'રીસેટ' (reset) પ્રક્રિયા કહેવામાં આવે છે. આ રીતે, SNN માત્ર ત્યારે જ કામ કરે છે જ્યારે ખરેખર જરૂર હોય. વિકિપીડિયાના સ્ત્રોત અનુસાર, હાઈ-પરફોર્મન્સ ડીપ સ્પાઇકિંગ ન્યુરલ નેટવર્ક્સ પ્રતિ ન્યુરોન માત્ર ૦.૩ સ્પાઇક્સ સાથે કામ કરી શકે છે, જે તેની અદભૂત કાર્યક્ષમતા દર્શાવે છે.

માહિતીનું સંકેતીકરણ: રેટ કોડિંગ અને ટેમ્પોરલ કોડિંગ

પરંપરાગત AIમાં માહિતી ચોક્કસ આંકડાઓ (floating-point numbers) સ્વરૂપે હોય છે, પરંતુ SNNમાં તેને સ્પાઇક્સમાં ફેરવવી પડે છે. આ માટે મુખ્યત્વે બે પદ્ધતિઓ વપરાય છે: 'રેટ કોડિંગ' (rate coding) અને 'ટેમ્પોરલ કોડિંગ' (temporal coding). રેટ કોડિંગમાં, માહિતીની તીવ્રતાના આધારે સ્પાઇક્સની સંખ્યા નક્કી થાય છે. દાખલા તરીકે, જો કોઈ ચિત્રમાં પિક્સેલ વધુ તેજસ્વી હોય, તો તેના માટે વધુ સ્પાઇક્સ પેદા કરવામાં આવે છે.

બીજી તરફ, ટેમ્પોરલ કોડિંગમાં સ્પાઇક કયા સમયે આવે છે તે મહત્વનું છે. અહીં એક જ સ્પાઇક પણ ઘણી બધી માહિતી વહન કરી શકે છે જો તેનો સમય ચોક્કસ હોય. સંશોધનો દર્શાવે છે કે માનવ મગજ છબી ઓળખવા જેવા જટિલ કાર્યો માત્ર ૧૦ મિલિસેકન્ડ (ms) જેટલા ટૂંકા ગાળામાં કરી શકે છે. આટલી ઝડપી પ્રક્રિયા માત્ર રેટ કોડિંગથી શક્ય નથી, જે સાબિત કરે છે કે મગજ ટેમ્પોરલ કોડિંગનો પણ ઉપયોગ કરે છે.

તાલીમની મુશ્કેલીઓ અને નવા ઉકેલો

SNN ને તાલીમ આપવી એ પરંપરાગત AI કરતા વધુ અઘરું છે. સામાન્ય રીતે AI મોડલ્સ 'બેકપ્રોપેગેશન' (backpropagation) નામની પદ્ધતિથી શીખે છે, જેમાં ગણિતના 'ગ્રેડિયન્ટ ડિસેન્ટ' (gradient descent) નો ઉપયોગ થાય છે. પરંતુ SNN ના સ્પાઇક્સ 'ડિફરન્શિયેબલ' (differentiable) નથી, એટલે કે તેમાં ગણિતના વિકલનનો સીધો ઉપયોગ કરી શકાતો નથી કારણ કે સ્પાઇક કાં તો હોય (૧) અથવા ન હોય (૦).

આ સમસ્યાને ઉકેલવા માટે વૈજ્ઞાનિકો 'સરોગેટ ગ્રેડિયન્ટ્સ' (surrogate gradients) જેવી પદ્ધતિઓનો ઉપયોગ કરી રહ્યા છે. આમાં તાલીમ દરમિયાન સ્પાઇક્સને સ્મૂધ અથવા સતત ફંક્શન તરીકે ગણવામાં આવે છે જેથી ગ્રેડિયન્ટની ગણતરી કરી શકાય. આ ઉપરાંત, 'સ્પાઇક ફ્રીક્વન્સી એડેપ્ટેશન' (Spike Frequency Adaptation - SFA) જેવી પદ્ધતિઓ પણ વિકસાવવામાં આવી છે, જે ન્યુરોનની કાર્યક્ષમતા વધારે છે અને ટૂંકા ગાળાની મેમરી જેવી ક્ષમતા પૂરી પાડે છે.

ન્યુરોમોર્ફિક હાર્ડવેર: IBM TrueNorth અને Intel Loihi

SNN ની સાચી શક્તિ ત્યારે જ જોવા મળે છે જ્યારે તેને ખાસ પ્રકારના હાર્ડવેર પર ચલાવવામાં આવે, જેને 'ન્યુરોમોર્ફિક' (neuromorphic) ચિપ્સ કહેવામાં આવે છે. સામાન્ય કોમ્પ્યુટર પ્રોસેસર્સ (CPUs) SNN માટે કાર્યક્ષમ નથી કારણ કે તેઓ સમયના પરિબળને કુદરતી રીતે સમજી શકતા નથી. ૧૯૮૦ના દાયકાથી આ ક્ષેત્રમાં સંશોધનો શરૂ થયા હતા.

IBM દ્વારા વિકસિત 'TrueNorth' ચિપ આ દિશામાં એક મોટું પગલું હતું. તે લાખો ન્યુરોન્સનું અનુકરણ કરી શકે છે અને ખૂબ જ ઓછી વીજળી વાપરે છે. તેવી જ રીતે, Intel ની 'Loihi' ચિપ ઓનલાઇન લર્નિંગ અને એડેપ્ટેબિલિટી પર ધ્યાન કેન્દ્રિત કરે છે. યુરોપમાં વિકસિત 'BrainScaleS' અને માન્ચેસ્ટર યુનિવર્સિટીનું 'SpiNNaker' પ્રોજેક્ટ પણ મોટા પાયે ન્યુરોન સિમ્યુલેશન માટે જાણીતા છે. આ ચિપ્સ ભવિષ્યમાં રોબોટિક્સ અને સ્વાયત્ત વાહનોમાં ક્રાંતિ લાવી શકે છે.

ભારત અને સામાન્ય લોકો માટે મહત્વ

ભારત જેવા દેશો માટે, જ્યાં ઊર્જાની બચત અને સસ્તા ટેકનોલોજી ઉકેલોની જરૂર છે, ત્યાં SNN ખૂબ જ ઉપયોગી સાબિત થઈ શકે છે. ખાસ કરીને 'એજ કમ્પ્યુટિંગ' (edge computing) એટલે કે ઇન્ટરનેટ વગર સીધા ઉપકરણ પર ચાલતા AI માટે આ ટેકનોલોજી આશીર્વાદરૂપ છે. સ્માર્ટફોન, હેલ્થ મોનિટરિંગ ડિવાઇસ અને ઘરગથ્થુ ઉપકરણોમાં SNN ના ઉપયોગથી બેટરી લાઈફ અનેકગણી વધી શકે છે.

જોકે, અત્યારે SNN ચોકસાઈની બાબતમાં પરંપરાગત ANN કરતા થોડા પાછળ છે, પરંતુ વિકિપીડિયાના અહેવાલ મુજબ આ તફાવત ઝડપથી ઘટી રહ્યો છે. જેમ જેમ નવા તાલીમ અલ્ગોરિધમ્સ અને વધુ શક્તિશાળી ન્યુરોમોર્ફિક ચિપ્સ આવશે, તેમ તેમ સ્પાઇકિંગ ન્યુરલ નેટવર્ક્સ AI ના ભવિષ્યને નવી દિશા આપશે. આ ટેકનોલોજી માત્ર મશીનોને સ્માર્ટ જ નહીં, પણ તેમને વધુ માનવીય અને કુદરતી રીતે વિચારતા બનાવશે.