હેલોવીન માટે ઓપન AI મોડેલ્સથી સજ્જ બોલતું 'મોન્સ્ટર હાઉસ' રજૂ કરાયું

આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) ના ક્ષેત્રમાં મોડેલ્સ માત્ર ચેટબોટ સુધી સીમિત નથી રહ્યા, પરંતુ ભૌતિક દુનિયા સાથે વાર્તાલાપ કરવા સક્ષમ બન્યા છે. ૩૦ ઓક્ટોબર, ૨૦૨૬ ના રોજ Hugging Face પર પ્રકાશિત એક અહેવાલ મુજબ, NVIDIA ના એન્જિનિયરો રિક ગ્રાન્ડી (Rick Grandy) અને મરિયમ મોતામેદી (Maryam Motamedi) એ 'nemotron-halloween' પ્રોજેક્ટ હેઠળ એક અનોખું 'મોન્સ્ટર હાઉસ' (MonsterHouse) તૈયાર કર્યું છે. આ એક એવું ઇન્ટરેક્ટિવ ઘર છે જે હેલોવીન વખતે આવતા બાળકોના અવાજો સાંભળે છે, ચાંચિયા (pirate) ના ખરાબ મિજાજવાળા અવાજમાં જવાબ આપે છે અને જ્યારે મુલાકાતીઓ વિનમ્રતાથી 'પ્લીઝ' (please) કહે છે ત્યારે તે નરમ પડીને ચોકલેટ આપે છે.

આ આખા પ્રોજેક્ટની સૌથી ખાસ વાત એ છે કે આટલું જટિલ AI આર્કિટેક્ચર ક્લાઉડ પર આધાર રાખવાને બદલે માત્ર એક જ સિંગલ સ્થાનિક વર્કસ્ટેશન પર રન થાય છે. ગેરેજના દરવાજાને એક મોં આપીને તેને ફરિયાદ કરતા શીખવવું એ આર્ટિફિશિયલ ઇન્ટેલિજન્સ અને 3D એનિમેશનનો એક અદ્ભુત સમન્વય છે. આ સિસ્ટમ NVIDIA ના ઓપન મોડેલ્સ પરિવાર પર આધારિત છે, જેમાં સંભાષણ, શ્રવણ, દ્રષ્ટિ અને મુખના હાવભાવ માટે અલગ-અલગ AI મોડેલ્સ એકસાથે કામ કરે છે.

મોન્સ્ટર હાઉસ પાછળની પ્રેરણા અને પૃષ્ઠભૂમિ

આ પ્રોજેક્ટના સર્જક રિક ગ્રાન્ડીના જણાવ્યા મુજબ, તેઓ હેલોવીન દરમિયાન પોતાના ઘરે આવતા બાળકોને એક અલગ અનુભવ આપવા માગતા હતા. ઘર પોતે જ એક કરડૂસ પણ ઓછું ડરામણું પાત્ર બનીને ચોકલેટ વેંચે તેવો વિચાર હતો. આ માટે તેમણે ગેરેજના દરવાજાની લાકડાની પટ્ટીઓને તૂટેલા હોઠના આકારમાં ડિઝાઇન કરી અને તેની પાછળ ડિજિટલ અગ્નિ પ્રગટાવી.

ઘરના આ પાત્ર માટે એક રસપ્રદ બેકસ્ટોરી બનાવવામાં આવી હતી. આ ઘર એક ડૂબી ગયેલા ચાંચિયા જહાજના લાકડામાંથી બનેલું છે અને તેના તોફાની ભૂતકાળને કારણે તે સતત અસંતોષી અને ગુસ્સામાં રહે છે. જ્યારે પણ કોઈ મુલાકાતી આવે, ત્યારે તે શરૂઆતમાં એમ કહીને કાઢી મૂકે છે કે "હું ગુસ્સે થવામાં વ્યસ્ત છું, પાડોશીઓને હેરાન કરો!". પરંતુ જો મુલાકાતીઓ સતત વાત કરે કે વિનમ્ર શબ્દો વાપરે, તો તેનો મિજાજ બદલાય છે. એકવાર મુલાકાતી તેને જીતી લે, પછી તે સિસ્ટમ તે મુલાકાતીને યાદ રાખે છે જેથી દર વખતે ફરીથી વાટાઘાટો કરવી ન પડે.

આ સિસ્ટમ કેવી રીતે કામ કરે છે: તબક્કાવાર સમજૂતી

મોન્સ્ટર હાઉસની વાર્તાલાપ પ્રક્રિયા પાંચ મુખ્ય તબક્કામાં વહેંચાયેલી છે, જે વાસ્તવિક સમયમાં (real-time) અત્યંત ઝડપથી હાથ ધરવામાં આવે છે:

પ્રથમ તબક્કામાં શ્રવણ એટલે કે સ્પીચ રેકગ્નિશન (Speech Recognition) થાય છે. મુલાકાતી જે કંઈ બોલે તેને 'NVIDIA Nemotron Speech ASR' (ઓટોમેટિક સ્પીચ રેકગ્નિશન) દ્વારા ટેક્સ્ટમાં રૂપાંતરિત કરવામાં આવે છે. આ માટે `nemotron-speech-streaming-en-0.6b.q8_0.gguf` મોડેલનો ઉપયોગ થાય છે, જે ૩૦૦ મિલિસેકન્ડ (ms) ની શાંતિ (silence) બાદ અવાજ પૂરો થયો છે તેમ સમજી લે છે.

બીજા તબક્કામાં વિચારણા એટલે કે ડાયલોગ જનરેશન (Dialogue Generation) થાય છે. 'NVIDIA Nemotron 3.5 Bolt E4B 4GB' મોડેલ વાતચીતના આગામી જવાબની રચના કરે છે. આ એક નાનું ઓપન લેંગ્વેજ મોડેલ (Small Language Model) છે, જેને લોરા અડેપ્ટર (LoRA adapter: Low-Rank Adaptation) ની મદદથી ચાંચિયાના મિજાજમાં મોલ્ડ કરવામાં આવ્યું છે.

ત્રીજા તબક્કામાં વાચા એટલે કે ટેક્સ્ટ-ટુ-સ્પીચ (Text-to-Speech) નો વારો આવે છે. 'NVIDIA Magpie TTS Zeroshot' મોડેલ લખાયેલા જવાબને જીવંત અવાજમાં ફેરવે છે. આ સિસ્ટમ શોર્ટ રેફરન્સ સેમ્પલ (short reference sample) નો ઉપયોગ કરીને ગણતરીની સેકન્ડોમાં જે-તે લાગણી સાથે અવાજ જનરેટ કરે છે.

ચોથા તબક્કામાં એનિમેશન (Animation) થાય છે. 'NVIDIA Audio2Face-3D' ટેક્નોલોજી સ્પષ્ટ અવાજના આધારે Unreal Engine 5 માં બનાવેલા લાકડાના મોંના હાવભાવને લાઇવ એનિમેટ કરે છે. અને પાંચમા તબક્કામાં દ્રષ્ટિ એટલે કે વિઝ્યુઅલ પ્રોસેસિંગ (Visual Processing) કામ કરે છે, જ્યાં 'NVIDIA Nemotron 3 Nano Omni' નામનું VLM (Vision Language Model) કેમેરા સામે આવેલા બાળકોના કોસ્ચ્યુમ કે વેશભૂષાને ઓળખે છે.

ટેકનિકલ આંકડા, કસ્ટમાઇઝેશન અને બેંચમાર્ક

મોન્સ્ટર હાઉસને જીવંત બનાવવા માટે રિક ગ્રાન્ડીએ ૫,૦૦૦ થી વધુ બહુ-તબક્કાવાર (multi-turn) સંભાષણોનો એક ડેટાસેટ તૈયાર કર્યો હતો. આ ડેટાસેટ પરથી અલગ-અલગ LLM માટે લોરા (LoRA) અડેપ્ટર્સ ટ્રેન કરવામાં આવ્યા હતા, જે ટ્રેન થવામાં ૧ થી ૨ કલાકનો સમય લેતા હતા. કન્વર્સેશનલ એજન્ટ માટે Qwen3 30B-A3B અને Qwen 3.6 35B-A3B જેવા મોટા મોડેલ્સની સરખામણીએ Bolt E4B નું ૪-બિટ ક્વોન્ટાઇઝ્ડ (4-bit quantized) વર્ઝન વધુ ઝડપી અને ઓછી મેમરી રોકતું હોવાનું સાબિત થયું હતું.

આ સિસ્ટમમાં રિસ્પોન્સ લેટન્સી (response latency) એટલે કે પ્રતિભાવ સમય ખૂબ જ મહત્વનો છે. જો ઘર જવાબ આપવામાં વધુ સમય લે, તો તેની ભયાનકતા અને અસરકારકતા ઓછી થઈ જાય છે. Bolt Q4 અને TTS પાઇપલાઇન સાથે સ્પીચ પૂરી થયાથી ઓડિયો શરૂ થવાનો મધ્યસ્થ સમય (median latency) ૧.૭૦ સેકન્ડ રહ્યો હતો. પરંતુ જે જવાબો અગાઉથી કેશ્ડ (cached) એટલે કે સેવ કરેલા હતા, તેમાં આ સમય ઘટીને માત્ર ૦.૭૨ સેકન્ડ થઈ ગયો હતો.

ઘરના ૭ અલગ-અલગ મિજાજ (moods) નક્કી કરવામાં આવ્યા છે, જે ગુસ્સાવાળાથી લઈને આનંદિત મોડ સુધીના છે. પ્રમોપ્ટ ટેમ્પ્લેટમાં રહેલા ઇમોશન ટેગ્સના આધારે મિગ્પી TTS યોગ્ય ૩ થી ૧૦ સેકન્ડના વોઇસ સેમ્પલનો ઉપયોગ કરે છે. એનિમેશન સિસ્ટમમાં ફ્રેમ રેટ સળંગ જળવાઈ રહે તે માટે Audio2Face-3D બફરિંગ માટે ૧૦૦ મિલિસેકન્ડનો એડજસ્ટમેન્ટ સેટ કરવામાં આવ્યો હતો.

ઘરની દ્રષ્ટિ સિસ્ટમને ચકાસવા માટે, પાંચ અલગ-અલગ હેલોવીન કોસ્ચ્યુમ (ચાંચિયો, વૅમ્પાયર, ડાકણ, કોળું અને ભૂત) પહેરેલા ઘેટાંનો એક વિડિયો Nemotron 3 Nano Omni મોડેલને આપવામાં આવ્યો હતો. આ મોડેલે દરેક કોસ્ચ્યુમને ચોક્કસ રીતે ઓળખી બતાવ્યા હતા. આ ઓળખ સચોટ રહે તે માટે YOLO અને ByteTrack મોડેલ્સનો ઉપયોગ લોકોની ગણતરી અને ટ્રેકિંગ માટે અલગથી કરવામાં આવ્યો હતો.

હાર્ડવેર અને કમ્પ્યુટિંગ બજેટ

આ આખી પાઇપલાઇનને કોઈ પણ ક્લાઉડ સર્વર વગર ઓન-પ્રિમાઇસ (on-premise) ચલાવવા માટે એક શક્તિશાળી હાર્ડવેર સેટઅપ ગોઠવવામાં આવ્યું હતું. કમ્પ્યુટેશનલ વર્કલોડને બે ભાગમાં વહેંચવામાં આવ્યો હતો:

૧. પ્રથમ પ્રોસેસર: NVIDIA RTX PRO 6000 Blackwell Max-Q GPU પર ભાષા મોડેલ (Bolt E4B), સ્પીચ-ટુ-ટેક્સ્ટ (ASR) અને વિઝન મોડેલ ચલાવવામાં આવ્યા હતા. ૨. દ્વિતીય પ્રોસેસર: NVIDIA RTX PRO 4000 Blackwell GPU પર Unreal Engine 5 ના ગ્રાફિક્સ અને Audio2Face-3D નું રિયલ-ટાઇમ મોશન એનિમેશન રન કરવામાં આવ્યું હતું.

આ રીતે કમ્પ્યુટિંગ પાવરને વિભાજિત કરવાથી લેંગ્વેજ મોડેલ પ્રોસેસિંગ કરી રહ્યું હોય ત્યારે પણ એનિમેશનના ફ્રેમ રેટમાં કોઈ ઘટાડો થતો નથી અને અનુભવ એકદમ સ્મૂધ રહે છે.

Hugging Face અને NVIDIA નું જોડાણ

આ પ્રોજેક્ટ Hugging Face ના પ્લેટફોર્મ પર રિલિઝ કરવામાં આવ્યો છે. Hugging Face ની સ્થાપના ૨૦૧૬ માં ક્લેમેન્ટ ડેલંગ્યુ (Clément Delangue), જુલિયન ચોમોન્ડ (Julien Chaumond) અને થોમસ વુલ્ફ (Thomas Wolf) દ્વારા ન્યૂ યોર્ક સિટીમાં કરવામાં આવી હતી. શરૂઆતમાં ટીનેજર્સ માટે ચેટબોટ બનાવતી આ કંપની આજે મશીન લર્નિંગ મોડેલ્સ અને ડેટાસેટ્સ માટેનું વિશ્વનું સૌથી મોટું ઓપન-સોર્સ પ્લેટફોર્મ બની ગઈ છે.

અત્રે ઉલ્લેખનીય છે કે, સપ્ટેમ્બર ૨૦૨૬ માં NVIDIA એ Hugging Face ને ૧૨.૯૩ અબજ ડોલર ($12.93 billion) માં ખરીદવાની જાહેરાત કરી હતી. જાન્યુઆરી ૧૯૯૩ માં જેન્સન હુઆંગ (Jensen Huang), ક્રિસ મલાચોવસ્કી (Chris Malachowsky) અને કર્ટિસ પ્રિમ (Curtis Priem) દ્વારા સ્થાપવામાં આવેલી NVIDIA આજે ૫ ટ્રિલિયન ડોલરથી વધુ માર્કેટ કેપ ધરાવતી વિશ્વની અગ્રણી AI ચિપ ઉત્પાદક છે. NVIDIA એ સ્પષ્ટ કર્યું છે કે આ એક્વિઝિશન પછી પણ Hugging Face ઓપન પ્લેટફોર્મ તરીકે જ કાર્યરત રહેશે.

ભારત અને ભવિષ્યના AI એજન્ટ્સ માટે આના માયના

nemotron-halloween પ્રોજેક્ટ એ સાબિત કરે છે કે સ્થાનિક સ્તરે (edge computing) ચાલતા ઓપન AI મોડેલ્સ હવે ક્લાઉડ સર્વર જેટલા જ સક્ષમ બની રહ્યા છે. ભારતમાં જ્યાં ઇન્ટરનેટ કનેક્ટિવિટી અને ડેટા પ્રાઇવસી મોટા મુદ્દા છે, ત્યાં સ્થાનિક વર્કસ્ટેશન કે ઓન-ડિવાઇસ પર રન થતા આ પ્રકારના એજન્ટ્સ ખૂબ ઉપયોગી થઈ શકે છે.

તેમજ શિક્ષણ, મનોરંજન, રોબોટિક્સ અને ગ્રાહક સેવા જેવા ક્ષેત્રોમાં સ્થાનિક ભાષાઓમાં સંવાદ કરી શકે તેવા રિયલ-ટાઇમ અવતાર અને 3D એનિમેટેડ એજન્ટ્સ બનાવવાનો માર્ગ આનાથી મોકળો થયો છે. મોન્સ્ટર હાઉસ માત્ર હેલોવીનનો એક રમૂજી પ્રયોગ નથી, પરંતુ ભૌતિક અને ડિજિટલ દુનિયા વચ્ચેના AI સંવાદની એક મજબૂત ઝાંખી છે.