Hugging Face, End to End · Chapter 02
Transformers, from characters to output
पार्सल के एक सवाल का सफ़र — अध्याय परिचय
4:51 · कृत्रिम आवाज़ में वर्णन। प्लेयर में कैप्शन उपलब्ध हैं।
प्रतिलेख पढ़ें
पार्सल के काउंटर पर एक पर्ची आती है। उस पर लिखा है, मेरा पार्सल कहाँ है? एक मॉडल बता सकता है कि यह किस तरह का सवाल है। दूसरा जवाब लिख सकता है। उसी पर्ची के साथ चलिए और देखिए कि हर काम में कौन-से हिस्से लगते हैं। क्लासिफ़िकेशन की पाइपलाइन एक कॉल में कई कदम चलाती है। काम और चेकपॉइंट चुनिए। टेक्स्ट से टोकन आई डी बनाइए। मॉडल चलाइए। फिर उसके स्कोर से, पढ़ने योग्य लेबल निकालिए। इस कागज़ी मिसाल में, पर्ची पार्सल के सवाल वाले खाने में जाती है। स्कोर बताता है कि मॉडल ने उस लेबल को कितनी मज़बूती से चुना। मॉडल कितनी बार सही होगा? सही जवाब वाले कई नमूनों पर जाँच कीजिए। ऑटो कॉन्फ़िग मॉडल की सेटिंग पढ़ता है। ऑटो टोकनाइज़र उसके टेक्स्ट नियम और शब्दावली लाता है। बेस ऑटो मॉडल हर इनपुट टोकन का वेक्टर दे सकता है। इस काम के लिए सिखाया गया क्लासिफ़िकेशन हेड, उनसे लेबल के स्कोर बनाता है। टेक्स्ट आगे बढ़ाना हो, तो चेकपॉइंट में अगला टोकन बताने वाला हेड होना चाहिए। लोड करते समय चेतावनी आए कि हेड के वेट्स नए बने हैं, तो लेबल पर भरोसा करने से पहले, चेकपॉइंट का विवरण पढ़िए। टोकनाइज़र टेक्स्ट के टुकड़े बनाकर उन्हें शब्दावली की आई डी देता है। खाली जगह और विराम चिह्न से टुकड़े बदल सकते हैं। इसी सवाल को दोनों भाषाओं में गिनिए। इस तुलना में विशेष टोकन नहीं गिने गए हैं। इस मिसाल के जी पी टी टू टोकनाइज़र में, इंग्लिश सवाल के पाँच टोकन मिलते हैं। उसी हिंदी सवाल के तीस टोकन मिलते हैं। एक्स एल एम आर में, इन्हीं सवालों के पाँच और छह टोकन मिलते हैं। ये गिनतियाँ इन्हीं सवालों की हैं। बेहतर जवाब की जाँच अलग करनी होगी। बैच बनाते समय, पंक्तियों की लंबाई बराबर करनी पड़ सकती है। खाली जगह में पैडिंग का टोकन भरिए। अटेंशन मास्क भी दीजिए। डिकोडर ओनली मॉडल में, जवाब इनपुट की आख़िरी जगह से आगे बढ़ता है। इसलिए बाईं ओर पैडिंग करें। छोटी पंक्ति भी असली टोकन पर ख़त्म होगी। पैडिंग, पंक्ति की खाली जगह भरती है। मॉडल कितने टोकन इस्तेमाल कर सकता है? इसकी एक सीमा होती है। यहाँ सीमा सोलह है। तैयार इनपुट में ग्यारह टोकन हैं। सोलह में से ग्यारह घटाइए। पाँच नए टोकन की जगह बचती है। अगले टोकन का हेड कच्चे स्कोर देता है। इन्हें लॉजिट्स कहते हैं। सॉफ़्टमैक्स उनसे संभावनाएँ बनाता है। ग्रीडी चुनाव सबसे ऊँचा स्कोर लेता है। सैंपलिंग में बचे हुए विकल्पों में से चुनाव हो सकता है। इस उदाहरण में कम टेम्परेचर से सबसे संभावित विकल्प का पलड़ा भारी होता है। टॉप पी, अधिक संभावना वाले टोकन पहले रखता है। जब उनकी कुल संभावना चुनी हुई सीमा तक पहुँचती है, तब और टोकन जोड़ना बंद करता है। रखे गए विकल्पों से एक टोकन चुना जाता है। यह टोकन अगले इनपुट में जुड़ता है। टोकनाइज़र उसकी आई डी को टेक्स्ट में बदलता है। चैट मॉडल, संदेशों को खास ढंग से पढ़ता है। हर संदेश के साथ उसकी भूमिका रखें। उसी चेकपॉइंट के टोकनाइज़र का चैट टेम्पलेट इस्तेमाल करें। जहाँ वह टेम्पलेट कहे, वहाँ असिस्टेंट की बारी का निशान जोड़ें। पूरा तैयार प्रॉम्प्ट गिनिए। उसमें पुरानी बातचीत और विशेष टोकन भी शामिल हैं। टेम्पलेट उन्हें पहले जोड़ चुका हो तो दोबारा जोड़ने से मॉडल को अलग इनपुट मिलेगा। लेटेंसी बताती है कि एक अनुरोध पूरा होने में कितना समय लगा। थ्रूपुट है, तय समय में कितने काम पूरे होते हैं। हमारे काल्पनिक उदाहरण में चार काम अलग-अलग करने में कुल चार सेकंड लगते हैं। चारों का एक बैच दो सेकंड में पूरा होता है। पर पहले व्यक्ति को एक की जगह दो सेकंड लगते हैं। असली सिस्टम पर दोनों मापिए। मिलती-जुलती लंबाई से पैडिंग कम हो सकती है। जवाब बनाते समय मॉडल अटेंशन के की और वैल्यू वेक्टर कैश में रख सकता है। इससे पिछली गणना बार-बार नहीं करनी पड़ती। उसे संभालने के लिए मेमोरी भी चाहिए। स्ट्रीमिंग में जवाब बनते समय टेक्स्ट दिखता रहता है। स्क्रीन पर दिखने वाले एक हिस्से में शब्द का टुकड़ा या कई शब्द हो सकते हैं। उससे मॉडल के टोकन की गिनती पता नहीं चलती। नए टोकन की सीमा, तय आख़िरी टोकन या कोई दूसरा रोकने का नियम जवाब ख़त्म कर सकता है। नए टोकन की अधिकतम संख्या तय कीजिए। उसे संदर्भ में बची जगह से मिलाकर देखिए। मान लीजिए वही सवाल अकेले ठीक चलता है, पर बैच में अजीब जवाब आता है। एक छोटा उदाहरण रखें जिसे दोहरा सकें। चेकपॉइंट का रिविज़न, पूरा तैयार प्रॉम्प्ट और जवाब बनाने की सेटिंग लिख लें। चैट के लिए देखें कि मॉडल उसी काम के लिए तैयार है। टोकनाइज़र, मास्क, पैडिंग और कहाँ इनपुट कटा, ये देखें। एक सेटिंग बदलें और वही जाँच दोहराएँ। क्लासिफ़ायर लेबल ज़ीरो जैसा नाम दिखाए तो पहले देखिए कि उस नंबर का असली लेबल क्या है। अब अपना एक सवाल आज़माइए। पूरे तैयार इनपुट के टोकन गिनिए। फिर लिखिए कि अगला टोकन कैसे चुना जाता है और जवाब बनना कब रुकता है। नतीजा चौंकाए तो सोचिए, सबसे पहले कौन-सा कदम मापा जा सकता है?