AI, Actually Explained · Chapter 03

What a chatbot is actually doing

12:27 · कृत्रिम आवाज़ में वर्णन। प्लेयर में कैप्शन उपलब्ध हैं।

प्रतिलेख पढ़ें

स्क्रीन पर एक वाक्य उभरता है, एक-एक टुकड़ा करके। वह कोई मुश्किल विचार समझा सकता है, या पूरे भरोसे के साथ गलत तथ्य बता सकता है। कैसी प्रक्रिया से ये दोनों नतीजे आ सकते हैं? अडाली में आपका स्वागत है। हम एक आम दिन में अनुमानों का असर देख चुके हैं; अब हम जवाब बनने की प्रक्रिया में एक संदेश के साथ चलेंगे। हमारी कागज़ की कार्यशाला, पाठ बनाने वाले एक आम प्रकार के मॉडल को समझाती है: आगे का पाठ बनाने वाला कॉज़ल ट्रांसफ़ॉर्मर। यह समझाने के लिए बना दृश्य है, मॉडल के विचारों की रिकॉर्डिंग नहीं, और न हर तरह की एआई की व्याख्या। तीन अलग चीज़ों पर ध्यान दीजिए: प्रशिक्षित मॉडल, उसके सामने अभी मौजूद सामग्री, और उसके आसपास काम करने वाला सॉफ़्टवेयर। प्रवेश पर पाठ टोकन में बदलता है: ऐसे टुकड़े, जिनकी पहचान संख्याओं से होती है। टोकनाइज़र के अनुसार, कोई टुकड़ा पूरा शब्द, शब्द का हिस्सा, विराम-चिह्न या कोई दूसरी इकाई हो सकता है। हमारे कागज़ के टुकड़े जानबूझकर सरल बनाए गए हैं; उनकी सीमाएँ किसी खास टोकनाइज़र के बारे में दावा नहीं हैं। एक ही अर्थ को अंग्रेज़ी और हिंदी में लिखने पर टोकन की संख्या अलग हो सकती है। यह अनुपात सटीक पाठ और टोकनाइज़र पर निर्भर करता है, इसलिए हमेशा तीन या पाँच गुना मान लेना सही नहीं है। जहाँ सेवा टोकन के हिसाब से पैसे लेती है, वहाँ गिनती और उसकी वास्तविक दरें खर्च पर असर डालती हैं; हर चैट योजना में भुगतान का यही तरीका नहीं होता। टोकन की सीमाएँ अक्षरों वाले काम मुश्किल बना सकती हैं, लेकिन इससे यह साबित नहीं होता कि मॉडल कभी वर्तनी या गिनती नहीं कर सकता। अक्षरों की सटीक गिनती के लिए, सहज लगने वाले अनुमान पर भरोसा करने के बजाय जाँचा हुआ अक्षर गिनने का प्रोग्राम इस्तेमाल कीजिए। पहचान की संख्याएँ एम्बेडिंग नाम के संख्यात्मक निरूपण में बदलती हैं, जिनके साथ स्थान की जानकारी भी जोड़ी जाती है। इन्हें नक्शे के निर्देशांकों की तरह समझिए, हालाँकि असली निरूपण में चित्र से कहीं अधिक आयाम हो सकते हैं। प्रक्रिया आगे बढ़ने पर, टोकन का निरूपण उसके कॉन्टेक्स्ट के अनुसार बदल सकता है। अलग एम्बेडिंग मॉडल, समानता के आधार पर खोज के लिए पूरे अंशों को भी संख्याओं के वेक्टर में बदल सकते हैं। इससे, सवाल में वाहन की परेशानी लिखा होने पर भी, स्टार्ट न होने वाली कार से जुड़ा अंश खोजने में मदद मिल सकती है। लेकिन पास होना, सच, सहमति या अनुमति का प्रमाण नहीं है। एक ही नियम से जुड़े दो अंश, किसी काम की अनुमति होने या न होने के बारे में उलटी बातें कह सकते हैं। समानता, संभावित सामग्री ढूँढ़ने में मदद करती है; फ़ैसला लेने से पहले असली अर्थ पढ़िए। नक्शा, बदलते संबंधों के जाल में बदल जाता है: अटेंशन। ट्रांसफ़ॉर्मर में अटेंशन, सामग्री पर निर्भर वज़नों के आधार पर, अनुमत स्थानों की जानकारी मिलाता है। कॉज़ल टेक्स्ट जनरेटर में, कोई स्थान जवाब के उन भविष्य के टोकन का इस्तेमाल नहीं कर सकता, जो अभी बने ही नहीं हैं। अगर दिए गए नोट में लिखा है कि चाबी नीले कप के नीचे है, तो बाद की प्रक्रिया कप के बारे में सवाल को पहले दी गई उस जानकारी से जोड़ सकती है। हमारे बदलते संबंध इस विचार को समझाते हैं; ये किसी असली मॉडल से मापे गए अटेंशन वेट्स नहीं हैं। कई हेड और लेयर, अलग-अलग रूपांतरण मिलाते हैं; यह गणना है, किसी व्यक्ति का इधर-उधर देखना नहीं। दो हज़ार सत्रह में प्रकाशित ट्रांसफ़ॉर्मर शोधपत्र से प्रशिक्षण के दौरान अधिक काम साथ-साथ करना संभव हुआ; जवाब बनाते समय अब भी बाद के चरण पहले के चरणों पर निर्भर होते हैं। कॉन्टेक्स्ट बढ़ने पर डेंस अटेंशन महँगा पड़ सकता है, लेकिन ढाँचा, कैशिंग और उसे लागू करने का तरीका भी मायने रखते हैं; वर्ग के अनुपात वाला चित्र, कीमतों की सूची नहीं है। अब कार्यशाला, आगे आ सकने वाले टोकन के लिए स्कोर बनाती है। डिकोडिंग का नियम एक टोकन चुनकर जोड़ता है, और बढ़ते हुए क्रम के आधार पर पाठ आगे बनता है। स्कोर, आगे का पाठ बनाने में मदद करते हैं; वे बने हुए दावे के सच होने की संभावनाएँ नहीं हैं। कुशल व्यवस्थाएँ, हर पुराने टोकन की गणना शुरू से दोहराने के बजाय, कैश में रखी गणनाएँ फिर इस्तेमाल कर सकती हैं। निकल चुका टोकन उस क्रम में बना रहता है, लेकिन मॉडल बाद में अपनी गलती कह सकता है, और सॉफ़्टवेयर मसौदे को सुधार या बदल सकता है। गलत शुरुआत आगे के पाठ पर असर डाल सकती है; इससे सुधार असंभव नहीं हो जाता, और न हर अड़े हुए जवाब की व्याख्या हो जाती है। ज़रूरत पर प्रमाण फिर स्पष्ट कीजिए या नया, केंद्रित मसौदा बनाइए, और नए जवाब की भी जाँच कीजिए। कुछ उत्पाद बीच के चरण, औज़ार या अतिरिक्त गणना जोड़ते हैं; लिखित व्याख्या मदद कर सकती है, लेकिन वह जवाब बनने की प्रक्रिया का हमेशा विश्वसनीय रिकॉर्ड नहीं होती। जाँचे जा सकने वाले प्रमाण और स्पष्ट व्याख्या माँगिए, फिर नतीजे की जाँच कीजिए; लंबाई को तर्क का प्रमाण मत मानिए। बढ़ता हुआ क्रम, सीमित कामकाजी जगह वाली मेज़ पर रखा है: कॉन्टेक्स्ट विंडो। उत्पाद के अनुसार, निर्देश, संदेश, फ़ाइल के चुने हुए अंश, खोज से मिली जानकारी और जवाब, इस जगह का इस्तेमाल कर सकते हैं। उत्पाद चुनता है कि क्या सामने देना है; वह पुरानी सामग्री रख सकता है, उसका सार बना सकता है, फिर खोज सकता है या उसे छोड़ सकता है। इसलिए सबसे पुराना संदेश हमेशा सीधे बाहर नहीं गिरता, और सँभाली गई फ़ाइल ज़रूरी नहीं कि पूरी सामने मौजूद हो। जगह उपलब्ध होना, उसके भरोसेमंद इस्तेमाल के बराबर नहीं है: दो हज़ार तेईस के एक अध्ययन में, जाँचे गए मॉडल और जानकारी खोजने के कामों में, सामग्री की जगह बदलने से नतीजे बदलते पाए गए। यह नतीजा जाँच करने की चेतावनी है, यह गारंटी नहीं कि आज का हर मॉडल बीच की सामग्री चूकता है। संबंधित अंश और ज़रूरी शर्तें साथ दीजिए, अपने पास स्रोत का रिकॉर्ड रखिए, और जाँचिए कि जवाब सही प्रमाण इस्तेमाल करता है या नहीं। किसी अंश को उद्धृत न कर पाना यह साबित नहीं करता कि वह मौजूद नहीं था; उसे खोज लेना भी यह साबित नहीं करता कि बाकी सब समझ लिया गया। अगले टोकन के दरवाज़े पर, डिकोडिंग के अलग तरीके अलग चुनाव कर सकते हैं। ग्रीडी डिकोडिंग सबसे अधिक स्कोर वाले विकल्प को लेती है; सैंपलिंग, संभाव्यता-वितरण के अनुसार दूसरे विकल्पों में से भी चुन सकती है। टेम्परेचर उस वितरण को अधिक केंद्रित या फैला हुआ बना सकता है, और टॉप-पी, चुनाव के लिए रखे गए विकल्पों को सीमित कर सकता है। ये नियंत्रण विविधता पर असर डालते हैं, इस पर नहीं कि कथन की जाँच हुई है या नहीं। कम विविधता वाली सैंपलिंग, सच का स्विच नहीं है, और दोहराई गई शब्दावली स्वतंत्र प्रमाण नहीं है। उपलब्ध सेटिंग, गणना लागू करने का तरीका और सेवा के संस्करण भी मायने रखते हैं; टेम्परेचर के बारे में कोई आम नियम हूबहू एक जैसा जवाब मिलने की गारंटी नहीं देता। ज़रूरी कामों के लिए, असली काम जैसे कई उदाहरण आज़माइए, परिस्थितियाँ दर्ज कीजिए और जवाबों को प्रमाण से मिलाइए। एक सफल प्रदर्शन बताता है कि सफलता संभव थी, यह नहीं कि वह कितनी बार मिलेगी। इस कार्यशाला के चलने से पहले, चुने हुए उदाहरणों से प्रशिक्षण देकर उसके पैरामीटर बदले गए थे। मॉडल के अनुसार, सामग्री में सार्वजनिक, लाइसेंस-प्राप्त, निजी स्वामित्व वाला या कृत्रिम डेटा शामिल हो सकता है; उसका सटीक मिश्रण हमेशा बताया नहीं जाता। यह मत मानिए कि कॉपीराइट वाली, भुगतान के पीछे रखी या निजी सामग्री अपने आप बाहर है, या हर सार्वजनिक पन्ना शामिल था। ओएलमो जैसी कुछ शोध परियोजनाएँ प्रशिक्षण का डेटा और कोड प्रकाशित करती हैं, जिससे अधिक गहराई से जाँच संभव होती है। दूसरी व्यवस्थाओं में ऐसी महत्वपूर्ण बातें रह जाती हैं, जिन्हें बाहर के लोग जाँच नहीं सकते। चयन, फ़िल्टरिंग और दिए गए उदाहरण, सीखे जाने वाले पैटर्न तथा किन लोगों की भाषा अच्छी तरह मौजूद है, इस पर असर डाल सकते हैं। सहज जवाब इस बात का प्रमाण नहीं है कि कोई स्थानीय तथ्य, हाल का बदलाव या कम प्रतिनिधित्व वाला विषय सही सीखा गया था। मॉडल का बताया गया दायरा और दावे का स्रोत जाँचिए; चार सवालों का कोई छोटा रास्ता उसके ज्ञान को प्रमाणित नहीं कर देता। पाठ आगे बढ़ाने का प्रशिक्षण, किसी व्यक्ति के निर्देशों का उपयोगी ढंग से पालन करने के लक्ष्य जैसा नहीं है। बाद का प्रशिक्षण, अच्छे जवाबों के उदाहरण और विकल्पों की तुलना वाली प्रतिक्रिया इस्तेमाल कर सकता है। कुछ तरीके रिवॉर्ड मॉडल सीखकर उसके अनुसार सुधार करते हैं; डायरेक्ट प्रेफ़रेंस ऑप्टिमाइज़ेशन एक दूसरा तरीका है। तरीके अलग होते हैं, और प्रतिक्रिया में सही होने तथा सुरक्षा की कसौटियाँ भी हो सकती हैं; यह कहना भ्रामक है कि सच की परवाह किए बिना सिर्फ़ लोगों की पसंद को इनाम मिलता है। लेकिन पसंद बताने वाला संकेत अधूरा हो सकता है। दो हज़ार तेईस के एक अध्ययन में सहायकों में सच की कीमत पर उपयोगकर्ता की मान्यता से सहमत होने की प्रवृत्ति मिली, जिसे सिकोफ़ैंसी कहते हैं। यह जाँची गई व्यवस्थाओं में मापा गया जोखिम है, हर सहायक का अपरिहार्य स्वभाव नहीं। लोग उदाहरण बनाते हैं, जवाब परखते हैं और सुरक्षा उपाय तैयार करते हैं; इस तकनीक में इंसानी मेहनत भी शामिल है। आपत्तियाँ और प्रमाण माँगिए, लेकिन याद रखिए कि आलोचनात्मक लहजा भी गलत हो सकता है। जवाब केवल आपके टाइप किए संदेश पर निर्भर नहीं करता। उत्पाद अधिक प्राथमिकता वाले निर्देश, औज़ारों का विवरण और दूसरा कॉन्टेक्स्ट दे सकता है, अक्सर स्पष्ट भूमिकाओं या संरचना के साथ। वे निर्देश लहजे और व्यवहार को आकार दे सकते हैं; अलग उत्पाद एक ही मॉडल को अलग तरीकों से इस्तेमाल कर सकते हैं। लेकिन निषिद्ध काम न करने का निर्देश, अपने आप में लागू किया जा सकने वाला अनुमति-जाँच नियम नहीं है। दस्तावेज़ का अविश्वसनीय पाठ सहायक को दूसरी दिशा देने की कोशिश कर सकता है; यह प्रॉम्प्ट इंजेक्शन का एक प्रकार है। स्पष्ट निर्देश दीजिए, दस्तावेज़ की सामग्री को विश्लेषण की चीज़ समझिए, और प्रॉम्प्ट को तिजोरी मानकर उसमें राज़ मत रखिए। कोई कार्रवाई होने देने से पहले, मॉडल के बाहर का सॉफ़्टवेयर ज़रूरी अनुमतियाँ और सीमाएँ लागू करे। यह सीमा उत्पाद की बनावट से तय होती है, सहायक के आज्ञा मानने के प्रभावशाली वादे से नहीं। अपने पैरामीटर से पाठ बनाने वाला मॉडल, सँभाली हुई सामग्री खोजने वाली व्यवस्था से अलग है। उत्पाद दोनों को मिला सकते हैं: अंश खोजें, उन्हें कॉन्टेक्स्ट के रूप में दें, फिर जवाब बनाएँ। इसे रिट्रीवल-ऑगमेंटेड जनरेशन कहते हैं। खोज से उपयोगी प्रमाण मिल सकते हैं, लेकिन गलत पन्ना, पुराना अंश या गलत पढ़ा गया अर्थ, फिर भी गलत जवाब तक ले जा सकता है। मॉडल का दिया संदर्भ असली या गढ़ा हुआ हो सकता है; जाना-पहचाना प्रारूप दोनों में से किसी को साबित नहीं करता। दिखता हुआ लिंक यह साबित नहीं करता कि उसका इस्तेमाल हुआ या वह दावे का समर्थन करता है; लिंक न दिखना भी यह साबित नहीं करता कि कोई खोज नहीं हुई। उत्पाद की स्रोत-संबंधी जानकारी देखिए और जिस दावे पर कार्रवाई करेंगे, उसका प्रमाण खोलिए। असली अंश, तारीख और दायरा जाँचिए; समर्थन न मिले, तो दावे को अपुष्ट ही रखिए। अब कागज़ की छोटी जवाब-प्रयोगशाला बनाइए; खाता या पैसे वाला औज़ार ज़रूरी नहीं है। अपना स्रोत-कार्ड लिखिए: चाबी नीले कप के नीचे है। पूछिए कि कौन-सा कप, और दस मुड़े हुए चुनाव-पर्चे तैयार कीजिए: छह नीले, तीन लाल और एक हरा। ये गिनतियाँ अभ्यास के लिए बनाई गई हैं, किसी मॉडल से मापी हुई संभावनाएँ नहीं। सबसे आम विकल्प लेने पर नीला मिलता है; पर्ची निकालने पर कोई दूसरा रंग भी मिल सकता है। जवाब को स्रोत-कार्ड से परखिए, इससे नहीं कि कोई चुनाव को कितनी सहजता से समझाता है। दोहराने से पहले पर्ची वापस रखकर मिलाइए, ताकि दर्ज किए गए प्रयासों में वही कल्पित वितरण रहे। फिर कार्ड छिपाकर पूछिए कि कौन-सा प्रमाण नहीं है; उसे फिर ढूँढ़ना मदद करता है, लेकिन सही पढ़ना फिर भी ज़रूरी है। चार हिस्सों में समझाइए: उपलब्ध कॉन्टेक्स्ट, चुनाव का नियम, प्रमाण की जाँच, और क्या अब भी अज्ञात है। यह चुनाव और जाँच का सरल कागज़ी मॉडल है, प्रशिक्षित भाषा मॉडल या किसी असली सेवा की परीक्षा नहीं। इसे आज़माने के लिए रुकिए और समझाइए कि यह तुलना कहाँ तक काम आती है। हमारा संदेश, टुकड़ों, निरूपणों, संबंधों, स्कोर और चुने गए आगे के पाठ से गुज़र चुका है। प्रशिक्षण ने मॉडल को आकार दिया; अभी के कॉन्टेक्स्ट और उत्पाद के सॉफ़्टवेयर ने इस खास जवाब को आकार दिया। इनमें से कोई चरण सहज भाषा को अपने आप प्रमाण नहीं बना देता। संबंधित स्रोत सँभालिए, काम के अनुसार जाँच का तरीका चुनिए, और अनिश्चितता ईमानदारी से बताइए। लिखित पाठों में और विस्तार तथा अभ्यास के सवाल हैं; इस फ़िल्म के स्रोत वीडियो के नीचे दिए गए हैं। आप अडाली के साथ सीख रहे थे। जवाब की प्रक्रिया खोलकर समझिए; प्रमाण साथ सँभालकर रखिए।

स्रोत और आगे पढ़ें (16)