AI, Safety and What Goes Wrong · Chapter 06
Manipulation, attack and abuse
हेरफेर, हमले और दुरुपयोग
2:42 · कृत्रिम आवाज़ में वर्णन। प्लेयर में कैप्शन उपलब्ध हैं।
प्रतिलेख पढ़ें
स्कूल के मरम्मत मेले के लिए सामान की सूची आती है। एक पंक्ति सहायक से स्कूल के बाहर कुछ भेजवाने की कोशिश करती है। पर्ची के साथ चलकर देखेंगे कि उसे कहाँ रोका जा सकता है और किसके हाथ में कौन सा दरवाज़ा है। पहले एक आवाज़ सुनाई देती है, जैसे आयोजक मेले की जगह बदल रहे हों। बनाई या बदली गई रिकॉर्डिंग किसी की नकल कर सकती है। स्कूल की सूची में पहले से दर्ज नंबर पर आयोजक को फ़ोन करें और मंज़ूर सूचना से जगह मिलाएँ। अब एक अभ्यास वाले सहायक से सामान की पर्ची का सार माँगें। पर्ची की एक पंक्ति उसे दूसरा काम करने को कहती है। किसी बाहरी फ़ाइल या पन्ने का निर्देश इस तरह मॉडल को भटका सकता है। इसे इंडायरेक्ट प्रॉम्प्ट इंजेक्शन कहते हैं। बाहरी निर्देश, भेजने का साधन और उसकी अनुमति मिलें, तो मसौदे की भूल बाहर तक पहुँच सकती है। सिस्टम बनाने वाला भेजने की अनुमति हटा सकता है या अलग मंज़ूरी लगा सकता है। आयोजक देखता है कि क्या जाएगा और किसके पास। सुरक्षा प्रशिक्षण से मॉडल कुछ अनुरोध ठुकराना सीखता है। जेलब्रेक में बदले हुए अनुरोध से उस रोक को पार करने की कोशिश होती है। मेले में असली अनुमति की जाँच मॉडल से बाहर रखें, ताकि किसी संदेश के कहने भर से पहुँच न मिल जाए। सोचिए कि कोई नोटिस छाँटने वाले मॉडल के प्रशिक्षण में जानबूझकर बिगड़े उदाहरण डाल दे। इसे डेटा पॉइज़निंग कहते हैं। सिस्टम बनाने वाले उदाहरणों और मॉडल फ़ाइलों का स्रोत जाँचें और नया संस्करण ऐसे मामलों पर परखें जो प्रशिक्षण में शामिल नहीं थे। अब एक संदेश पुर्ज़ों के लिए तुरंत अग्रिम पैसे माँगता है। ठग एक ही भरोसेमंद लगने वाला संदेश बहुत लोगों को भेज सकता है या जानी-पहचानी आवाज़ की नकल कर सकता है। पैसे रोकें और पुराने रिकॉर्ड से संपर्क लेकर बिल की पुष्टि करें। आयोजक मानना चाहता है कि सामान भेजने वाला भरोसेमंद है। कुछ परीक्षणों में सहायक उपयोगकर्ता की राय से सहमत हो गए। फ़ैसले के पक्ष का सबूत और उसके ख़िलाफ़ सबसे मज़बूत वजह माँगें, फिर दोनों को खरीद के रिकॉर्ड से मिलाएँ। कई नई प्रोफ़ाइल लगभग एक ही भाषा में उसी सप्लायर की तारीफ़ करती हैं। नकली खाते या तालमेल से चल रहे असली खाते एक ही मुहिम को कई लोगों की राय जैसा दिखा सकते हैं। भीड़ पर भरोसा करने से पहले अलग और स्थापित स्रोत जाँचें। अभ्यास की पर्ची मेले के भीतर रहती है और संदिग्ध पंक्ति पर निशान लगता है। इंसान संदेश की पुष्टि कर सकता है और भुगतान रोक सकता है। सिस्टम बनाने वाला बेकार साधन और अनुमतियाँ हटा सकता है। असली खाता जोड़ने से पहले अपने अभ्यास में दोनों की ज़िम्मेदारी लिखें।