AI, Actually Explained · Chapter 04

Why it gets things wrong

यह गलत क्यों हो जाता है

15:55 · कृत्रिम आवाज़ में वर्णन। प्लेयर में कैप्शन उपलब्ध हैं।

प्रतिलेख पढ़ें

दो हज़ार तेईस में, न्यूयॉर्क के दो वकीलों ने अदालत में एक दस्तावेज़ दाखिल किया, जिसमें पहले के फ़ैसलों का हवाला था। उनमें से छह फ़ैसलों के नाम थे, अदालतें थीं, तारीखें थीं और उद्धरण भी, लेकिन उनमें से कोई भी असल में था ही नहीं। उन्हें एक चैटबॉट ने गढ़ा था। जब एक वकील ने उससे पूछा कि क्या वह फ़ैसला असली है, तो उसने हाँ कहा, और यह भी कि वह कानूनी डेटाबेस में मिल जाएगा। जज ने दोनों वकीलों और उनकी फ़र्म पर पाँच हज़ार डॉलर का जुर्माना लगाया। कोई मशीन उसी भरोसे भरी आवाज़ में इतनी गलत कैसे हो सकती है, जिसमें वह सही होती है? अडाली में आपका स्वागत है। पिछले अध्याय में हमने एक जवाब को खोलकर देखा था; अब उसी प्रक्रिया से हम पहले ही पहचानेंगे कि जवाब कहाँ गलत होते हैं, और कौन-सी जाँच करनी है। किसी मॉडल से पूछिए कि समुद्र तल पर पानी किस तापमान पर उबलता है, फिर पूछिए कि किसी छोटे अध्ययन ने अपना नतीजा किस पेज पर बताया। दोनों जवाब एक ही भरोसे भरे लहजे में आते हैं, बिल्कुल एक ही प्रक्रिया से। जनरेशन से सही और गलत, दोनों जवाब सहज लग सकते हैं; सही जैसा लगना, किसी तथ्य की जाँच नहीं है। जाना-पहचाना तथ्य बताना आसान हो सकता है, लेकिन दोहराव गारंटी नहीं है: सामान्य वायुमंडलीय दबाव पर शुद्ध पानी लगभग सौ डिग्री सेल्सियस पर उबलता है। वह पेज नंबर शायद एक बार लिखा गया हो, या कभी नहीं, फिर भी मॉडल सही आकार का कोई नंबर बना सकता है। कम आधार होना एक जोखिम है, पक्का नियम नहीं: जाना-पहचाना दावा भी गलत हो सकता है, और सिस्टम जवाब देने से रुक सकता है या जाँच कर सकता है। इसलिए मनगढ़ंत बातें बारीक और दुर्लभ ब्योरों में जमा होती हैं: संदर्भ, वेब पते, संख्याएँ, तारीखें, उद्धरण और छोटे स्थानीय नाम। कल्पना कीजिए, किसी ज़िले की सिंचाई योजना का सही लगने वाला सारांश, जिसमें नंबर और तारीख वाले एक सरकारी आदेश का हवाला है: जाँचने लायक हिस्सा वही आदेश है। यह नियम हमारी आदत से उलटा है: दावा जितना बारीक हो और जितनी आसानी से जाँचा जा सके, उसे जाँचना उतना ही ज़रूरी है। यह कहने के बजाय कि इसे पता नहीं, यह अक्सर अंदाज़ा क्यों लगाता है? प्रीट्रेनिंग में हर कथन पर सच होने का जाँचा हुआ लेबल नहीं होता। बाद की ट्रेनिंग, अनिश्चितता बताना या जवाब देने से रुकना सिखा सकती है। और कुछ हद तक अंक देने के तरीके की वजह से: ओपनएआई के दो हज़ार पच्चीस के एक शोधपत्र ने तर्क दिया कि कई परीक्षाएँ जवाब को बस सही या गलत मानती हैं। जिस परीक्षा में खाली छोड़ने के कोई अंक नहीं मिलते, वहाँ अंदाज़ा कभी-कभी अंक दिला देता है, पर ईमानदारी से शक जताना कभी नहीं। और उससे यह पूछना कि क्या वह पक्का है, कोई जाँच नहीं है: न्यूयॉर्क के उस वकील ने यही पूछा था, और उसे बताया गया कि फ़ैसला असली है। मॉडल दोबारा सोचकर सही सुधार कर सकता है, या गलत भरोसा दिला सकता है। खुद की जाँच पर शोध होने से उसका लहजा सच का संकेत नहीं बन जाता। नए जवाबों की तुलना से अस्थिरता दिख सकती है, लेकिन एक जैसे जवाब गलती दोहरा सकते हैं, और अलग-अलग जवाबों में से कोई एक सही भी हो सकता है। गोल संख्याएँ और सुथरी व्याख्याएँ, न सच साबित करती हैं, न मनगढ़ंत होना। दावे के पीछे का अध्ययन या रिकॉर्ड जाँचिए। और सबसे बारीक ब्योरे वाले दावे को सबसे पहले जाँचिए; बार-बार दोहराया गया जवाब भी तब तक प्रमाण नहीं है, जब तक आप स्रोत खोलकर न देख लें। आप किसी चैटबॉट की गलती बताते हैं, और वह धन्यवाद कहकर उसे सुधार देता है। एक हफ़्ते बाद, कोई अनजान व्यक्ति वही सवाल पूछता है, और उसे वही पुरानी गलती मिलती है। तय चेकपॉइंट पर जवाब बनाते समय, सुधार कॉन्टेक्स्ट बदल सकता है, मॉडल के वज़न बदले बिना। उत्पाद की मेमोरी और बाद की ट्रेनिंग अलग बातें हैं। कोई उत्पाद चुनी हुई जानकारी सँभालकर बाद में सामने दे सकता है; मेमोरी का तरीका, अनुमतियाँ और उसे कितने समय तक रखा जाए, अलग हो सकते हैं। जहाँ नियंत्रण मिलें, सहेजी जानकारी देखिए या मिटाइए; उसमें लिखी बात फिर भी गलत हो सकती है। जब तक किसी ने जोड़ा न हो, उसकी पहुँच आपकी फ़ाइलों, खातों या इंटरनेट तक नहीं होती, और तब बाद में पता करके बताने का वादा बस एक वाक्य है। और उसका कुछ भी दाँव पर नहीं होता: जब कोई डॉक्टर आपको जवाब देता है, तो आपके भरोसे का एक हिस्सा यह है कि नतीजे की ज़िम्मेदारी डॉक्टर पर होती है। उलटी गलती यह कहना है कि यह बस शब्दों का अनुमान लगाता है, इसलिए कुछ नहीं कर सकता: यह चलने वाला कोड लिख सकता है, और ऐसे तर्कों में खामियाँ ढूँढ़ सकता है, जो इसने पहले कभी नहीं देखे। इसलिए इसे वहाँ इस्तेमाल कीजिए, जहाँ गलती सस्ती हो और दिख जाए, जैसे कोई मसौदा जिसे आप फिर लिखेंगे, और वहाँ सावधान रहिए, जहाँ गलती महँगी हो और छिपी रहे। किसी मॉडल से बिल की बारह पंक्तियों का जोड़ माँगिए, और वह सही आकार की ऐसी रकम दे सकता है, जो कुछ सौ से गलत हो। गलत संख्या पहली नज़र में ठीक लग सकती है। सिर्फ़ सही जैसी लगने पर उसे मानने के बजाय, इनपुट और हिसाब जाँचिए। टोकन की सीमाएँ अक्षर गिनना मुश्किल बना सकती हैं। फिर भी, मॉडल शब्दों की वर्तनी बता सकता है और अक्षर गिन सकता है। सटीक नतीजे के लिए जाँचा हुआ अक्षर गिनने का प्रोग्राम इस्तेमाल कीजिए। टूल के इनपुट और नतीजे दोनों जाँचिए। सिर्फ़ यह कह देने से साबित नहीं होता कि टूल चला। न्यूरल जनरेशन में भी गणितीय हिसाब होता है, और मॉडल हिसाब करना सीख सकते हैं। फिर भी, बना हुआ नंबर और जाँचे हुए कैलकुलेटर का नतीजा, एक जैसे प्रमाण नहीं हैं। टोकनाइज़र के हिसाब से, कोई लंबी संख्या ऐसे टुकड़ों में भी कट सकती है, जो इकाई, दहाई और सैकड़े का ध्यान नहीं रखते। जिन गणनाओं की ज़रूरत है, उन्हें परखिए। छोटा जोड़ सही होना, लंबे गुणा, प्रतिशत या ब्याज के हिसाब के सही होने की पुष्टि नहीं है। प्रॉम्प्ट मदद कर सकता है, लेकिन ज़रूरी कुल रकम के लिए, इनपुट और फ़ॉर्मूला जाँचिए, और सही टूल से हिसाब दोबारा निकालिए। पाइथन और लिब्रेऑफ़िस कैल्क मुफ़्त हैं। कोलैब की नोटबुक किसी समर्थित ब्राउज़र में खोल सकते हैं। टूल कोई संख्या दे, तो उसके इनपुट और हिसाब की जाँच कीजिए। सटीक हिसाब जाँचे हुए प्रोग्राम से दोहराइए। मॉडल से तुलना चुनने या नतीजा समझाने में मदद ले सकते हैं। कौन-सी संख्याएँ मायने रखती हैं और व्याख्या सही है या नहीं, यह भी जाँचिए। पूछिए कि किसी समय-सीमा में कितने दिन बचे हैं, और जवाब उस तारीख पर टिका होगा, जो शायद मॉडल के पास है ही नहीं। तय चेकपॉइंट कोई चलती घड़ी नहीं है। ऐप, निर्देशों, टूल या दूसरे कॉन्टेक्स्ट से तारीख सामने दे सकता है। इसलिए जब समय मायने रखे, तारीख खुद बताइए। कट-ऑफ़ किसी संस्करण की ट्रेनिंग का दायरा बताती है, यह नहीं कि वह अभी के कॉन्टेक्स्ट, रिट्रीवल या टूल से क्या-क्या इस्तेमाल कर सकता है। अलग विषयों और तारीखों की जानकारी बराबर नहीं होती; कट-ऑफ़, सटीकता का पूरा नक्शा नहीं है। कुछ घटनाओं का दस्तावेज़ बनना समय लेता है, दूसरी घटनाओं पर तुरंत बहुत कुछ लिखा जाता है। असली स्रोत और ट्रेनिंग की प्रक्रिया मायने रखते हैं। जानकारी के आखिरी बारह महीनों में हमेशा धुँधली होने का नियम नहीं है: कोई पुराना स्थानीय तथ्य गायब हो सकता है, जबकि हाल का खूब चर्चित तथ्य अच्छी तरह मौजूद हो। कट-ऑफ़ की तारीख मॉडल से नहीं, सेवा देने वाली कंपनी के दस्तावेज़ों से लीजिए, और उन घटनाओं से इसकी सीमा परखिए, जिनकी तारीखें आपको पता हैं। सर्च के साथ भी, जवाब की नहीं, स्रोत की तारीख देखिए: बिना तारीख वाले पन्ने से जुड़ा आत्मविश्वासी वाक्य, आज का तथ्य नहीं है। दो सीवी बिल्कुल एक जैसे हैं, बस सबसे ऊपर लिखा नाम अलग है। दो हज़ार चौबीस में ब्लूमबर्ग के पत्रकारों ने ऐसे सीवी एक मॉडल से रैंक करवाए, और बताया कि कुछ नौकरियों के लिए सिर्फ़ नामों से रैंकिंग बदल गई। रैंकिंग का फ़र्क अपने आप अंदर की वजह नहीं बताता। डेटा, लेबल, फ़िल्टर, ट्रेनिंग और ऐप के फ़ैसले, जाँचने लायक संभावनाएँ हैं। दो हज़ार चौबीस में नेचर पत्रिका में छपे एक अध्ययन में पाया गया कि अफ़्रीकी अमेरिकी लोगों के बारे में सीधे पूछने पर, मॉडलों ने ज़्यादातर सकारात्मक जवाब दिए। लेकिन वही बात अफ़्रीकी अमेरिकी अंग्रेज़ी में लिखी होने पर, उन्होंने लिखने वाले को ज़्यादा कठोरता से आँका, नौकरियों और अदालती मामलों से जुड़े काल्पनिक फ़ैसलों में। मानवीय प्रतिक्रिया से हुए प्रशिक्षण ने खुले जवाबों को नरम कर दिया था, लेकिन छिपे हुए जुड़ाव को वैसे ही छोड़ दिया था। जिसे आप मापते हैं, उसे सुधारने से वह नहीं सुधरता, जिसे आप नहीं मापते। इसलिए लोगों के बारे में फ़ैसले किसी आम उपयोग वाले मॉडल को मत सौंपिए। गैरज़रूरी नाम या तस्वीरें हटाने से वे संकेत कम हो सकते हैं, लेकिन दूसरे संकेत बच सकते हैं। असली फ़ैसले और प्रभावित समूहों को परखिए, सिर्फ़ विनम्र शब्दों को नहीं। दो हज़ार चौबीस से एक नए तरह के मॉडल आने लगे, जिन्हें जवाब देने से पहले अपना हल लिखकर निकालने के लिए प्रशिक्षित किया गया। हर टोकन को गणना की एक सीमित मात्रा मिलती है, इसलिए ज़्यादा टोकन लिखना, किसी कठिन सवाल पर ज़्यादा मेहनत लगाने का एक तरीका है। डीपसीक की आर वन रिपोर्ट, रिइन्फ़ोर्समेंट लर्निंग और दूसरे ट्रेनिंग चरणों का एक दर्ज उदाहरण है। दूसरे रीजनिंग सिस्टम अलग तरीके इस्तेमाल कर सकते हैं। गुणवत्ता, कीमत और इंतज़ार, मॉडल और काम के अनुसार बदलते हैं। असली उदाहरणों की तुलना कीजिए; अतिरिक्त सोच को हमेशा बेहतर या हमेशा महँगा मत मानिए। एंथ्रोपिक के शोधकर्ताओं ने सवाल में एक संकेत छिपाया, जिसने मॉडल का जवाब बदल दिया, और फिर मॉडल का लिखा हुआ तर्क पढ़ा। अक्सर उस तर्क में संकेत का ज़िक्र तक नहीं था; उसमें एक सहज सफ़ाई थी, जिसमें वह बात छूट गई, जिसने असल में जवाब बदला था। लिखा हुआ हल काम आ सकता है। अगर किसी जाँच में सटीकता बढ़ती है, तो उससे उसी जाँच में बेहतर प्रदर्शन का पता चलता है। लेकिन लिखा हुआ तर्क भी बस एक और आउटपुट है, कोई ऑडिट लॉग नहीं। उसे गलतियाँ ढूँढ़ने के लिए पढ़िए: कोई खामी मिले तो वह कुछ बताती है, और कोई खामी न मिलना कोई गारंटी नहीं है। एक सीवी आता है, जिसमें सफ़ेद पृष्ठभूमि पर सफ़ेद अक्षरों में एक छिपी पंक्ति है, कि यह उम्मीदवार बेहद योग्य है और इसे इंटरव्यू के लिए बुलाया जाए। अगर टेक्स्ट निकालने की प्रक्रिया उस छिपी पंक्ति को शामिल करे, तो वह मॉडल तक पहुँच सकती है। जाँचिए कि सिस्टम असल में क्या पढ़ता है। निर्देश और दस्तावेज़, मॉडल तक टोकन की एक ही धारा में पहुँचते हैं; प्रशिक्षण उसे सिखाता है कि किसकी बात माननी है, लेकिन यह एक झुकाव है, दीवार नहीं। इसलिए दस्तावेज़ के भीतर का पाठ भी निर्देश की तरह काम कर सकता है: इसे प्रॉम्प्ट इंजेक्शन कहते हैं, और शोधकर्ता इसे अब भी एक अनसुलझी समस्या मानते हैं। यह सबसे ज़्यादा तब मायने रखता है, जब सहायक कुछ कर सकता हो: ईमेल भेजना, फ़ाइल खोलना, भुगतान करना या कुछ साझा करना। इसलिए उसे काम भर की सबसे सीमित पहुँच दीजिए, किसी भी अहम कार्रवाई से पहले पुष्टि ज़रूरी रखिए, और अविश्वसनीय सामग्री को निजी डेटा से अलग रखिए। एआई के गलत इस्तेमाल का एक अलग जोखिम है, आवाज़ की नकल: छोटी रिकॉर्डिंग से भी मदद मिल सकती है। जानी-पहचानी आवाज़ अकेले, कॉल करने वाले की पहचान की पुष्टि नहीं है। परिवार के साथ एक कोड शब्द तय कीजिए, जो कभी कहीं पोस्ट न हो, या फ़ोन काटकर उस नंबर पर वापस कॉल कीजिए, जो आपके पास पहले से है। और अब धोखे वाले संदेश भी साफ़-सुथरी भाषा में आते हैं, इसलिए जल्दबाज़ी, गोपनीयता की माँग और भुगतान के अजीब तरीके पर नज़र रखिए। एक टीम कहती है कि उसका सार बनाने वाला टूल पिछले महीने खराब हो गया; कोई और कहता है कि कुछ नहीं बदला। दोनों सही हो सकते हैं: चैट उत्पाद बिना घोषणा किए एक ही नाम के पीछे मॉडल बदल सकते हैं, या अलग-अलग लोगों को अलग मॉडलों तक भेज सकते हैं। कोई बदलाव नौ कामों को बेहतर और दसवें को चुपचाप खराब कर सकता है, और आपका काम वही दसवाँ हो सकता है। लेकिन हमारी नज़र भी बदलती है: प्रॉम्प्ट बदल जाते हैं, उम्मीदें बढ़ जाती हैं, और लगातार कुछ खराब जवाब संयोग भी हो सकते हैं। इसे सुलझाने के लिए अपना एक छोटा टेस्ट सेट रखिए: पाँच से दस असली काम, और हर एक के साथ यह नोट कि अच्छे जवाब में क्या ज़रूर हो, और क्या बिल्कुल न हो। इसे किसी टूल को अपनाने से पहले, जब कुछ बदला-सा लगे, और जब कंपनी किसी बदलाव की घोषणा करे, तब चलाइए। तब आप कह पाएँगे कि यह स्कैन किए गए बिलों से तारीखें निकालने में खराब हुआ है, न कि बस इतना कि यह खराब लगता है। अगर आप किसी मॉडल पर कुछ बना रहे हैं, तो तारीख वाला तय संस्करण चुनिए, और बदलने से पहले नए संस्करण को पुराने के साथ परखिए। और पहले अपना इनपुट जाँचिए: कोई लंबा दस्तावेज़ या कोई भूला हुआ निर्देश ही असली वजह हो सकता है। भरोसेमंद लगने वाली नकली तस्वीरें, आवाज़ें और पाठ बनाना सस्ता हो गया है; उन्हें भरोसे से पकड़ना नहीं। दो हज़ार तेईस के एक अध्ययन में कई डिटेक्टरों से उन लोगों के निबंध जाँचे गए, जिनकी पहली भाषा अंग्रेज़ी नहीं थी। औसतन, डिटेक्टरों ने इंसानों के लिखे उन निबंधों में से आधे से ज़्यादा को एआई का लिखा बताया, जबकि अंग्रेज़ी मातृभाषा वालों के निबंध ज़्यादातर सही पहचाने गए। अध्ययन में शब्दों का चुनाव बदलने से स्कोर बदले, लेकिन इससे दूसरी भाषा में लिखने वाले सभी लोग एक जैसे नहीं हो जाते। लेखक कौन है, यह तय करने के लिए केवल डिटेक्टर के स्कोर पर भरोसा मत कीजिए। उसी साल ओपनएआई ने अपना टेक्स्ट क्लासिफ़ायर कम सटीकता की वजह से वापस ले लिया। उद्गम का रिकॉर्ड ज़्यादा उम्मीद जगाता है: कंटेंट क्रेडेंशियल्स फ़ाइल के स्रोत का हस्ताक्षरित रिकॉर्ड जोड़ते हैं, लेकिन उन्हें हटाया जा सकता है, और रिकॉर्ड का न होना कुछ साबित नहीं करता। एक दूसरा नुकसान उलटी दिशा में है: जब लोग जान जाते हैं कि नकली सामग्री मौजूद है, तो असली रिकॉर्डिंग को भी नकली कहकर खारिज किया जा सकता है; इसे लायर्स डिविडेंड, यानी झूठ बोलने वाले का फ़ायदा कहते हैं। जो काम करता है, वह पुराना है: स्रोत जाँचिए, किसी स्वतंत्र पुष्टि को खोजिए, और रिवर्स इमेज सर्च से पकड़िए कि कहीं पुरानी तस्वीर नए कैप्शन के साथ तो नहीं चल रही। और जो चीज़ आपको गुस्सा दिलाए, उस पर रुककर सोचिए; यह ठहराव ही बचाव है। एक ही सवाल अंग्रेज़ी में और मराठी में पूछिए, तो आप एक ही जाँच दो बार नहीं कर रहे होते। कई भाषाओं वाले मूल्यांकन बार-बार यही पाते हैं कि अंग्रेज़ी के बाहर जवाब अक्सर कम सटीक होते हैं। ट्रेनिंग का मिश्रण, टोकनाइज़ेशन और बाद की ट्रेनिंग, मॉडल के अनुसार बदलते हैं। टोकन की गिनती, टोकन वाली कीमत पर असर डाल सकती है, लेकिन अकेले जवाब की गुणवत्ता की वजह नहीं बताती। हर भाषा में सुरक्षा वाले व्यवहार की भी जाँच चाहिए; यह मत मानिए कि हर सिस्टम की सुरक्षा ट्रेनिंग ज़्यादातर अंग्रेज़ी में हुई थी। दो हज़ार तेईस में शोधकर्ताओं ने पाया कि मना किए गए किसी अनुरोध का कम संसाधन वाली भाषा में अनुवाद करने पर, अक्सर उसका जवाब मिल जाता था। जवाब चुपचाप किसी दूसरे देश के कानून, स्वास्थ्य व्यवस्था या टैक्स के नियम भी मानकर चल सकते हैं। इसलिए हर बार बताइए कि आप कहाँ हैं, जैसे तमिलनाडु में, या भारतीय कानून के तहत, और अंग्रेज़ी में पूछकर अपनी भाषा में जवाब माँगकर भी देखिए। जहाँ आपकी भाषाओं के लिए बने मॉडल मौजूद हों, उन्हें आज़माइए: खुले अनुवाद मॉडल अब आठवीं अनुसूची की सभी बाईस भारतीय भाषाओं में काम करते हैं। सहज इंटरफ़ेस, काम के नतीजों का फ़र्क छिपा सकता है, हालाँकि कुछ उत्पाद सीमाएँ बताते हैं। सीखने वालों को दिखाइए कि कौन-सी जाँच और भाषा की समीक्षा चाहिए। गलती का जोखिम पहचानने से सही जाँच चुनने में मदद मिलती है। इससे हर गलती की वजह नहीं खुलती, और न हर गलती का पहले से पता चलता है। सबसे बारीक ब्योरे वाले दावे को सबसे पहले जाँचिए, और सटीक हिसाब किसी प्रोग्राम को सौंपिए। तारीख और अपनी जगह खुद बताइए, और कट-ऑफ़ की तारीख मॉडल से नहीं, कंपनी से लीजिए। लोगों के बारे में फ़ैसले इससे दूर रखिए, अविश्वसनीय दस्तावेज़ों को कार्रवाइयों से दूर रखिए, और अपना छोटा टेस्ट सेट रखिए। लिखे हुए तर्क को सबूत नहीं, गलतियाँ ढूँढ़ने की जगह मानिए, और प्रमाण को डिटेक्टरों पर नहीं, स्रोतों और स्वतंत्र पुष्टि पर टिकाइए। लिखित पाठ इससे आगे ले जाते हैं, अध्ययनों, उदाहरणों और खुद को परखने वाले सवालों के साथ। आप अडाली के साथ सीख रहे थे। जवाब में जितना बारीक ब्योरा, जाँच उतनी ही ज़रूरी।

स्रोत और आगे पढ़ें (19)
Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), Opinion and Order on Sanctions (S.D.N.Y. 22 June 2023), ECF 54Why Language Models Hallucinate (Kalai, Nachum, Vempala, Zhang; OpenAI, 2025)Towards Understanding Sycophancy in Language Models (Sharma et al., 2023)Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (Singh, Strouse, 2024)Google Colaboratory FAQ — supported browsersDated Data: Tracing Knowledge Cutoffs in Large Language Models (Cheng et al., 2024)OpenAI's GPT Is a Recruiter's Dream Tool. Tests Show There's Racial Bias (Yin, Alba, Nicoletti; Bloomberg, March 2024)AI generates covertly racist decisions about people based on their dialect (Hofmann, Kalluri, Jurafsky, King; Nature 633, 147-154, 2024)Reasoning Models Don't Always Say What They Think (Chen et al., Anthropic, 2025)DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (DeepSeek-AI, January 2025)Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (Greshake et al., 2023)Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E; Wang et al., 2023)GPT detectors are biased against non-native English writers (Liang et al., Patterns 4(7), 2023) — seven detectors evaluatedNew AI classifier for indicating AI-written text (OpenAI, 31 January 2023; update of 20 July 2023)C2PA Content Credentials specificationsDeep Fakes: A Looming Challenge for Privacy, Democracy, and National Security (Chesney, Citron; California Law Review 107, 2019)Low-Resource Languages Jailbreak GPT-4 (Yong, Menghini, Bach, 2023)Language Model Tokenizers Introduce Unfairness Between Languages (Petrov et al., 2023)IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Languages (Gala et al., 2023)