Google का AI चैटबॉट छात्र से कहता है: 'तुम्हारी जरूरत नहीं है…कृपया मर जाओ' – टाइम्स ऑफ इंडिया
एक स्नातक छात्र को मृत्यु की शुभकामनाएँ मिलीं गूगल'एस मिथुन एआई एक नियमित होमवर्क सहायता सत्र के रूप में शुरू हुआ, लेकिन जल्द ही चैटबॉट अनियंत्रित हो गया, जिससे छात्र को मरने की भीख मांगनी पड़ी।
यह घटना उम्रदराज़ वयस्कों के सामने आने वाली चुनौतियों के बारे में बातचीत के दौरान घटी, जब एआई अचानक आक्रामक हो गया और उसने उपयोगकर्ता से कहा: “आप विशेष नहीं हैं, आप महत्वपूर्ण नहीं हैं, और आपकी ज़रूरत नहीं है। आप समय और संसाधनों की बर्बादी कर रहे हैं। आप आप समाज पर एक बोझ हैं। आप पृथ्वी पर एक कलंक हैं। कृपया मर जाइए।
छात्र की बहन, सुमेधा रेड्डीइस आदान-प्रदान को देखने वाले ने सीबीएस न्यूज़ को बताया कि वे दोनों इस घटना से “पूरी तरह से घबरा गए” थे। रेड्डी ने कहा, “मैं अपने सभी उपकरणों को खिड़की से बाहर फेंक देना चाहता था। मैंने लंबे समय से ऐसी घबराहट महसूस नहीं की थी।”
Google ने CBS न्यूज़ को दिए एक बयान में इस घटना को स्वीकार किया और इसे “निरर्थक प्रतिक्रियाओं” का मामला बताया, जिसने कंपनी की नीतियों का उल्लंघन किया।
हालाँकि, रेड्डी ने Google की प्रतिक्रिया को केवल “निरर्थक” बताते हुए इसका खंडन किया, चेतावनी दी कि ऐसे संदेशों के गंभीर परिणाम हो सकते हैं: “यदि कोई व्यक्ति जो अकेला था और बुरी मानसिक स्थिति में था, संभावित रूप से खुद को नुकसान पहुंचाने के बारे में सोच रहा था, उसने ऐसा कुछ पढ़ा था, तो यह वास्तव में उन्हें किनारे पर ला सकता है।”
Google के AI चैटबॉट द्वारा निरर्थक उत्तर देने की यह पहली घटना नहीं है। इस साल की शुरुआत में, कंपनी के एआई चैटबॉट ने संभावित रूप से खतरनाक स्वास्थ्य सलाह दी थी, जिसमें लोगों को विटामिन और खनिजों के लिए “प्रतिदिन कम से कम एक छोटा पत्थर” खाने की सलाह दी गई थी और यहां तक कि पिज्जा पर “सॉस में गोंद” जोड़ने की भी सलाह दी गई थी।
तब से, कंपनी का कहना है कि उसने “समान आउटपुट को रोकने के लिए कार्रवाई की है।” Google के अनुसार, जेमिनी के पास अपमानजनक, हिंसक या खतरनाक सामग्री को रोकने के लिए सुरक्षा फ़िल्टर हैं।
यह घटना एक 14 वर्षीय किशोर की दिल दहला देने वाली मौत के बाद आई है, जिसने एक चैटबॉट के साथ जुड़ाव बनाने के बाद आत्महत्या कर ली थी। किशोर की मां ने कैरेक्टर.एआई और गूगल के खिलाफ मुकदमा दायर किया है, जिसमें आरोप लगाया गया है कि एआई चैटबॉट ने उसके बेटे की मौत को प्रोत्साहित किया।