कैरेक्टर एआई बच्चों के लिए अपना चैटबॉट अनुभव समाप्त कर रहा है

किशोर यह पता लगाने की कोशिश कर रहे हैं कि उनसे पहले की किसी भी पीढ़ी की तुलना में तेज़ी से बदल रही दुनिया में वे कहाँ फिट बैठते हैं। वे भावनाओं से भरे हुए हैं, अति-उत्तेजित हैं और लगातार ऑनलाइन हैं। और अब, एआई कंपनियों ने उन्हें कभी भी बातचीत बंद न करने के लिए डिज़ाइन किए गए चैटबॉट दिए हैं। परिणाम विनाशकारी रहे हैं.

एक कंपनी जो इस नतीजे को समझती है वह है कैरेक्टर.एआई, एक एआई रोल-प्लेइंग स्टार्टअप जो कम से कम मुकदमों और सार्वजनिक आक्रोश का सामना कर रहा है। दो किशोर आत्महत्या से मर गया अपने प्लेटफॉर्म पर एआई चैटबॉट्स के साथ लंबी बातचीत के बाद। अब, कैरेक्टर.एआई किशोरों और बच्चों की सुरक्षा के लिए अपने प्लेटफॉर्म में बदलाव कर रहा है, ऐसे बदलाव जो स्टार्टअप की निचली रेखा को प्रभावित कर सकते हैं।

कैरेक्टर.एआई के सीईओ करणदीप आनंद ने टेकक्रंच को बताया, “पहली बात जो हमने कैरेक्टर.एआई के रूप में तय की है, वह यह है कि हम अपने प्लेटफॉर्म पर 18 साल से कम उम्र के उपयोगकर्ताओं के लिए एआई के साथ किसी भी ओपन-एंडेड चैट में शामिल होने की क्षमता को हटा देंगे।”

ओपन-एंडेड वार्तालाप से तात्पर्य अनियंत्रित आगे-पीछे से है जो तब होता है जब उपयोगकर्ता चैटबॉट को संकेत देते हैं और यह अनुवर्ती प्रश्नों का उत्तर देता है विशेषज्ञ कहते हैं उपयोगकर्ताओं को व्यस्त रखने के लिए डिज़ाइन किया गया है। आनंद का तर्क है कि इस प्रकार की बातचीत – जहां एआई एक रचनात्मक उपकरण के बजाय एक वार्तालाप भागीदार या मित्र के रूप में कार्य करता है – न केवल बच्चों के लिए जोखिम भरा है, बल्कि कंपनी के दृष्टिकोण के साथ गलत है।

स्टार्टअप “एआई साथी” से “रोल-प्लेइंग प्लेटफॉर्म” की ओर बढ़ने का प्रयास कर रहा है। एआई मित्र के साथ चैट करने के बजाय, किशोर सहयोगात्मक रूप से कहानियां बनाने या दृश्य उत्पन्न करने के लिए संकेतों का उपयोग करेंगे। दूसरे शब्दों में, लक्ष्य सहभागिता को बातचीत से सृजन की ओर स्थानांतरित करना है।

कैरेक्टर.एआई 25 नवंबर तक टीन चैटबॉट एक्सेस को चरणबद्ध तरीके से बंद कर देगा, जिसकी शुरुआत दो घंटे की दैनिक सीमा से होगी जो शून्य तक पहुंचने तक उत्तरोत्तर सिकुड़ती जाएगी। यह सुनिश्चित करने के लिए कि यह प्रतिबंध 18 से कम उम्र के उपयोगकर्ताओं के साथ बना रहे, प्लेटफ़ॉर्म एक इन-हाउस आयु सत्यापन उपकरण तैनात करेगा जो उपयोगकर्ता के व्यवहार का विश्लेषण करेगा, साथ ही पर्सोना जैसे तीसरे पक्ष के उपकरण भी। आनंद ने कहा, अगर वे उपकरण विफल हो जाते हैं, तो कैरेक्टर.एआई उम्र सत्यापित करने के लिए चेहरे की पहचान और आईडी जांच का उपयोग करेगा।

चाल दूसरे का अनुसरण करती है किशोर सुरक्षा जिसे कैरेक्टर.एआई ने लागू किया है, जिसमें पेरेंटल इनसाइट्स टूल, फ़िल्टर किए गए अक्षर, सीमित रोमांटिक बातचीत और समय व्यतीत करने वाली सूचनाएं शामिल हैं। आनंद ने टेकक्रंच को बताया है कि उन बदलावों से कंपनी ने अपना अधिकांश अंडर-18 उपयोगकर्ता आधार खो दिया है, और उन्हें उम्मीद है कि ये नए बदलाव भी उतने ही अलोकप्रिय होंगे।

आनंद ने कहा, “यह मान लेना सुरक्षित है कि हमारे बहुत से किशोर उपयोगकर्ता शायद निराश होंगे… इसलिए हमें उम्मीद है कि आगे भी कुछ मंथन होगा।” “यह अनुमान लगाना कठिन है – क्या वे सभी पूरी तरह से मंथन करेंगे या उनमें से कुछ इन नए अनुभवों की ओर बढ़ेंगे जिन्हें हम पिछले लगभग सात महीनों से बना रहे हैं?”

प्लेटफ़ॉर्म को चैट-केंद्रित ऐप से बदलने के लिए कैरेक्टर.एआई के प्रयास के हिस्से के रूप में “पूर्ण विकसित सामग्री-संचालित सामाजिक मंच,” स्टार्टअप ने हाल ही में कई नई मनोरंजन-केंद्रित सुविधाएँ लॉन्च की हैं।

जून में, कैरेक्टर.एआई ने अवतारएफएक्स लॉन्च किया, जो एक वीडियो जेनरेशन मॉडल है जो छवियों को एनिमेटेड वीडियो में बदल देता है; दृश्य, एक इंटरैक्टिव, पूर्व-आबादी वाली कहानी जहां उपयोगकर्ता अपने पसंदीदा पात्रों के साथ कथाओं में कदम रख सकते हैं; और स्ट्रीम्स, एक सुविधा जो किन्हीं दो वर्णों के बीच गतिशील इंटरैक्शन की अनुमति देती है। अगस्त में, कैरेक्टर.एआई ने सामुदायिक फ़ीड लॉन्च किया, एक सामाजिक फ़ीड जहां उपयोगकर्ता अपने पात्रों, दृश्यों, वीडियो और मंच पर बनाई गई अन्य सामग्री साझा कर सकते हैं।

18 वर्ष से कम आयु के उपयोगकर्ताओं को संबोधित एक बयान में, कैरेक्टर.एआई ने परिवर्तनों के लिए माफ़ी मांगी।

“हम जानते हैं कि आप में से अधिकांश लोग इसका उपयोग करते हैं चरित्र.एआई अपनी रचनात्मकता को उन तरीकों से सुपरचार्ज करने के लिए जो हमारे सामग्री नियमों की सीमा के भीतर रहें,” बयान में लिखा है। “हम ओपन-एंडेड कैरेक्टर चैट को हटाने के इस कदम को हल्के में नहीं लेते हैं – लेकिन हम सोचते हैं कि किशोरों को इस नई तकनीक के साथ कैसे बातचीत करनी चाहिए और कैसे बातचीत करनी चाहिए, इस बारे में उठाए गए सवालों को देखते हुए ऐसा करना सही बात है।”

आनंद ने कहा, “हम 18 साल से कम उम्र के लोगों के लिए ऐप बंद नहीं कर रहे हैं।” “हम केवल 18 साल से कम उम्र के लिए ओपन-एंडेड चैट को बंद कर रहे हैं क्योंकि हमें उम्मीद है कि 18 साल से कम उम्र के उपयोगकर्ता इन अन्य अनुभवों की ओर चले जाएंगे, और वे अनुभव समय के साथ बेहतर हो जाएंगे। इसलिए एआई गेमिंग, एआई लघु वीडियो, एआई स्टोरीटेलिंग को सामान्य रूप से दोगुना कर दिया गया है। अगर वे मंथन करते हैं तो 18 साल से कम उम्र के लोगों को वापस लाने के लिए हम यह बड़ा दांव लगा रहे हैं।”

आनंद ने स्वीकार किया कि कुछ किशोर ओपनएआई जैसे अन्य एआई प्लेटफार्मों पर आ सकते हैं, जो उन्हें चैटबॉट्स के साथ खुली बातचीत करने की अनुमति देते हैं। चैटजीपीटी के साथ लंबी बातचीत के बाद एक किशोर द्वारा अपनी जान लेने के बाद ओपनएआई भी हाल ही में आलोचनाओं के घेरे में आ गया है।

आनंद ने कहा, “मुझे वास्तव में उम्मीद है कि हमारा नेतृत्व उद्योग में एक मानक स्थापित करेगा कि 18 साल से कम उम्र के लोगों के लिए, ओपन-एंडेड चैट शायद पेश करने का रास्ता या उत्पाद नहीं है।” “हमारे लिए, मुझे लगता है कि समझौता करना सही है। मेरी एक छह साल की बच्ची है, और मैं यह सुनिश्चित करना चाहता हूं कि वह एआई के साथ एक जिम्मेदार तरीके से बहुत ही सुरक्षित माहौल में बड़ी हो।”

नियामकों द्वारा दबाव डालने से पहले कैरेक्टर.एआई ये निर्णय ले रहा है। मंगलवार को, सेंस जोश हॉले (आर-एमओ) और रिचर्ड ब्लूमेंथल (डी-सीटी) ने कहा कि वे करेंगे कानून पेश करें माता-पिता की शिकायतों के बाद, एआई चैटबॉट साथियों को नाबालिगों के लिए उपलब्ध होने से प्रतिबंधित कर दिया गया, जिन्होंने कहा कि उत्पादों ने उनके बच्चों को यौन बातचीत, आत्म-नुकसान और आत्महत्या की ओर धकेल दिया। इस महीने की शुरुआत में, कैलिफोर्निया एआई साथी चैटबॉट्स को विनियमित करने वाला पहला राज्य बन गया, यदि कंपनियों के चैटबॉट कानून के सुरक्षा मानकों को पूरा करने में विफल रहते हैं तो उन्हें जवाबदेह ठहराया जाएगा।

प्लेटफ़ॉर्म पर उन परिवर्तनों के अलावा, कैरेक्टर.एआई ने कहा कि वह एआई सेफ्टी लैब की स्थापना और वित्त पोषण करेगा, जो एक स्वतंत्र गैर-लाभकारी संस्था है जो भविष्य के एआई मनोरंजन सुविधाओं के लिए सुरक्षा संरेखण को नवीनीकृत करने के लिए समर्पित है।

आनंद ने कहा, “उद्योग में कोडिंग और विकास और अन्य उपयोग के मामलों पर बहुत काम हो रहा है।” “हमें नहीं लगता कि एजेंटिक एआई पावरिंग एंटरटेनमेंट पर अभी तक पर्याप्त काम हो रहा है, और सुरक्षा इसके लिए बहुत महत्वपूर्ण होगी।”