ओपनएआई का कहना है कि एआई ब्राउज़र हमेशा त्वरित इंजेक्शन हमलों के प्रति संवेदनशील हो सकते हैं
Latest Technology, (लेटेस्ट टेक न्यूज़) Gadget (गैजेट्स) …
भले ही ओपनएआई अपने एटलस एआई ब्राउज़र को साइबर हमलों के खिलाफ सख्त करने के लिए काम कर रहा है, कंपनी स्वीकार करती है कि त्वरित इंजेक्शन, एक प्रकार का हमला जो एआई एजेंटों को अक्सर वेब पेजों या ईमेल में छिपे दुर्भावनापूर्ण निर्देशों का पालन करने के लिए प्रेरित करता है, एक जोखिम है जो जल्द ही दूर नहीं होने वाला है – इस बारे में सवाल उठ रहे हैं कि एआई एजेंट खुले वेब पर कितनी सुरक्षित रूप से काम कर सकते हैं।
ओपनएआई ने सोमवार को लिखा, “वेब पर घोटालों और सोशल इंजीनियरिंग की तरह शीघ्र इंजेक्शन का भी पूरी तरह से ‘समाधान’ होने की संभावना नहीं है।” ब्लॉग भेजा निरंतर हमलों से निपटने के लिए कंपनी एटलस के कवच को कैसे मजबूत कर रही है, इसका विवरण दिया गया है। कंपनी ने माना कि चैटजीपीटी एटलस में “एजेंट मोड” “सुरक्षा खतरे की सतह का विस्तार करता है।”
OpenAI ने अक्टूबर में अपना चैटजीपीटी एटलस ब्राउज़र लॉन्च किया, और सुरक्षा शोधकर्ताओं ने अपने डेमो प्रकाशित करने के लिए दौड़ लगाई, जिसमें दिखाया गया कि Google डॉक्स में कुछ शब्द लिखना संभव है जो अंतर्निहित ब्राउज़र के व्यवहार को बदलने में सक्षम थे। उसी दिन, बहादुर एक ब्लॉग पोस्ट प्रकाशित किया यह समझाते हुए कि अप्रत्यक्ष त्वरित इंजेक्शन एआई-संचालित ब्राउज़रों के लिए एक व्यवस्थित चुनौती है, जिसमें पर्प्लेक्सिटीज़ कॉमेट भी शामिल है।
OpenAI यह मानने वाला अकेला नहीं है कि शीघ्र-आधारित इंजेक्शन ख़त्म नहीं हो रहे हैं। ब्रिटेन के राष्ट्रीय साइबर सुरक्षा केंद्र ने इस महीने की शुरुआत में चेतावनी दी थी जेनेरिक एआई अनुप्रयोगों के खिलाफ त्वरित इंजेक्शन हमलों को “कभी भी पूरी तरह से कम नहीं किया जा सकता है”, जिससे वेबसाइटों को डेटा उल्लंघनों का शिकार होने का खतरा हो सकता है। यूके सरकार की एजेंसी ने साइबर पेशेवरों को सलाह दी कि वे त्वरित इंजेक्शन के जोखिम और प्रभाव को कम करें, न कि यह सोचें कि हमलों को “रोका जा सकता है”।
OpenAI की ओर से, कंपनी ने कहा: “हम त्वरित इंजेक्शन को दीर्घकालिक AI सुरक्षा चुनौती के रूप में देखते हैं, और हमें इसके खिलाफ अपनी सुरक्षा को लगातार मजबूत करने की आवश्यकता होगी।”
इस सिसिफ़ियन कार्य पर कंपनी का उत्तर? कंपनी का कहना है कि एक सक्रिय, तीव्र-प्रतिक्रिया चक्र “जंगली में” शोषण से पहले आंतरिक रूप से नई हमले की रणनीतियों की खोज में मदद करने का वादा दिखा रहा है।
यह उससे बिल्कुल अलग नहीं है जो एंथ्रोपिक और गूगल जैसे प्रतिद्वंद्वी कह रहे हैं: कि त्वरित-आधारित हमलों के लगातार जोखिम से लड़ने के लिए, बचाव को स्तरित किया जाना चाहिए और लगातार तनाव-परीक्षण किया जाना चाहिए। Google का हालिया कार्यउदाहरण के लिए, एजेंटिक प्रणालियों के लिए वास्तुशिल्प और नीति-स्तरीय नियंत्रण पर ध्यान केंद्रित करता है।
लेकिन जहां OpenAI अपने “एलएलएम-आधारित स्वचालित हमलावर” के साथ एक अलग रणनीति अपना रहा है। यह हमलावर मूल रूप से एक बॉट है जिसे ओपनएआई ने सुदृढीकरण सीखने का उपयोग करके प्रशिक्षित किया है, एक हैकर की भूमिका निभाने के लिए जो एआई एजेंट को दुर्भावनापूर्ण निर्देश देने के तरीकों की तलाश करता है।
बॉट वास्तविक रूप से उपयोग करने से पहले हमले का सिमुलेशन में परीक्षण कर सकता है, और सिम्युलेटर दिखाता है कि लक्ष्य एआई कैसे सोचेगा और अगर उसने हमला देखा तो वह क्या कार्रवाई करेगा। बॉट तब उस प्रतिक्रिया का अध्ययन कर सकता है, हमले को संशोधित कर सकता है और बार-बार प्रयास कर सकता है। लक्ष्य एआई के आंतरिक तर्क की अंतर्दृष्टि कुछ ऐसी चीज है जिस तक बाहरी लोगों की पहुंच नहीं है, इसलिए, सिद्धांत रूप में, ओपनएआई के बॉट को वास्तविक दुनिया के हमलावर की तुलना में तेजी से खामियां ढूंढने में सक्षम होना चाहिए।
एआई सुरक्षा परीक्षण में यह एक सामान्य रणनीति है: किनारे के मामलों को ढूंढने और सिमुलेशन में उनके खिलाफ तेजी से परीक्षण करने के लिए एक एजेंट बनाएं।
ओपनएआई ने लिखा, “हमारा (सुदृढीकरण सीखना) प्रशिक्षित हमलावर एक एजेंट को परिष्कृत, लंबे-क्षितिज वाले हानिकारक वर्कफ़्लो को निष्पादित करने में मार्गदर्शन कर सकता है जो दसियों (या यहां तक कि सैकड़ों) चरणों में फैलता है।” “हमने नई हमले की रणनीतियाँ भी देखीं जो हमारे मानव रेड टीमिंग अभियान या बाहरी रिपोर्टों में दिखाई नहीं दीं।”
एक डेमो में (ऊपर भाग में चित्रित), ओपनएआई ने दिखाया कि कैसे उसके स्वचालित हमलावर ने एक दुर्भावनापूर्ण ईमेल को उपयोगकर्ता के इनबॉक्स में भेज दिया। जब एआई एजेंट ने बाद में इनबॉक्स को स्कैन किया, तो उसने ईमेल में छिपे निर्देशों का पालन किया और कार्यालय से बाहर उत्तर का मसौदा तैयार करने के बजाय एक इस्तीफा संदेश भेजा। लेकिन सुरक्षा अद्यतन के बाद, कंपनी के अनुसार, “एजेंट मोड” शीघ्र इंजेक्शन प्रयास का सफलतापूर्वक पता लगाने और इसे उपयोगकर्ता को चिह्नित करने में सक्षम था।
कंपनी का कहना है कि हालांकि त्वरित इंजेक्शन को फुलप्रूफ तरीके से सुरक्षित करना कठिन है, लेकिन यह वास्तविक दुनिया के हमलों में दिखाई देने से पहले अपने सिस्टम को सख्त करने के लिए बड़े पैमाने पर परीक्षण और तेज़ पैच चक्र पर निर्भर है।
ओपनएआई के एक प्रवक्ता ने यह साझा करने से इनकार कर दिया कि क्या एटलस की सुरक्षा के अपडेट के परिणामस्वरूप सफल इंजेक्शनों में मापनीय कमी आई है, लेकिन कहते हैं कि कंपनी लॉन्च से पहले से ही त्वरित इंजेक्शन के खिलाफ एटलस को सख्त करने के लिए तीसरे पक्ष के साथ काम कर रही है।
साइबर सुरक्षा फर्म विज़ के प्रमुख सुरक्षा शोधकर्ता रामी मैक्कार्थी का कहना है कि सुदृढीकरण सीखना हमलावर के व्यवहार को लगातार अनुकूलित करने का एक तरीका है, लेकिन यह तस्वीर का केवल एक हिस्सा है।
मैककार्थी ने टेकक्रंच को बताया, “एआई सिस्टम में जोखिम के बारे में तर्क करने का एक उपयोगी तरीका स्वायत्तता को पहुंच से गुणा करना है।”
मैक्कार्थी ने कहा, “एजेंट ब्राउज़र उस स्थान के एक चुनौतीपूर्ण हिस्से में बैठते हैं: मध्यम स्वायत्तता के साथ बहुत उच्च पहुंच।” “कई मौजूदा सिफारिशें उस व्यापार-बंद को दर्शाती हैं। लॉग-इन एक्सेस को सीमित करने से मुख्य रूप से जोखिम कम हो जाता है, जबकि पुष्टिकरण अनुरोधों की समीक्षा की आवश्यकता स्वायत्तता को बाधित करती है।”
उपयोगकर्ताओं को अपने जोखिम को कम करने के लिए ओपनएआई की ये दो सिफारिशें हैं, और एक प्रवक्ता ने कहा कि एटलस को संदेश भेजने या भुगतान करने से पहले उपयोगकर्ता की पुष्टि प्राप्त करने के लिए भी प्रशिक्षित किया गया है। OpenAI यह भी सुझाव देता है कि उपयोगकर्ता एजेंटों को आपके इनबॉक्स तक पहुंच प्रदान करने और उन्हें “जो भी आवश्यक कार्रवाई करने के लिए कहें” कहने के बजाय विशिष्ट निर्देश दें।
OpenAI के अनुसार, “व्यापक अक्षांश छिपी हुई या दुर्भावनापूर्ण सामग्री के लिए एजेंट को प्रभावित करना आसान बनाता है, भले ही सुरक्षा उपाय मौजूद हों।”
जबकि ओपनएआई का कहना है कि एटलस उपयोगकर्ताओं को त्वरित इंजेक्शन से बचाना सर्वोच्च प्राथमिकता है, मैक्कार्थी जोखिम-प्रवण ब्राउज़रों के लिए निवेश पर रिटर्न के बारे में कुछ संदेह को आमंत्रित करता है।
मैककार्थी ने टेकक्रंच को बताया, “ज्यादातर रोजमर्रा के उपयोग के मामलों में, एजेंट ब्राउज़र अभी तक अपने वर्तमान जोखिम प्रोफ़ाइल को उचित ठहराने के लिए पर्याप्त मूल्य प्रदान नहीं करते हैं।” “ईमेल और भुगतान जानकारी जैसे संवेदनशील डेटा तक उनकी पहुंच को देखते हुए जोखिम अधिक है, भले ही वह पहुंच ही उन्हें शक्तिशाली बनाती है। वह संतुलन विकसित होगा, लेकिन आज भी व्यापार-बंद बहुत वास्तविक हैं।”
(टैग्सटूट्रांसलेट)एआई ब्राउज़र(टी)एटलस(टी)चैटजीपीटी एटलस(टी)साइबर सिक्योरिटी(टी)ओपनएआई(टी)प्रॉम्प्ट इंजेक्शन
Latest Technology, (लेटेस्ट टेक न्यूज़) Gadget (गैजेट्स) …
Source link