क्या हम वास्तव में अनदेखी पर भरोसा कर सकते हैं?

हाइलाइट

• समझदार एआई (XAI) ट्रस्ट के निर्माण, पारदर्शिता सुनिश्चित करने और स्वास्थ्य सेवा, वित्त और शासन जैसे उच्च-दांव क्षेत्रों में जवाबदेही को सक्षम करने के लिए आवश्यक है।
• विनियम और मानक (ईयू एआई अधिनियम, सीएफपीबी नियम, एफडीए मार्गदर्शन, एनआईएसटी एआई आरएमएफ) अब एआई निर्णयों के स्पष्ट, दर्शकों-विशिष्ट स्पष्टीकरण की आवश्यकता है।
• ट्रू ट्रस्ट एक्शन योग्य, ईमानदार स्पष्टीकरण (जैसे काउंटरफैक्टुअल) से आता है जो लोगों को “ब्लैक बॉक्स” सिस्टम में ब्लाइंड आस्था से नहीं, जिम्मेदारी से समझने, चुनाव या कार्य करने के लिए सशक्त बनाता है।

पिछले कुछ वर्षों में, केंद्रीय मानव प्रश्न हमेशा “क्यों?” जब किसी भी तरह से किसी चीज या किसी पर भरोसा करने की बात आती है। यह एआई के साथ मामला रहा है, और हम इस पर भरोसा नहीं कर सकते हैं यदि हम यह नहीं समझ सकते हैं कि यह कैसे काम करता है, विशेष रूप से स्वास्थ्य, आजीविका या अधिकारों से संबंधित उच्च-दांव वातावरण में।

ऐसा करने के लिए एक शब्द है, एचके साथ, के साथ समझाने योग्य ऐ (xai)जो तरीकों, प्रथाओं और शासन के चरणों का एक सेट है, जो एआई सिस्टम के व्यवहार को उन लोगों के लिए समझ में आता है जो निर्माण, उपयोग करते हैं, और उनसे भी प्रभावित होते हैं। यह स्पष्टता अब कई क्षेत्रों में एक आवश्यकता है, जैसे कि वित्त, स्वास्थ्य सेवा और सरकार, और आधुनिक एआई सुनिश्चित करने के लिए एक व्यावहारिक आवश्यकता सुरक्षित है।

अब स्पष्टता क्यों?

AI सिस्टम अब केवल प्रयोगशालाओं या नवीनता ऐप में मौजूद नहीं हैं। वे अब ऋण, ट्राइएज रोगियों, ग्रिड पर रूटिंग पावर, स्क्रीनिंग जॉब आवेदकों और कानूनी या नीति पाठ का मसौदा तैयार करने के लिए जिम्मेदार हैं। निर्णय औसतन सटीक हो सकते हैं, लेकिन जब वे गलत होते हैं, या जब दो समूहों को अलग -अलग परिणाम मिलते हैं, तो लोगों को यह जानना होगा कि ऐसा क्यों होता है।

इस आवश्यकता ने नीति और मानक गतिविधि की एक लहर को हवा दी है, उनमें से एक यूरोपीय संघ एआई अधिनियम है, जिसे स्पष्ट रूप से उच्च जोखिम वाले एआई की आवश्यकता होती है जो उपयोगकर्ताओं को कोर्रे को समझने और उपयोग करने के लिए पर्याप्त पारदर्शी होना चाहिए।CTLY, क्षमताओं, सीमाओं, और आउटपुट की व्याख्या कैसे करें, पर स्पष्ट निर्देशों सहित। सादे शब्दों में: यदि एआई का उपयोग क्रेडिट स्कोरिंग, हायरिंग, मेडिकल निदान, या सुरक्षा-महत्वपूर्ण संदर्भों के लिए किया जाता है, तो प्रभावित लोगों को अनुमान लगाने के लिए नहीं छोड़ा जाना चाहिए।

संयुक्त राज्य अमेरिका में, क्षेत्रीय नियम समान काम कर रहे हैं। उपभोक्ता वित्तीय सुरक्षा ब्यूरो (CFPB) ने स्पष्ट किया है कि लेनदार एक एल्गोरिथ्म के पीछे छिप नहीं सकते हैं। यदि कोई कंपनी आपके क्रेडिट से इनकार करती है, तो उसे विशिष्ट कारणों का खुलासा करना चाहिए, तब भी जब एक जटिल मॉडल शामिल होता है। यह लंबे समय से चली आ रही कानून (इकोआ/रेग बी), एआई युग के लिए फिर से पुष्टि की गई है। दूसरे शब्दों में, यदि मॉडल एक आश्चर्यजनक कारक का उपयोग करता है, तो नोटिस को इसे नाम देना चाहिए।

हेल्थकेयर नियामक भी चले गए हैं। एफडीए, हेल्थ कनाडा और यूके के एमएचआरए के साथ, मशीन-लर्निंग मेडिकल उपकरणों में पारदर्शिता के लिए मार्गदर्शक सिद्धांतों को प्रकाशित किया है। ये सिद्धांत इच्छित उपयोग, प्रदर्शन और परिणामों के आधार के बारे में स्पष्ट, आवश्यक जानकारी के प्रावधान पर जोर देते हैं, जिससे “तर्क” प्रदान किया जाता है कि रोगियों और चिकित्सकों को जिम्मेदारी से कार्य करने की आवश्यकता होती है। यह एआई-सक्षम उपकरणों पर एफडीए संसाधनों के साथ बैठता है और एक डिवाइस के जीवनचक्र में एआई के प्रबंधन के लिए मार्गदर्शन विकसित करता है।

और मानकों के स्तर पर, यूएस एनआईएसटी एआई रिस्क मैनेजमेंट फ्रेमवर्क (एआई आरएमएफ 1.0) ने विश्वसनीय एआई की स्पष्टता और व्याख्याता कोर विशेषताओं को बनाया, जो “पारदर्शिता” (क्या हुआ) से “समझा गया) (एक निर्णय कैसे बनाया गया था) और” व्याख्या “(यह क्यों बनाया गया था और इसका क्या मतलब है और उपयोगकर्ता के लिए इसका मतलब है)। यह फ्रेमिंग चुपचाप यह है कि कैसे कंपनियों के दस्तावेज़, परीक्षण और जहाज एआई को फिर से आकार दिया जा रहा है।

हम वास्तव में “समझाने योग्य” से क्या मतलब है?

एक स्पष्टीकरण नहीं है जो सभी के लिए काम करता है। एक डेटा वैज्ञानिक डिबगिंग एक मॉडल को एक चिकित्सा पर निर्णय लेने वाले रोगी की तुलना में अलग विवरण की आवश्यकता होती है। अंगूठे का एक अच्छा नियम यह है कि स्पष्टीकरण दर्शकों के अनुरूप होना चाहिए और उन्हें जो कार्रवाई करने की आवश्यकता है।

यूके सूचना आयुक्त कार्यालय (ICO) और एलन ट्यूरिंग इंस्टीट्यूट यहां सबसे स्पष्ट व्यावहारिक मार्गदर्शिकाओं में से एक प्रदान करते हैं, जो संगठनों से उन स्पष्टीकरण प्रदान करने के लिए आग्रह करते हैं जो प्रभावित व्यक्ति के लिए सार्थक हैं, न कि केवल तकनीकी रूप से कोड के प्रति वफादार। इसमें औचित्य (यह परिणाम क्यों), जिम्मेदारी (जो जवाबदेह है), डेटा (क्या इनपुट का उपयोग किया गया था), और सुरक्षा/प्रदर्शन (यह कितना विश्वसनीय है) शामिल हो सकता है।

‘अगर एक्स अलग होता, तो परिणाम बदल जाता’ जैसे प्रतिपक्षीय स्पष्टीकरण भी प्रभावशाली हो जाते क्योंकि वे लोगों को कार्य करने में मदद करते हैं: वे एक आवेदक को बताएंगे कि अगली बार एक बेहतर परिणाम तक पहुंचने के लिए क्या बदला जा सकता है, बौद्धिक संपदा को उजागर करने की आवश्यकता के बिना या उपयोगकर्ता को तंत्रिका नेटवर्क आंतरिक पार्स करने की आवश्यकता होती है। जीडीपीआर के तहत दृष्टिकोण को लोकप्रिय बनाने वाली सेमिनल लीगल स्कॉलरशिप ने नीतिगत बहस और उत्पाद डिजाइन दोनों को आकार दिया है।

स्पष्टता का औद्योगिक उपयोग

वित्त क्षेत्र में, कारण मायने रखता है। उधार देने में, “अस्वीकृत” न केवल एक अनहेल्दी संदेश है, बल्कि एक गैरकानूनी भी है। CFPB ने यह भी दोहराया है कि प्रतिकूल-कार्रवाई नोटिस को सटीक, विशिष्ट कारणों को सूचीबद्ध करना चाहिए, भले ही कोई मॉडल nontraditional डेटा या परिष्कृत शिक्षण तकनीकों का उपयोग करता हो। यह टीमों को उन मॉडलों के निर्माण के लिए धकेल देगा जिनके आउटपुट को मानव-जटिल कारकों के लिए मैप किया जाएगा, और यह शासन को भी बनाए रखेगा जो यह सुनिश्चित करता है कि उन कारणों को सत्य और सुसंगत हैं। यह मजबूत प्रलेखन और ऑडिटिबिलिटी के बिना असुरक्षित “ब्लैक बॉक्स” अंडरराइटिंग को तैनात करने के लिए प्रलोभन पर भी अंकुश लगाएगा।

हेल्थकेयर सेक्टर में, क्लीनिक को यह जानना होगा कि किसी मॉडल पर कब ओवरराइड या भरोसा करना है। मशीन-लर्निंग मेडिकल डिवाइसेस के लिए एफडीए के पारदर्शिता सिद्धांतों ने प्रदर्शन विशेषताओं, डेटा स्कोप, सीमाओं और परिणामों के आधार के बारे में आवश्यक जानकारी साझा करने के लिए निर्माताओं को स्टीयर किया, ताकि उपयोगकर्ता यह समझें कि जब उपकरण विश्वसनीय बनाम होने की संभावना है, जब यह संघर्ष कर सकता है। एक ब्लैक-बॉक्स अलर्ट, “निमोनिया: 083” एक स्पष्टीकरण की तुलना में कम सहायक है जो मुख्य क्षेत्रों को उजागर करता है, ज्ञात विफलता मोड बताता है, और नोटों को नैदानिक ​​संदर्भ में कैलिब्रेट किया जाता है।

EU AI एक्ट का अनुच्छेद 13 शिक्षा, रोजगार, कानून प्रवर्तन और सुरक्षा संदर्भों में उपयोग किए जाने वाले उच्च-जोखिम प्रणालियों के लिए पारदर्शिता को एक कानूनी डिजाइन आवश्यकता बनाता है। यह उन निर्देशों की मांग करता है जो क्षमताओं, सीमाओं की व्याख्या करते हैं, और आउटपुट की व्याख्या कैसे करते हैं, यह पहचानते हुए कि तैनाती में स्पष्टता एक शासन लीवर है, न कि बाद में।

यह खरीद के माध्यम से लहर जाएगा: खरीदार तेजी से विक्रेताओं से यह साबित करने के लिए कहेंगे कि उनके सिस्टम को समझा जा सकता है और जिम्मेदारी से भी उपयोग किया जा सकता है।

सामान्य समस्याएं और उन्हें हल करना

स्पष्ट एआई के साथ सबसे बड़ी चुनौतियों में से एक भ्रामक या सतही स्पष्टीकरण से बच रहा है। स्पष्टीकरण जो सुव्यवस्थित दिखाई देते हैं, लेकिन यह नहीं दर्शाते हैं कि वास्तव में मॉडल पर निर्भर करता है कि वह आसानी से उपयोगकर्ताओं को गुमराह कर सकता है, विशेष रूप से उच्च-दांव सेटिंग्स में। इससे बचने के लिए, टीमों को स्पष्टीकरण के तरीकों को उतनी ही सख्ती से मान्य करने की आवश्यकता होती है, जब वे स्वयं मॉडल का परीक्षण करते हैं, यह सुनिश्चित करते हुए कि वे अति आत्मविश्वास या गलत कथाओं को वितरित नहीं करते हैं।

एक और नुकसान एक आकार-फिट-सभी स्पष्टीकरण की पेशकश कर रहा है। एक चिकित्सक, एक अनुपालन अधिकारी, और एक रोगी को प्रत्येक को अलग -अलग स्तरों के विस्तार और तर्क के विभिन्न रूपों की आवश्यकता होती है, और उन सभी को एक ही स्पष्टीकरण ढांचे में मजबूर करना विश्वास और प्रयोज्य को कम करता है। यहां, ICO और एलन ट्यूरिंग इंस्टीट्यूट के प्लेबुक जैसे मार्गदर्शन में सामान्य टेम्प्लेट पर भरोसा करने के बजाय विशिष्ट दर्शकों और संदर्भों के लिए स्पष्टीकरण स्पष्टीकरण देते हैं।

समान रूप से समस्याग्रस्त डेटा की गुंजाइश और सीमाओं को छिपा रहा है। उपयोगकर्ता सार्थक रूप से एआई आउटपुट की व्याख्या नहीं कर सकते हैं, जहां मॉडल अंधा हो सकता है, उदाहरण के लिए, यदि यह केवल विशिष्ट आबादी, भौगोलिक या समय अवधि पर प्रशिक्षित किया गया था।

मेडिकल एआई के लिए यूएस एफडीए के पारदर्शिता के सिद्धांत इस तरह की सीमाओं को स्पष्ट रूप से संवाद करने के महत्व पर जोर देते हैं, इसलिए उपयोगकर्ता जानते हैं कि उपकरण पर कब भरोसा करना है और कब सतर्क होना है। अंत में, केवल एक कानूनी ढाल के रूप में स्पष्टीकरण का इलाज करने का खतरा है, वास्तव में उपयोगकर्ताओं को सशक्त बनाने के बिना नियमों का पालन करने के लिए पर्याप्त जानकारी प्रदान करता है।

स्पष्टीकरण जो किसी व्यक्ति को कार्य करने में सक्षम नहीं करते हैं, चाहे इसका मतलब है कि निर्णय लेना, सहारा लेना, या एक सुरक्षित विकल्प बनाना, अनिवार्य रूप से नैतिक और प्रतिवाद रूप से बैकफायर करेगा। इसके विपरीत, काउंटरफैक्टुअल स्पष्टीकरण जो दिखाते हैं कि कैसे एक अलग परिणाम प्राप्त किया जा सकता है, एक्शन-ओरिएंटेड अंतर्दृष्टि प्रदान करता है और एक अनुपालन अभ्यास से वास्तविक सशक्तिकरण के लिए एक उपकरण के लिए स्पष्टता को स्थानांतरित करता है।

निष्कर्ष

भरोसेमंद एआई को कभी भी सामान्य लोगों को एक मॉडल के आंतरिक गणित को समझने की आवश्यकता नहीं होनी चाहिए। इसके बजाय, यह उन स्पष्टीकरणों को प्रदान करना चाहिए जो उपयोगकर्ताओं को जिम्मेदारी से समझने, चुनौती देने और शासन करने के लिए पर्याप्त स्पष्ट हैं। इसका मतलब यह है कि दर्शकों को फिट करने वाली अंतर्दृष्टि प्रदान करना, सबूतों की पेशकश करना लोग कार्य कर सकते हैं, और एआई जीवनचक्र में सहन करने वाले रेलिंग को एम्बेड कर सकते हैं।

उत्साहजनक रूप से, नियामक और मानक निकाय इस दृष्टि पर अभिसरण कर रहे हैं: यूरोपीय संघ एआई अधिनियम उच्च-जोखिम प्रणालियों के लिए पारदर्शिता की एक आधार रेखा स्थापित करता है, उपभोक्ता वित्तीय सुरक्षा ब्यूरो एल्गोरिथम क्रेडिट निर्णयों के पीछे सार्थक कारणों के अधिकार को लागू करता है, एफडीए “ब्लैक बॉक्स” से “ग्लास बॉक्स” अभ्यास के लिए दवा को स्थानांतरित कर रहा है, और एनआईएसटी के लिए एक फ्रेमवर्क को संचालित करता है। साथ में, ये प्रयास ब्लाइंड ट्रस्ट को ट्रस्ट से बदल देते हैं जो स्पष्टता और जवाबदेही के माध्यम से अर्जित किया जाता है।

वास्तविक दुनिया की सेटिंग्स में, अंतर गहरा है। एक रेडियोलॉजिस्ट न केवल एक नैदानिक ​​स्कोर प्राप्त करता है, बल्कि एक छवि को हरी क्यों निकाली गई थी और जहां मॉडल लड़खड़ा सकता है, इसकी समझ है। एक ऋण आवेदक ने क्रेडिट से इनकार किया, एक गुप्त निर्णय प्राप्त नहीं करता है, लेकिन उन कारकों की एक ठोस व्याख्या जो मायने रखती है और भविष्य में अनुमोदन का कारण बन सकती है।

दोनों ही मामलों में, मानव प्रभारी रहता है, बेहतर सूचित करता है, और अंधेरे में कम होता है। यह समझाने योग्य एआई का सच्चा वादा है: हर न्यूरॉन को डिकोड नहीं करना, बल्कि ईमानदार, कार्रवाई योग्य और मानवीय स्पष्टीकरण प्रदान करना जो लोगों को निर्णय लेने के लिए सशक्त बनाता है। सही मानकों और शासन के साथ, एआई सिस्टम न केवल अधिक सटीक हो सकता है, बल्कि हमारे विश्वास के अधिक योग्य भी हो सकता है।