एक्स-रे मान्यता: परिशुद्धता = 0.84, रिकॉल = 0.96। क्या हमें और डॉक्टरों की आवश्यकता है?

हाल ही में, चिकित्सा में एआई का उपयोग तेजी से चर्चा में रहा है। और, निश्चित रूप से, इस तरह के एक आवेदन के लिए सीधे चिकित्सा का क्षेत्र निदान का क्षेत्र है।

ऐसा लगता है कि पहले निदान की समस्याओं के लिए विशेषज्ञ प्रणालियों और वर्गीकरण एल्गोरिदम को लागू करना संभव था। हालांकि, एआई का एक क्षेत्र है जो हाल के वर्षों में सबसे सफल रहा है, अर्थात् छवि मान्यता और दृढ़ तंत्रिका नेटवर्क। कुछ परीक्षणों पर, छवि मान्यता में एआई एल्गोरिदम ने मनुष्यों को पीछे छोड़ दिया है। यहाँ दो उदाहरण हैं: बड़े पैमाने पर दृश्य मान्यता चैलेंज और जर्मन ट्रैफिक साइन मान्यता बेंचमार्क ।

तदनुसार, यह विचार एआई को छवि मान्यता के क्षेत्र में लागू करने के लिए उत्पन्न हुआ जहां डॉक्टर छवि मान्यता में लगे हुए हैं, अर्थात् छवियों के विश्लेषण के लिए और, शुरुआत के लिए, एक्स-रे।

रेडियोस्कोपी का उपयोग बीमारियों और चोटों की एक विस्तृत श्रृंखला का निदान करने के लिए किया जाता है: फेफड़ों की क्षति (निमोनिया, कैंसर), फ्रैक्चर और अन्य हड्डी की चोटें, पाचन तंत्र के निदान का हिस्सा, और बहुत कुछ।

यह महत्वपूर्ण है कि इनमें से कुछ बीमारियों के निदान में, एक्स-रे छवि और इसकी व्याख्या निदान में प्रचलित उपकरण है।

छवि की व्याख्या, बदले में, एक रेडियोलॉजिस्ट द्वारा दृश्य छवि विश्लेषण के आधार पर की जाती है। सवाल उठता है: क्या होगा यदि हम एआई का उपयोग करके एक्स-रे के विश्लेषण और व्याख्या में छवि विश्लेषण में प्रगति को लागू करते हैं। क्या होगा?

क्या हम डॉक्टरों से तुलनीय गुणवत्ता हासिल कर पाएंगे? या हो सकता है कि वर्गीकरण सटीकता डॉक्टरों की सटीकता से अधिक हो, जैसा कि बड़े पैमाने पर दृश्य मान्यता चुनौती में छवियों की मान्यता से अधिक है?

निमोनिया के निदान के लिए कागल में कई एक्स-रे विश्लेषण प्रतियोगिताएं हैं। उदाहरण के लिए, उनमें से एक ।

यहां 5,863 छवियों को डॉक्टरों द्वारा चिह्नित किया गया था, प्रत्येक छवियों को दो डॉक्टरों द्वारा चिह्नित किया गया था, और केवल अगर वे निदान में मेल खाते थे, तो छवि को डेटा सेट में जोड़ा गया था। छवियों के लिए मरीजों को विशेष रूप से नहीं चुना गया था (सभी छवियों को रोगियों के साथ सामान्य कार्य के हिस्से के रूप में लिया गया था)। कक्षाओं का सेट निमोनिया की दिशा में संतुलित है, जो शायद वास्तविक जीवन के करीब है, क्योंकि मरीज पहले से ही संदिग्ध निमोनिया के साथ तस्वीरें ले रहे हैं।

समाधान का सबसे अच्छा परिशुद्धता = 0.84 और याद = 0.96 प्राप्त होता है। फिर सवाल उठता है: क्या यह बहुत कम है या थोड़ा ... यह एक अच्छा सवाल है।

बस मामले में, हम याद करते हैं कि सटीकता उन रोगियों का कितना प्रतिशत है जो मॉडल को निमोनिया के रोगियों के रूप में परिभाषित किया गया है वे वास्तव में निमोनिया के साथ बीमार हैं (और, तदनुसार, कितने प्रतिशत डॉक्टर गलती से इस बीमारी का इलाज नहीं करते हैं)। याद रखें कि निमोनिया वाले सभी रोगियों का कितना प्रतिशत मॉडल का पता लगाएगा (इस प्रतिशत का उलटा यह है कि निमोनिया के साथ कितने रोगी स्वस्थ रूप में चिह्नित होंगे)।

तो यह बहुत है या थोड़ा है? ठीक है, आप इस प्रश्न को इस तरह देख सकते हैं: डॉक्टरों के बारे में क्या? उनके पास क्या सटीक और याद है।

ऐसा करने के लिए, डॉक्टरों के एक समूह को रोपण करना आवश्यक है, उन्हें अंकन के लिए चित्र दें, और फिर उनके चिह्नों की गुणवत्ता की तुलना जर्मन ट्रैफ़िक साइन रिकग्निशन बेंचमार्क के समान एल्गोरिथ्म का उपयोग करके की जाती है, जहां सड़क के संकेतों की पहचान की गुणवत्ता की तुलना की गई थी। जहां तक ​​मुझे पता है, किसी ने भी डॉक्टरों के साथ ऐसा नहीं किया है।

लेकिन मान लीजिए कि हमने ऐसा किया है और यह पता चला है कि एल्गोरिथ्म का उपयोग कर मार्कअप की गुणवत्ता डॉक्टर द्वारा मार्कअप की गुणवत्ता के बराबर है। यदि अब भी यह मामला नहीं है (जो एक तथ्य नहीं है), तो मुझे यकीन है कि निकट भविष्य में ऐसा होगा। आगे क्या है?

रेडियोलॉजिस्ट को कृत्रिम बुद्धिमत्ता से बदलें? यह संयुक्त राज्य अमेरिका में एक लंबे समय के लिए एक सपना रहा है, जहां रेडियोलॉजिस्ट बहुत अधिक भुगतान किए जाते हैं, और संभवतः योग्य हैं, एक निश्चित प्रकार के निदान को बनाने में अपना महत्व दिया।

आइए देखें कि व्यवहार में इस मामले में एल्गोरिथ्म का उपयोग करने की प्रक्रिया कैसे दिखनी चाहिए?

• सबसे पहले, विभिन्न एक्स-रे उपकरण पर छवियों के आउटपुट के प्रारूप और गुणवत्ता को मानकीकृत करना आवश्यक होगा। शायद अब यह मानकीकृत है (मैं एक विशेषज्ञ नहीं हूं), लेकिन किसी कारण से मुझे ऐसा लगता है कि नहीं। यदि यह मानकीकरण मौजूद नहीं है, तो एक स्थापना से दूसरे में संक्रमण के दौरान मॉडल की स्थिरता की गारंटी देना संभव नहीं होगा।
• दूसरे, मॉडल के नियमित गुणवत्ता नियंत्रण को जोड़ना होगा। यही है, मॉडल को नियमित रूप से इनपुट परीक्षण नमूना खिलाया जाना चाहिए डॉक्टरों द्वारा चिह्नित और इसके काम की गुणवत्ता को लगातार मान्य किया जाना चाहिए। सभी क्लीनिकों में उपयोग किए जाने वाले सभी मॉडलों पर। इसका मतलब यह है कि एक केंद्रीयकृत मॉडल (या उनमें से बहुत कम संख्या) होना चाहिए, अन्यथा सभी मॉडलों को मान्य करने के लिए बहुत अधिक संसाधनों की आवश्यकता होती है। तार्किक रूप से, एक्स-रे उपकरण के निर्माता संभवतः इस निष्कर्ष पर पहुंचेंगे कि मॉडल को एक्स-रे इकाई के साथ वितरित किया जाएगा।
• तीसरा, आत्मविश्वास थ्रेसहोल्ड को मॉडल में बनाया जाना चाहिए, जिसके परे छवि अभी भी वर्गीकरण के लिए डॉक्टर को दी गई है।

जैसा कि आप समझते हैं, भले ही मॉडल अब वर्गीकरण की गुणवत्ता के मामले में डॉक्टरों के साथ तुलनात्मक या श्रेष्ठ हों, उनके (डॉक्टरों) प्रतिस्थापन या अधिक सटीक, कर्मचारियों की कमी के लिए प्रक्रिया चरणों का एक सेट आवश्यक है। नियामक और प्रमाणन कदमों के सेट का उल्लेख नहीं करना चाहिए जो आम तौर पर इस तरह के समाधान को व्यवहार में लाने के लिए आवश्यक हैं।

सामान्य तौर पर, हम अभी भी ऊपर के परिदृश्य से बहुत दूर हैं, यह मुझे लगता है।

क्या एक अलग परिदृश्य संभव है? मुझे ऐसा लगता है। कॉन्डोर्सेट जूरी प्रमेय को याद करें, जिसमें कहा गया है कि लोगों के एक समूह द्वारा सही निर्णय लेने की संभावना व्यक्तिगत रूप से उनमें से प्रत्येक से अधिक है। इस प्रकार, डॉक्टर और मॉडल के वर्गीकरण की गुणवत्ता उनमें से किसी एक के वर्गीकरण की गुणवत्ता से अधिक है।

इस प्रकार, डॉक्टर सलाहकार के रूप में मॉडल का उपयोग कर सकते हैं। क्यों? क्योंकि डॉक्टर की खुद की अपनी परिशुद्धता और याद है। मान लीजिए कि डॉक्टर ऐसा नहीं कहते हैं, लेकिन गलतियाँ हैं। कुछ त्रुटियां इस तथ्य को जन्म देती हैं कि कुछ बीमारियां छूट जाती हैं। ऐसी त्रुटियां, मुझे लगता है, कम हैं, क्योंकि डॉक्टर केवल पहली तरह की त्रुटि को कम करने की कोशिश कर रहे हैं। अन्य त्रुटियां इस तथ्य की ओर ले जाती हैं कि लोगों को निमोनिया के लिए इलाज किया जाता है, जो उनके पास नहीं है, और अस्पतालों में कुछ स्थानों को अनावश्यक रूप से लिया जाता है। कुल कितनी त्रुटियां अज्ञात हैं, लेकिन वे हैं।

तदनुसार, कल्पना करें कि हम एक तस्वीर के संबंध में दो अलग-अलग मॉडल और डॉक्टर की राय का उपयोग कर रहे हैं। कोंडोरसेट के प्रमेय से प्लस यह है कि यह न केवल यह दावा करता है कि दो सिर एक से बेहतर हैं, बल्कि आपको यह भी गणना करने की अनुमति देता है कि कितना है।

उनमें से प्रत्येक (प्रत्येक मॉडल और चिकित्सक के लिए) की सटीकता 0.84 है (बेशक, हम डॉक्टर की सटीकता नहीं जानते हैं, लेकिन मान लें कि यह मॉडल की सटीकता से कम नहीं है)। फिर, कोंडोरसेट प्रमेय द्वारा, कुल सटीकता 0.84 ^ 3 + 3 * 0.84 ^ 2 * (1 - 0.84) = 0.93 के बराबर होती है, जो 0.84 की प्रारंभिक सटीकता की तुलना में स्पष्ट वृद्धि देती है। इस प्रकार, मॉडल को लागू करने से, डॉक्टर अपनी भविष्यवाणियों में स्पष्ट रूप से अधिक सटीक हो जाता है।

ध्यान दें कि इस प्रतिमान में, हम पवित्र के पवित्रों को बचाते हैं, हम डॉक्टर को अंतिम निर्णय छोड़ देते हैं, मशीन में इसे स्थानांतरित किए बिना। यह, यह मुझे लगता है, इस तरह के समाधान की शुरूआत की सुविधा देगा और चिकित्सा में एआई सलाहकारों के लिए रास्ता खोल देगा।

आपको क्या लगता है?

हमेशा की तरह, यदि आप व्यवहार में तंत्रिका संबंधी नेटवर्क और कंप्यूटर विज़न के अनुप्रयोग में महारत हासिल करना चाहते हैं - विश्लेषकों के लिए हमारे कोर्स में आएं, 28 जनवरी से शुरू होगा। यदि आपको मूल बातें कसने की आवश्यकता है तो एक परिचयात्मक पाठ्यक्रम भी है।