विसंगतियों का पता लगाने के लिए 9 दृष्टिकोण

पिछले लेख में, हमने टाइम सीरीज़ के पूर्वानुमान के बारे में बात की थी। एक तार्किक निरंतरता विसंगतियों की पहचान पर एक लेख होगा।

आवेदन

विसंगति का पता लगाने का उपयोग ऐसे क्षेत्रों में किया जाता है:

1) उपकरण टूटने की भविष्यवाणी

तो, 2010 में, ईरानी सेंट्रीफ्यूज पर स्टक्सनेट वायरस द्वारा हमला किया गया, जिसने उपकरण को एक इष्टतम मोड में सेट किया और त्वरित पहनने के कारण कुछ उपकरणों को निष्क्रिय कर दिया।

यदि उपकरण पर विसंगति खोज एल्गोरिदम का उपयोग किया गया था, तो विफलता की स्थितियों से बचा जा सकता है।



उपकरणों के संचालन में विसंगतियों की खोज न केवल परमाणु उद्योग में की जाती है, बल्कि धातु विज्ञान और विमान टर्बाइनों के संचालन में भी होती है। और अन्य क्षेत्रों में जहां अप्रत्याशित टूटने की स्थिति में संभावित नुकसान की तुलना में भविष्य कहनेवाला निदान का उपयोग सस्ता है।

2) धोखाधड़ी का पूर्वानुमान

यदि पॉडोलस्क में आपके द्वारा उपयोग किए जाने वाले कार्ड को अल्बानिया में वापस ले लिया जाता है, तो संभव है कि लेनदेन को और अधिक जांचा जाए।

3) असामान्य उपभोक्ता पैटर्न को पहचानें

यदि कुछ ग्राहक असामान्य व्यवहार प्रदर्शित करते हैं, तो ऐसी समस्या हो सकती है जिसके बारे में आपको जानकारी नहीं है।

4) असामान्य मांग और भार की पहचान

यदि एफएमसीजी स्टोर में बिक्री पूर्वानुमान विश्वास अंतराल की सीमा से नीचे गिर गई है, तो आपको इसका कारण ढूंढना चाहिए कि क्या हो रहा है।

विसंगति का पता लगाने के दृष्टिकोण

1) एक वर्ग एक-वर्ग एसवीएम के साथ समर्थन वैक्टर की विधि

उपयुक्त जब प्रशिक्षण सेट में डेटा सामान्य वितरण का पालन करता है, जबकि परीक्षण सेट में विसंगतियाँ होती हैं।

एकल-वर्ग समर्थन वेक्टर विधि मूल के चारों ओर एक गैर-रैखिक सतह का निर्माण करती है। कटऑफ बॉर्डर सेट करना संभव है, जो डेटा असामान्य माना जाता है।

हमारी DATA4 टीम के अनुभव के आधार पर, वन-क्लास SVM विसंगति खोज समस्या को हल करने के लिए सबसे अधिक बार उपयोग किया जाने वाला एल्गोरिदम है।

2) पृथक वन विधि - पृथक वन

पेड़ों के निर्माण की "यादृच्छिक" विधि के साथ, उत्सर्जन प्रारंभिक अवस्था में (पेड़ की उथली गहराई पर) पत्तियों में गिर जाएगा, अर्थात। उत्सर्जन "अलग" करना आसान है। एल्गोरिथ्म के पहले पुनरावृत्तियों पर विसंगत मूल्यों को निकाला जाता है।

3) अण्डाकार लिफाफा और सांख्यिकीय तरीके

जब डेटा सामान्य रूप से वितरित किया जाता है। वितरण के मिश्रण की पूंछ के करीब माप, जितना अधिक मूल्य उतना ही अधिक।

अन्य सांख्यिकीय विधियों को इस वर्ग के लिए जिम्मेदार ठहराया जा सकता है।




Dyakonov.org से छवि

4) मीट्रिक तरीके

तरीकों में एल्गोरिदम जैसे कि निकटतम पड़ोसी, के-वें निकटतम पड़ोसी, एबीओडी (कोण-आधारित बाहरी पता लगाना) या एलओएफ (स्थानीय बाह्य कारक) शामिल हैं।

उपयुक्त है यदि संकेतों में मूल्यों के बीच की दूरी समतुल्य या सामान्यीकृत है (इसलिए तोते में बोआ को मापने के लिए नहीं)।

K निकटतम पड़ोसियों की एल्गोरिथ्म से पता चलता है कि सामान्य मूल्य बहुआयामी अंतरिक्ष के एक निश्चित क्षेत्र में स्थित हैं, और विसंगतियों की दूरी अलग-अलग हाइपरप्लेन की तुलना में अधिक होगी।

5) क्लस्टर तरीके

क्लस्टर विधियों का सार यह है कि यदि मूल्य समूहों के केंद्रों से एक निश्चित दूरी से अधिक है, तो मूल्य को विसंगतिपूर्ण माना जा सकता है।

मुख्य बात एक एल्गोरिथ्म का उपयोग करना है जो डेटा को सही ढंग से क्लस्टर करता है, जो विशिष्ट कार्य पर निर्भर करता है।

6) प्रमुख घटक विधि

उपयुक्त जहां विचरण में सबसे बड़ी भिन्नता वाले क्षेत्रों पर प्रकाश डाला गया है।

7) एल्गोरिथ्म समय श्रृंखला पूर्वानुमान के आधार पर

विचार यह है कि यदि किसी मूल्य को भविष्यवाणी विश्वास अंतराल से बाहर खटखटाया जाता है, तो मान को असामान्य माना जाता है। टाइम सीरीज की भविष्यवाणी करने के लिए ट्रिपल एंटी-अलियासिंग, एस (एआरआईएमए), बूस्टिंग आदि जैसे एल्गोरिदम का उपयोग किया जाता है।

पिछले श्रृंखला के पूर्वानुमान एल्गोरिदम पर पिछले लेख में चर्चा की गई थी।

8) एक शिक्षक के साथ प्रशिक्षण (प्रतिगमन, वर्गीकरण)

यदि डेटा अनुमति देता है, तो हम रैखिक प्रतिगमन से आवर्तक नेटवर्क तक एल्गोरिदम का उपयोग करते हैं। हम भविष्यवाणी और वास्तविक मूल्य के बीच के अंतर को मापते हैं, और यह निष्कर्ष निकालते हैं कि कितना डेटा आदर्श से बाहर खटखटाया गया है। यह महत्वपूर्ण है कि एल्गोरिथ्म में पर्याप्त सामान्यीकरण क्षमता है, और प्रशिक्षण के नमूने में असामान्य मूल्य नहीं हैं।

9) मॉडल परीक्षण

हम सिफारिशों की खोज के कार्य के रूप में विसंगतियों की खोज करने की समस्या से संपर्क करते हैं। हम एसवीडी या फैक्टराइजेशन मशीनों का उपयोग करके अपने फीचर मैट्रिक्स को विघटित करते हैं, और नए मैट्रिक्स में मूल्य, मूल लोगों से काफी भिन्न होते हैं, असामान्य माना जाता है।



Dyakonov.org से छवि

निष्कर्ष

इस लेख में, हमने विसंगतियों का पता लगाने के लिए बुनियादी तरीकों की जांच की।

विसंगतियों की खोज को कई मायनों में कला कहा जा सकता है। कोई आदर्श एल्गोरिथ्म या दृष्टिकोण नहीं है जिसका अनुप्रयोग सभी समस्याओं को हल करता है। अक्सर, किसी विशिष्ट मामले को हल करने के लिए तरीकों का एक सेट उपयोग किया जाता है। विसंगतियों को समर्थन वैक्टर के एकल-वर्ग विधि का उपयोग करके खोजा जाता है, जंगलों, मीट्रिक और क्लस्टर विधियों को अलग करने के साथ-साथ मुख्य घटकों और समय श्रृंखला पूर्वानुमान का उपयोग किया जाता है।

यदि आप अन्य तरीकों को जानते हैं, तो लेख के टिप्पणी अनुभाग में उनके बारे में लिखें।