समय श्रृंखला मॉडलिंग

यह समय श्रृंखला और उसके पीछे मुख्य विशेषताओं को समझने के बारे में एक छोटा लेख है।

समस्या बयान

हमारे पास दैनिक और साप्ताहिक नियमितता के साथ समय-श्रृंखला डेटा है। हम इस तरीके को एक इष्टतम तरीके से मॉडल करना चाहते हैं।

समय श्रृंखला का विश्लेषण

समय श्रृंखला की महत्वपूर्ण विशेषताओं में से एक स्टेशनरी है।

गणित और सांख्यिकी में, एक स्थिर प्रक्रिया (उर्फ एक सख्त (लीज़) स्थिर प्रक्रिया या मजबूत (लिक) स्थिर प्रक्रिया) एक स्टोकेस्टिक प्रक्रिया है जिसकी संयुक्त संभावना वितरण समय में स्थानांतरित होने पर परिवर्तित नहीं होती है।

नतीजतन, माध्य और विचरण जैसे पैरामीटर, यदि वे मौजूद हैं, तो भी समय के साथ नहीं बदलते हैं। चूंकि स्थिरता एक धारणा है जो समय श्रृंखला विश्लेषण में उपयोग की जाने वाली कई सांख्यिकीय प्रक्रियाओं को अंतर्निहित करती है, इसलिए गैर-स्थिर डेटा को अक्सर स्थिर बनने के लिए बदल दिया जाता है।

स्थिरता के उल्लंघन का सबसे आम कारण है, जो कि एक इकाई जड़ या एक नियतात्मक प्रवृत्ति की उपस्थिति के कारण हो सकते हैं। एक इकाई जड़ के पूर्व मामले में, स्टोचस्टिक झटके का स्थायी प्रभाव होता है और प्रक्रिया अर्थ-पुनर्वित्त नहीं होती है। नियतात्मक प्रवृत्ति के उत्तरार्द्ध मामले में, प्रक्रिया को एक प्रवृत्ति स्थिर प्रक्रिया कहा जाता है, और स्टोकेस्टिक झटके में केवल क्षणभंगुर प्रभाव होता है, जो औसत-पुनर्वितरण होता है (यानी, औसत अपने दीर्घकालिक औसत पर लौटता है, जो समय के अनुसार नियतात्मक बदलता है। प्रवृत्ति)।

स्थिर बनाम गैर-स्थिर प्रक्रियाओं के उदाहरण

ट्रेंड लाइन



फैलाव





सफेद शोर एक स्टोकेस्टिक स्थिर प्रक्रिया है जिसे दो मापदंडों का उपयोग करके वर्णित किया जा सकता है: माध्य और फैलाव (विचरण)। असतत समय में, सफेद शोर एक असतत संकेत है, जिसके नमूने शून्य अर्थ और परिमित विचरण के साथ क्रमबद्ध असंबद्ध यादृच्छिक चर के अनुक्रम के रूप में माने जाते हैं।

यदि हम अक्ष पर प्रक्षेपण करते हैं तो हम सामान्य वितरण देख सकते हैं। सफेद शोर समय में एक गाऊसी प्रक्रिया है।



प्रायिकता सिद्धांत में, सामान्य (या गाऊसी) वितरण एक बहुत ही सामान्य निरंतर संभाव्यता वितरण है। सामान्य वितरण आँकड़ों में महत्वपूर्ण हैं और अक्सर प्राकृतिक और सामाजिक विज्ञान में वास्तविक-मूल्यवान यादृच्छिक चर का प्रतिनिधित्व करने के लिए उपयोग किया जाता है जिनके वितरण का पता नहीं चलता है। केंद्रीय सीमा प्रमेय के कारण सामान्य वितरण उपयोगी है। अपने सबसे सामान्य रूप में, कुछ शर्तों के तहत (जिसमें परिमित विचरण शामिल है), यह बताता है कि स्वतंत्र वितरण से स्वतंत्र रूप से निकाले गए यादृच्छिक चर के अवलोकनों के औसत सामान्य रूप से वितरण में अभिसरित होते हैं, जब अवलोकनों की संख्या सामान्य रूप से वितरित हो जाती है। पर्याप्त रूप से बड़ा है। कई स्वतंत्र प्रक्रियाओं (जैसे माप त्रुटियों) का योग होने की उम्मीद की जाने वाली भौतिक मात्रा में अक्सर वितरण होते हैं जो लगभग सामान्य होते हैं। इसके अलावा, कई परिणाम और विधियाँ (जैसे अनिश्चितता और कम से कम वर्ग पैरामीटर फिटिंग का प्रसार) को स्पष्ट रूप में विश्लेषणात्मक रूप से प्राप्त किया जा सकता है जब प्रासंगिक चर सामान्य रूप से वितरित किए जाते हैं।

मान लें कि हमारे डेटा में कुछ प्रवृत्ति है। इसके आस-पास स्पाइक्स बहुत सारे यादृच्छिक कारकों के कारण होता है, जो हमारे डेटा को प्रभावित करता है। उदाहरण के लिए परोसे गए अनुरोधों की मात्रा इस दृष्टिकोण का बहुत अच्छी तरह से उपयोग करते हुए वर्णित है। कचरा संग्रह, कैश मिस, ओएस द्वारा पेजिंग, बहुत सी चीजें विशेष रूप से सेवा की गई प्रतिक्रिया के समय को प्रभावित करती हैं। हमारे डेटा से आधे घंटे का स्लाइस लें, 2017–0–27 12:00 से 12:30 बजे तक। हम देख सकते हैं कि इस डेटा में एक प्रवृत्ति है, और कुछ दोलन हैं



आइए इस प्रवृत्ति रेखा के ढलान को परिभाषित करने के लिए प्रतिगमन रेखा का निर्माण करें।



इस प्रतिगमन के परिणाम हैं:

const 916.269951

डाई / डीएक्स 11.599507

परिणाम का अर्थ है, यह रुझान इस लाइन के लिए एक स्तर है, और डाई / डीएक्स एक ढलान लाइन है जो परिभाषित करता है कि समय के अनुसार तेजी से स्तर कैसे बढ़ता है।

इसलिए वास्तव में हम डेटा के आयाम को 31 मापदंडों से घटाकर 2 पैरामीटर कर देते हैं। यदि हम अपने प्रारंभिक डेटा से हमारे प्रतिगमन फ़ंक्शन मानों को घटाते हैं, तो हम प्रक्रिया देखेंगे, जो स्थिर स्टोचैस्टिक प्रक्रिया की तरह दिखता है।

इसलिए घटाव के बाद हम देख सकते हैं कि प्रवृत्ति गायब हो गई है और हम यह मान सकते हैं कि इस श्रेणी में प्रक्रिया स्टोचस्टिक है। लेकिन हम कैसे सुनिश्चित हो सकते हैं।



आइए बनाते हैं डिकी - फुलर टेस्ट ।

डिकी - फुलर ने अशक्त परिकल्पना का परीक्षण किया है कि समय श्रृंखला जड़ है और स्थिर भी है या इस परिकल्पना को अस्वीकार करती है। यदि हम अपने प्रारंभिक स्लाइस पर डिकी-फुलर परीक्षण करते हैं, तो हम प्राप्त करेंगे



डिकी-फुलर टेस्ट का मूल्य एक मजबूत आत्मविश्वास के साथ शून्य परिकल्पना को खारिज करता है। इस प्रकार हमारी समय श्रृंखला स्लाइस एक गैर-स्थिर है। और हम देख सकते हैं कि ऑटोक्रॉलेशन फंक्शन छिपे हुए ऑटोक्रॉलेशन को दर्शाता है।

प्रारंभिक डेटा से हमारे प्रतिगमन मॉडल के घटाव के बाद।



यहां हम देख सकते हैं कि डिकी-फुलर टेस्ट का मूल्य वास्तव में छोटा है और हमारे समय श्रृंखला स्लाइस की गैर-स्थिरता के बारे में एक अशक्त परिकल्पना को अस्वीकार नहीं करता है। इसके अलावा स्वतःभरण समारोह अच्छी तरह से दिखता है।

इस प्रकार हमने अपने डेटा का कुछ परिवर्तन किया है और हम अपने ट्रेंड लाइन के हमारे ढलान के अनुसार अपने डेटा को घुमा सकते हैं।

डेटा का खंडित प्रतिगमन

खंडित प्रतिगमन , जिसे टुकड़ों की प्रतिगमन या "टूटी-छड़ी प्रतिगमन" के रूप में भी जाना जाता है, प्रतिगमन विश्लेषण में एक विधि है जिसमें स्वतंत्र चर को अंतराल में विभाजित किया जाता है और प्रत्येक अंतराल के लिए एक अलग लाइन खंड फिट होता है। विभिन्न स्वतंत्र चर को विभाजित करके मल्टीवेरेट डेटा पर खंडित प्रतिगमन विश्लेषण भी किया जा सकता है। खंडित प्रतिगमन तब उपयोगी होता है जब स्वतंत्र चर, अलग-अलग समूहों में क्लस्टर किए जाते हैं, इन क्षेत्रों में चर के बीच विभिन्न संबंधों को प्रदर्शित करते हैं। खंडों के बीच की सीमाएं विराम बिंदु हैं।

वास्तव में हमारा ढलान हमारे मीट्रिक बिंदुओं के निरंतर अंतराल के कारण हमारे गैर-स्थिर समय श्रृंखला का एक असतत व्युत्पन्न है जिसे हम खाते में नहीं ले सकते हैं। इसलिए हम अपने डेटा को टुकड़ा-टुकड़ा फ़ंक्शन के रूप में अनुमानित कर सकते हैं जो समय श्रृंखला प्रतिगमन रुझानों के असतत डेरिवेटिव का उपयोग करके गणना की जाती है।



उपरोक्त डेटा टुकड़ा 26–8–2017 00.00 से 08.00 बजे तक है

ऐसा लगता है कि हर स्लाइस के लिए एक रेखीय स्वायत्तता है और अगर हमें हर स्लाइस के लिए एक प्रतिगमन रेखा मिल जाए तो हम अपने समय के स्लाइस के मॉडल का निर्माण कर सकते हैं जो हमने बनाई धारणाओं का उपयोग करते हैं।

परिणामस्वरूप हमारे पास ऐसे डेटा होंगे जो न्यूनतम मात्रा में मापदंडों का उपयोग करके वर्णित किए जाते हैं जो एक बेहतर सामान्यीकरण के कारण अनुकूल है। वाप्निक - चेरोनेंकिस आयाम एक अच्छे सामान्यीकरण के लिए जितना संभव हो उतना छोटा होना चाहिए।

Vapnik - Chervonenkis सिद्धांत में, वीसी आयाम (Vapnik - Chervonenkis आयाम के लिए) कार्यों के एक स्थान की क्षमता (जटिलता, अभिव्यंजक शक्ति, समृद्धि, या लचीलापन) का एक उपाय है जो एक सांख्यिकीय वर्गीकरण एल्गोरिदम द्वारा सीखा जा सकता है। यह उन बिंदुओं के सबसे बड़े सेट की कार्डिनैलिटी के रूप में परिभाषित किया गया है जो एल्गोरिथ्म चकनाचूर कर सकता है। यह मूल रूप से व्लादिमीर वाप्निक और एलेक्सी चेरोनेंकिस द्वारा परिभाषित किया गया था।

औपचारिक रूप से, एक वर्गीकरण मॉडल की क्षमता संबंधित है कि यह कितना जटिल हो सकता है। उदाहरण के लिए, एक उच्च-डिग्री बहुपद की दहलीज पर विचार करें: यदि बहुपद शून्य से ऊपर का मूल्यांकन करता है, तो उस बिंदु को सकारात्मक के रूप में वर्गीकृत किया जाता है, अन्यथा नकारात्मक। एक उच्च-डिग्री बहुपद विगलेटली हो सकता है, इसलिए यह दिए गए प्रशिक्षण बिंदुओं को अच्छी तरह से फिट कर सकता है। लेकिन कोई यह उम्मीद कर सकता है कि क्लासिफायर अन्य बिंदुओं पर त्रुटियां करेगा, क्योंकि यह बहुत ही अस्पष्ट है। इस तरह के बहुपद में उच्च क्षमता होती है। एक बहुत सरल विकल्प एक रैखिक समारोह को दहलीज करना है। यह फ़ंक्शन प्रशिक्षण सेट को अच्छी तरह से फिट नहीं कर सकता है, क्योंकि इसमें कम क्षमता है।

इसलिए हमने खंडित प्रतिगमन का उपयोग करके अपने घंटे के स्लाइस का अनुमान लगाया है।



सभी 8 घंटे के स्लाइस को एक साथ रखना



और इसे प्रतिगमन मॉडल को घटाकर स्थिर स्टोचस्टिक बनाते हैं।



और स्थिर पर हमारे डिकी-फुलर परीक्षण एक मजबूत आत्मविश्वास के साथ दिखा रहा है कि हमने अपने डेटा को स्थिर श्रृंखला में बदल दिया।



इसलिए हमारे पास एक भविष्यवाणी मॉडल है जो हमारे समय श्रृंखला डेटा का वर्णन करता है। हमने अपने डेटा की आयामीता को 15/30 गुना कम कर दिया है!

वास्तव में हमें अपने मॉडल की भविष्यवाणी पर वापस लौटना चाहिए और एक विशेष स्लाइस के लिए स्तर और ढलान का उपयोग करके इसे वापस बदलना चाहिए। यह हमारे मॉडल भविष्यवाणी के लिए चुकता त्रुटियों की राशि को कम करेगा।

लेकिन हमें विचरण को भी संग्रहीत करना चाहिए क्योंकि विचरण में वृद्धि नए अज्ञात कारकों की उपस्थिति का कारण बन सकती है और जैसा कि हम जानते हैं कि डोमेन ज्ञान से ऐसा है।

इसलिए विचरण में तेजी से बदलाव के साथ-साथ सतर्कता भी बरती जानी चाहिए।

हम ARIMA मॉडल का उपयोग करना चाहते हैं, लेकिन अधिक सामान्य दृष्टिकोण बेहतर है, और हम इस मॉडल और बेहतर परिणामों के लिए ARIMA की तुलना करने की योजना बना रहे हैं। हमारी टाइम सीरीज़ देखें (ग्रीन आउटलेयर पर विचरण कर रहे हैं)