एक्सचेंज पर ट्रेडिंग के लिए रणनीति बनाने के बारे में आपको क्या इंतजार करना होगा: मशीन सीखना कितना कुशल है

Habré पर हमारे ब्लॉग में हमने द फाइनेंशियल हैकर ब्लॉग से सामग्री के अनुकूलित अनुवाद प्रकाशित किए, जो एक्सचेंज पर ट्रेडिंग के लिए रणनीति बनाने के सवालों के लिए समर्पित थे। इससे पहले, हमने बाजार की अक्षमताओं की खोज , ट्रेडिंग रणनीतियों के मॉडल के निर्माण और उनकी प्रोग्रामिंग के सिद्धांतों पर चर्चा की। आज हम ट्रेडिंग सिस्टम की दक्षता में सुधार करने के लिए मशीन लर्निंग दृष्टिकोण के उपयोग पर ध्यान केंद्रित करेंगे ।

विश्व शतरंज चैंपियनशिप जीतने वाला पहला कंप्यूटर डीप ब्लू था। वह 1996 में था, और एक अन्य कार्यक्रम से पहले बीस साल बीत गए, अल्फा गो, गो में सर्वश्रेष्ठ खिलाड़ी को हराने में कामयाब रहा। डीप ब्लू एक मॉडल-उन्मुख प्रणाली थी जिसमें एम्बेडेड शतरंज नियम थे। AplhaGo एक डेटा माइनिंग सिस्टम है, एक गहन तंत्रिका नेटवर्क है, जिसे गो में हजारों गेमों का उपयोग करके प्रशिक्षित किया जाता है। अर्थात्, शतरंज में चैंपियन रहे लोगों पर जीत से एक कदम उठाने के लिए, गो में शीर्ष खिलाड़ियों पर हावी होने के लिए, यह लोहे का एक बेहतर टुकड़ा नहीं था, लेकिन सॉफ्टवेयर के क्षेत्र में एक सफलता थी।

वर्तमान लेख में, हम ट्रेडिंग रणनीतियों को बनाने के लिए डेटा माइनिंग दृष्टिकोण को लागू करने पर विचार करेंगे। यह विधि बाजार के तंत्रों को ध्यान में नहीं रखती है, यह केवल पूर्वानुमान पैटर्न के लिए खोज करने के लिए मूल्य घटता और अन्य डेटा स्रोतों को स्कैन करती है। मशीन लर्निंग या "आर्टिफिशियल इंटेलिजेंस" हमेशा इसके लिए आवश्यक नहीं है। इसके विपरीत, बहुत बार, डेटा खनन के सबसे लोकप्रिय और लाभदायक तरीके तंत्रिका नेटवर्क के रूप में बिना किसी तामझाम के काम करते हैं या वेक्टर तरीकों के लिए समर्थन करते हैं।

मशीन लर्निंग सिद्धांत

प्रशिक्षित एल्गोरिथ्म को डेटा के नमूनों के साथ खिलाया जाता है, आमतौर पर किसी तरह ऐतिहासिक विनिमय कीमतों से निकाला जाता है। प्रत्येक नमूने में n वेरिएबल्स X1 ... xn होता है, जिसे आमतौर पर प्रेडिक्टर्स, फ़ंक्शंस, सिग्नल या अधिक, बस, इनपुट डेटा कहा जाता है। ये भविष्यवक्ता मूल्य चार्ट पर अंतिम एन बार की कीमतें या शास्त्रीय संकेतक के मूल्यों का एक सेट हो सकते हैं, या मूल्य वक्र के किसी भी अन्य कार्य (ऐसे मामले भी हैं जब मूल्य चार्ट के व्यक्तिगत पिक्सल का उपयोग तंत्रिका नेटवर्क के लिए भविष्यवक्ताओं के रूप में किया जाता है!)। प्रत्येक नमूने में आमतौर पर एक निश्चित लक्ष्य चर y होता है, उदाहरण के लिए, नमूना या अगले मूल्य आंदोलन का विश्लेषण करने के बाद अगले लेनदेन का परिणाम।

साहित्य में, y को अक्सर एक लेबल या उद्देश्य के रूप में संदर्भित किया जाता है। सीखने की प्रक्रिया में, एल्गोरिथ्म भविष्यवाणियों के आधार पर लक्ष्य वाई की भविष्यवाणी करना सीखता है ... एक्सएन। प्रक्रिया में "याद" करने वाली प्रणाली को एक डेटा संरचना में संग्रहीत किया जाता है जिसे एक मॉडल कहा जाता है जो एक विशेष एल्गोरिथ्म के लिए विशिष्ट है (यह वित्तीय मॉडल या मॉडल-उन्मुख रणनीति के साथ इस अवधारणा को भ्रमित नहीं करना महत्वपूर्ण है)। एक मशीन लर्निंग मॉडल सीखने की प्रक्रिया द्वारा उत्पन्न सी कोड का उपयोग करके लिखे गए भविष्यवाणी नियमों के साथ कार्य कर सकता है। या यह तंत्रिका नेटवर्क से संबंधित भार का एक सेट हो सकता है:

प्रशिक्षण: X1 ... xn, y => मॉडल

भविष्यवाणी: X1 ... xn, मॉडल => y

प्रिडिक्टर्स, फ़ंक्शंस, या जो भी आप उन्हें कॉल करना चाहते हैं, उसमें निश्चित सटीकता के साथ लक्ष्य y के मूल्य के बारे में भविष्यवाणियां करने के लिए पर्याप्त जानकारी होनी चाहिए। उन्हें दो औपचारिक मानदंडों को भी पूरा करना चाहिए। सबसे पहले, सभी पूर्वसूचक मान समान सीमा में होने चाहिए, उदाहरण के लिए, -1 ... +1 (R पर अधिकांश एल्गोरिदम के लिए) या -100 ... +100 (स्क्रिप्टिंग भाषाओं में एल्गोरिदम के लिए ज़ोरो या टीएसएसबी)। इसलिए सिस्टम को डेटा भेजने से पहले, आपको इसे सामान्य करने की आवश्यकता है। दूसरे, नमूने संतुलित होना चाहिए, अर्थात्, लक्ष्य चर के मूल्यों पर समान रूप से वितरित किया जाता है। यही है, आपके पास समान संख्या में नमूने होने चाहिए, जिससे सकारात्मक परिणाम प्राप्त हो सकते हैं और सेट खो सकते हैं। यदि इन दो आवश्यकताओं का पालन नहीं किया जाता है, तो अच्छे परिणाम सफल नहीं होंगे।

प्रतिगमन एल्गोरिदम संख्यात्मक मूल्यों के बारे में भविष्यवाणियां उत्पन्न करते हैं, जैसे परिमाण या अगले मूल्य आंदोलन का संकेत। वर्गीकरण एल्गोरिदम उदाहरण के लिए नमूनों की मात्रात्मक कक्षाओं की भविष्यवाणी करते हैं, चाहे वे लाभ या धन की हानि से पहले हों। कुछ एल्गोरिदम, जैसे तंत्रिका नेटवर्क, निर्णय वृक्ष या वेक्टर विधियों का समर्थन, दोनों मोड में चलाया जा सकता है।

ऐसे एल्गोरिदम भी हैं जो लक्ष्य वाई की आवश्यकता के बिना वर्ग नमूनों से निकालना सीख सकते हैं। पर्यवेक्षित अधिगम के विपरीत इसे अनुपयोगी शिक्षण कहा जाता है। इन दो तरीकों के बीच कहीं "सुदृढीकरण सीखने" स्थित है, जिसमें सिस्टम निर्दिष्ट कार्यों के साथ सिमुलेशन चलाकर और एक लक्ष्य के रूप में परिणाम का उपयोग करता है। AlphaGo का एक अनुयायी, एक प्रणाली जिसे AlphaZero कहा जाता है, ने प्रबलित शिक्षण का उपयोग किया, जो कि अपने साथ गो के एक मिलियन गेम खेल रहा था। वित्त में, ऐसे सिस्टम या उत्पाद जो अप्रशिक्षित सीखने का उपयोग करते हैं, वे अत्यंत दुर्लभ हैं। 99% सिस्टम पर्यवेक्षित शिक्षण का उपयोग करते हैं।

वित्त में भविष्यवक्ताओं के लिए हम जो भी संकेत का उपयोग करते हैं, ज्यादातर मामलों में उनमें बहुत अधिक शोर और थोड़ी जानकारी होगी, और इसके अलावा वे अस्थिर होंगे। इसलिए वित्तीय भविष्यवाणी मशीन सीखने के सबसे कठिन कार्यों में से एक है। यहां अधिक जटिल एल्गोरिदम बेहतर परिणाम प्राप्त करते हैं। चयनकर्ता सफलता के लिए महत्वपूर्ण है। जरूरी नहीं कि उनमें से बहुत कुछ होना चाहिए, क्योंकि इससे पीछे हटने और खराबी होती है। इसलिए, डेटा माइनिंग रणनीतियाँ अक्सर एक पूर्व-चयनित एल्गोरिथ्म का उपयोग करती हैं जो एक व्यापक पूल से भविष्यवक्ताओं की एक छोटी संख्या को निकालती है। ऐसा प्रारंभिक चयन भविष्यवाणियों, उनके महत्व, सूचना समृद्धि, या बस परीक्षण सूट का उपयोग करने की सफलता / विफलता के बीच संबंध पर आधारित हो सकता है। लक्ष्य चयन के साथ व्यावहारिक प्रयोग किए जा सकते हैं, उदाहरण के लिए, रोबोट धन ब्लॉग पर।

नीचे वित्त के क्षेत्र में उपयोग किए जाने वाले डेटा खनन के सबसे लोकप्रिय तरीकों की एक सूची है।

1. संकेतकों का सूप

अधिकांश ट्रेडिंग सिस्टम वित्तीय मॉडल पर आधारित नहीं हैं। अक्सर व्यापारियों को केवल कुछ तकनीकी संकेतकों द्वारा उत्पन्न व्यापारिक संकेतों की आवश्यकता होती है, जिन्हें अतिरिक्त तकनीकी संकेतकों के साथ संयोजन में अन्य संकेतकों द्वारा फ़िल्टर किया जाता है। जब एक व्यापारी से पूछा जाता है कि संकेतकों के इस तरह के एक मश्मश से किसी तरह का लाभ कैसे हो सकता है, तो वह आमतौर पर कुछ इस तरह का जवाब देता है: "मेरा विश्वास करो, मैं अपने हाथों से काम करता हूं और सब कुछ काम करता है।"

और यह सच है। कम से कम कभी-कभी। हालांकि इनमें से अधिकांश प्रणालियाँ डब्ल्यूएफए परीक्षण (और कुछ बस ऐतिहासिक आंकड़ों पर परीक्षण) पास नहीं करेंगी, लेकिन आश्चर्यजनक रूप से बड़ी संख्या में ऐसे सिस्टम अंततः काम करते हैं और लाभ कमाते हैं। ब्लॉग फाइनेंशियल हैकर का लेखक कस्टम ट्रेडिंग सिस्टम के विकास में लगा हुआ है, और एक ग्राहक की कहानी बताता है, जो तकनीकी संकेतकों के साथ व्यवस्थित रूप से प्रयोग करता है जब तक कि वह एक संयोजन नहीं मिला जो कुछ प्रकार की संपत्ति के लिए काम करता है। यह परीक्षण और त्रुटि विधि डेटा खनन के लिए एक क्लासिक दृष्टिकोण है, सफलता के लिए आपको केवल इसकी आवश्यकता है, भाग्य और परीक्षणों के लिए बहुत पैसा। नतीजतन, कभी-कभी आप एक लाभदायक प्रणाली प्राप्त करने पर भरोसा कर सकते हैं।

2. कैंडलस्टिक पैटर्न

सैकड़ों वर्षों से चले आ रहे कैंडलस्टिक पैटर्न से भ्रमित न होना। इस दृष्टिकोण के आधुनिक समकक्ष मूल्य आंदोलनों के आधार पर व्यापार है। आप चार्ट में प्रत्येक मोमबत्ती के लिए खुले, उच्च, निम्न और करीबी संकेतक का भी विश्लेषण करते हैं। लेकिन अब आप डेटा माइनिंग का उपयोग मूल्य वक्र की मोमबत्तियों का विश्लेषण करने के लिए उन पैटर्न को उजागर करने के लिए कर सकते हैं जिनका उपयोग भविष्य में मूल्य आंदोलन की दिशा के बारे में भविष्यवाणियां करने के लिए किया जा सकता है।

इस उद्देश्य के लिए पूरे सॉफ्टवेयर पैकेज हैं। वे उन पैटर्न की तलाश करते हैं जो उपयोगकर्ता-परिभाषित मानदंडों के संदर्भ में लाभदायक हैं, और पैटर्न का पता लगाने वाले फ़ंक्शन का निर्माण करने के लिए उनका उपयोग करते हैं। यह सब कुछ इस तरह लग सकता है:

int detect(double* sig) { if(sig[1]<sig[2] && sig[4]<sig[0] && sig[0]<sig[5] && sig[5]<sig[3] && sig[10]<sig[11] && sig[11]<sig[7] && sig[7]<sig[8] && sig[8]<sig[9] && sig[9]<sig[6]) return 1; if(sig[4]<sig[1] && sig[1]<sig[2] && sig[2]<sig[5] && sig[5]<sig[3] && sig[3]<sig[0] && sig[7]<sig[8] && sig[10]<sig[6] && sig[6]<sig[11] && sig[11]<sig[9]) return 1; if(sig[1]<sig[4] && eqF(sig[4]-sig[5]) && sig[5]<sig[2] && sig[2]<sig[3] && sig[3]<sig[0] && sig[10]<sig[7] && sig[8]<sig[6] && sig[6]<sig[11] && sig[11]<sig[9]) return 1; if(sig[1]<sig[4] && sig[4]<sig[5] && sig[5]<sig[2] && sig[2]<sig[0] && sig[0]<sig[3] && sig[7]<sig[8] && sig[10]<sig[11] && sig[11]<sig[9] && sig[9]<sig[6]) return 1; if(sig[1]<sig[2] && sig[4]<sig[5] && sig[5]<sig[3] && sig[3]<sig[0] && sig[10]<sig[7] && sig[7]<sig[8] && sig[8]<sig[6] && sig[6]<sig[11] && sig[11]<sig[9]) return 1; .... return 0; } 

यह सी फ़ंक्शन 1 तब देता है जब सिग्नल पैटर्न में से एक से मेल खाता है, अन्यथा यह 0. वापस आता है। लंबा कोड संकेत देता है कि यह पैटर्न खोजने के लिए सबसे तेज़ तरीका नहीं है। एक दृष्टिकोण का उपयोग करना बेहतर होता है जिसमें डिटेक्शन फ़ंक्शन को निर्यात करने की आवश्यकता नहीं होती है, लेकिन संकेतों को उनके महत्व के अनुसार क्रमबद्ध कर सकते हैं और उन्हें सॉर्ट कर सकते हैं। इस तरह की प्रणाली का एक उदाहरण लिंक पर पाया जा सकता है।

क्या मूल्य कार्य पर व्यापार कर सकते हैं? पिछले मामले की तरह, यह विधि किसी भी तर्कसंगत वित्तीय मॉडल पर आधारित नहीं है। इसी समय, हर कोई समझता है कि बाजार में वास्तव में कुछ निश्चित घटनाएं इसके प्रतिभागियों को प्रभावित कर सकती हैं, जिसके परिणामस्वरूप अल्पकालिक भविष्य कहनेवाला पैटर्न उत्पन्न होते हैं। लेकिन इस तरह के पैटर्न की संख्या बड़ी नहीं हो सकती है यदि आप चार्ट पर कई लगातार मोमबत्तियों के अनुक्रम का अध्ययन करते हैं। फिर आपको मोमबत्तियों के डेटा के साथ परिणाम की तुलना करने की आवश्यकता होगी, जो आस-पास नहीं हैं, लेकिन, इसके विपरीत, बेतरतीब ढंग से लंबी अवधि में चुने जाते हैं। इस मामले में, आपको लगभग असीमित संख्या में पैटर्न मिलेंगे - और वास्तविकता और तर्कसंगतता की अवधारणाओं से सफलतापूर्वक दूर हो जाएंगे। यह कल्पना करना मुश्किल है कि पिछले सप्ताह इसके कुछ मूल्यों के आधार पर भविष्य की कीमत का अनुमान कैसे लगाया जा सकता है। इसके बावजूद, कई व्यापारी इस दिशा में काम करते हैं।

3. रेखीय प्रतिगमन

कई जटिल मशीन लर्निंग एल्गोरिदम के लिए एक सरल आधार: भविष्यवाणियों के रैखिक संयोजन का उपयोग करके लक्ष्य चर y का अनुमान लगाने के लिए X1 ... xn।



ऑड्स - यह मॉडल है। उन्हें वास्तविक y मानों, प्रशिक्षण मूल्यों और सूत्र के अनुसार अनुमानित y के बीच द्विघात विचलन के योग को कम करने के लिए गणना की जाती है:



सामान्य रूप से वितरित नमूनों के लिए, मैट्रिक्स संचालन का उपयोग करके न्यूनतमकरण संभव है, इसलिए पुनरावृत्तियों की आवश्यकता नहीं है। मामले में जब n = 1 - केवल एक भविष्यवक्ता x के साथ, प्रतिगमन सूत्र कम हो जाता है:



- अर्थात्, एक सरल रेखीय प्रतिगमन से पहले, और जब n> 1 रैखिक प्रतिगमन बहुभिन्नरूपी होगा। सरल रैखिक प्रतिगमन अधिकांश व्यापारिक प्लेटफार्मों पर उपलब्ध है, उदाहरण के लिए, टीए-लिब में लाइनरग सूचक। जब y = मूल्य और x = समय, इसे मूविंग एवरेज के विकल्प के रूप में इस्तेमाल किया जा सकता है। आर प्लेटफॉर्म में, इस तरह के प्रतिगमन को मानक वितरण फ़ंक्शन lm (..) द्वारा लागू किया जाता है। इसे बहुपद प्रतिगमन द्वारा भी दर्शाया जा सकता है। जैसा कि सरलतम मामले में, यहां हम एक पूर्वानुमानित चर x का उपयोग करते हैं, लेकिन इसके वर्ग और उसके बाद के अंशों का भी, इसलिए xn == xn:



यदि n = 2 या n = 3, बहुपद प्रतिगमन का उपयोग अक्सर अंतिम बार की स्मूथी कीमतों से अगले औसत मूल्य का अनुमान लगाने के लिए किया जाता है। बहुपद प्रतिगमन के लिए, मैटलैब, आर, ज़ोरो और कई अन्य प्लेटफार्मों के पॉलीफ़िट फ़ंक्शन का उपयोग किया जा सकता है।

4. पर्सेप्ट्रॉन

अक्सर इसे केवल एक न्यूरॉन के साथ एक तंत्रिका नेटवर्क कहा जाता है। वास्तव में, परसेप्ट्रॉन एक रिग्रेशन फ़ंक्शन है, जैसा कि ऊपर वर्णित है, लेकिन एक द्विआधारी परिणाम के साथ, जिसके परिणामस्वरूप इसे लॉजिस्टिक रिग्रेशन कहा जाता है। हालांकि, सामान्य तौर पर, यह एक प्रतिगमन नहीं है, लेकिन एक वर्गीकरण एल्गोरिथ्म है। उदाहरण के लिए, ज़ोरो फ्रेमवर्क का सलाह कार्य (PERCEPTRON, ...) C कोड उत्पन्न करता है जो कि 100 या -100 देता है जो इस बात पर निर्भर करता है कि अनुमानित परिणाम थ्रेशोल्ड है या नहीं:

 int predict(double* sig) { if(-27.99*sig[0] + 1.24*sig[1] - 3.54*sig[2] > -21.50) return 100; else return -100; } 

जैसा कि आप देख सकते हैं, रिग फॉर्मूला में फ़ंक्शन सरणी के बराबर सिग सरणी है, और गुणांक डिजिटल कारक हैं।

5. तंत्रिका नेटवर्क

रैखिक या लॉजिस्टिक प्रतिगमन केवल रैखिक समस्याओं को हल कर सकते हैं। इसी समय, ट्रेडिंग कार्य अक्सर इस श्रेणी में फिट नहीं होते हैं। एक प्रसिद्ध उदाहरण एक साधारण XOR फ़ंक्शन के आउटपुट की भविष्यवाणी है। इसमें लेनदेन से लाभ की भविष्यवाणी भी शामिल है। एक कृत्रिम तंत्रिका नेटवर्क (एएनएन) गैर-रैखिक समस्याओं को हल कर सकता है। यह अवधारणात्मक का एक सेट है जो विभिन्न स्तरों की एक सरणी में जुड़ा हुआ है। प्रत्येक परसेप्ट्रॉन एक नेटवर्क न्यूरॉन है। इसका उत्पादन निम्न स्तर के अन्य न्यूरॉन्स के लिए इनपुट बन जाता है:



परसेप्ट्रोन की तरह, तंत्रिका नेटवर्क को गुणांक निर्धारित करके प्रशिक्षित किया जाता है जो नमूना में भविष्यवाणी और लक्ष्य के बीच त्रुटि को कम करता है। इसके लिए एक सन्निकटन प्रक्रिया की आवश्यकता होती है, आमतौर पर आउटपुट से इनपुट तक त्रुटि के पीछे प्रसार के साथ रास्ते के वजन के अनुकूलन के साथ। इस प्रक्रिया की दो सीमाएँ हैं। सबसे पहले, न्यूरॉन्स का उत्पादन परिधि के लिए एक साधारण सीमा के बजाय एक निरंतर भिन्न कार्य होना चाहिए। दूसरे, नेटवर्क बहुत गहरा नहीं होना चाहिए - इनपुट और आउटपुट डेटा के बीच बड़ी संख्या में छिपे हुए न्यूरॉन्स की उपस्थिति केवल हानि पहुँचाती है। यह दूसरी सीमा उन समस्याओं की जटिलता को सीमित करती है जो एक मानक तंत्रिका नेटवर्क हल कर सकते हैं।

लेन-देन की भविष्यवाणी करने के लिए तंत्रिका नेटवर्क का उपयोग करते समय, आपके पास बहुत सारे पैरामीटर होंगे जो कि हेरफेर किए जा सकते हैं, जो यदि गलत तरीके से किया जाता है, तो चयन पूर्वाग्रह की उपस्थिति हो सकती है:

• छिपे हुए स्तरों की संख्या;
• प्रत्येक छिपे हुए स्तर में न्यूरॉन्स की संख्या;
• बैकप्रोपगैशन चक्रों की संख्या - युग;
• प्रशिक्षण की डिग्री, युग की चरण चौड़ाई;
• गति, वजन के अनुकूलन के लिए जड़ता कारक;
• सक्रियण समारोह।

सक्रियण फ़ंक्शन पेरीसेप्ट्रोन थ्रेशोल्ड का अनुकरण करता है। वापस प्रसार के लिए, आपको लगातार अलग-अलग फ़ंक्शन की आवश्यकता होती है जो कि एक्स के एक निश्चित मूल्य के लिए एक नरम कदम उत्पन्न करता है। आमतौर पर, सिग्मॉइड, टैनह या सॉफ्टमैक्स फ़ंक्शन इसके लिए उपयोग किए जाते हैं। कभी-कभी एक रेखीय फ़ंक्शन का उपयोग किया जाता है जो सभी इनपुट डेटा का भारित योग लौटाता है। इस मामले में, नेटवर्क का उपयोग बाइनरी आउटपुट के बजाय प्रतिगमन, संख्यात्मक मूल्यों की भविष्यवाणी के लिए किया जा सकता है।

तंत्रिका नेटवर्क आर के मानक पैकेज वितरण में शामिल हैं (उदाहरण के लिए, एननेट एक छिपे हुए स्तर के साथ एक नेटवर्क है), साथ ही कई अन्य पैकेजों (जैसे आरएसएनएनएस और एफसीएनएन 4 आर) में।

6. गहरी सीख

डीप लर्निंग के तरीकों में कई छिपे हुए स्तरों और हजारों न्यूरॉन्स के साथ तंत्रिका नेटवर्क का उपयोग किया जाता है जिन्हें सरल रूप से वापस प्रचार का उपयोग करके प्रभावी ढंग से प्रशिक्षित नहीं किया जा सकता है। हाल के वर्षों में, इस तरह के बड़े नेटवर्क को प्रशिक्षित करने के लिए कई तरीके लोकप्रिय हो गए हैं। वे आम तौर पर बुनियादी सीखने की प्रभावशीलता बढ़ाने के लिए न्यूरॉन्स के छिपे हुए स्तर के पूर्व प्रशिक्षण को शामिल करते हैं।

प्रतिबंधित बोल्ट्ज़मन मशीन (आरबीएम) एक विशेष नेटवर्क संरचना के साथ एक अनियंत्रित वर्गीकरण एल्गोरिथ्म है जिसमें छिपे हुए न्यूरॉन्स के बीच कोई संबंध नहीं है। स्पार्स ऑटो एनकोडर (SAE) सामान्य नेटवर्क संरचना का उपयोग करता है, लेकिन पूर्व स्तर पर छिपे हुए स्तरों को एक विशिष्ट तरीके से छिपाता है, संभव के रूप में कुछ सक्रिय कनेक्शन के साथ आउटपुट स्तरों पर इनपुट संकेतों को पुन: पेश करता है। ये विधियां आपको बहुत जटिल शिक्षण समस्याओं को हल करने के लिए बहुत जटिल नेटवर्क को लागू करने की अनुमति देती हैं। उदाहरण के लिए, गो खेलने वाले सर्वश्रेष्ठ व्यक्ति को हराने का कार्य।

डीप लर्निंग नेटवर्क डीपनेट में शामिल हैं और आर। डीपनेट के लिए डर्क पैकेज में ऑटो-एनकोडर शामिल है, और डर्क में बोल्ट्जमैन मशीन शामिल है। नीचे कोड का एक उदाहरण है जो ज़ोरो के माध्यम से व्यापार संकेतों को संसाधित करने के लिए तीन छिपे हुए स्तरों के साथ डीपनेट का उपयोग करता है।

 library('deepnet', quietly = T) library('caret', quietly = T) # called by Zorro for training neural.train = function(model,XY) { XY <- as.matrix(XY) X <- XY[,-ncol(XY)] # predictors Y <- XY[,ncol(XY)] # target Y <- ifelse(Y > 0,1,0) # convert -1..1 to 0..1 Models[[model]] <<- sae.dnn.train(X,Y, hidden = c(50,100,50), activationfun = "tanh", learningrate = 0.5, momentum = 0.5, learningrate_scale = 1.0, output = "sigm", sae_output = "linear", numepochs = 100, batchsize = 100, hidden_dropout = 0, visible_dropout = 0) } # called by Zorro for prediction neural.predict = function(model,X) { if(is.vector(X)) X <- t(X) # transpose horizontal vector return(nn.predict(Models[[model]],X)) } # called by Zorro for saving the models neural.save = function(name) { save(Models,file=name) # save trained models } # called by Zorro for initialization neural.init = function() { set.seed(365) Models <<- vector("list") } # quick OOS test for experimenting with the settings Test = function() { neural.init() XY <<- read.csv('C:/Project/Zorro/Data/signals0.csv',header = F) splits <- nrow(XY)*0.8 XY.tr <<- head(XY,splits) # training set XY.ts <<- tail(XY,-splits) # test set neural.train(1,XY.tr) X <<- XY.ts[,-ncol(XY.ts)] Y <<- XY.ts[,ncol(XY.ts)] Y.ob <<- ifelse(Y > 0,1,0) Y <<- neural.predict(1,X) Y.pr <<- ifelse(Y > 0.5,1,0) confusionMatrix(Y.pr,Y.ob) # display prediction accuracy } 

7. सपोर्टर्स वैक्टर

तंत्रिका नेटवर्क के साथ के रूप में, समर्थन वेक्टर विधि रैखिक प्रतिगमन का एक और विस्तार है। यदि आप फिर से प्रतिगमन सूत्र को देखते हैं:



फिर एक n-आयामी अंतरिक्ष के निर्देशांक के रूप में xn फ़ंक्शन की व्याख्या कर सकता है। लक्ष्य चर y को एक निश्चित मान पर सेट करना इस स्थान में विमान को निर्धारित करेगा - इसे हाइपरप्लेन कहा जाएगा, क्योंकि वास्तव में इसके दो (यहां तक ​​कि n-1) आकार होंगे। हाइपरप्लेन उन नमूनों से y> 0 के साथ अलग करता है, जहां से y <0। गुणांकों की गणना निकटतम नमूने से विमान को अलग करने वाले मार्ग के रूप में की जा सकती है - इसके समर्थन वैक्टर, इसलिए एल्गोरिथ्म का नाम। इस प्रकार, हम जीतने और खोने के नमूनों के इष्टतम पृथक्करण के साथ एक द्विआधारी क्लासिफायरियर प्राप्त करते हैं।

समस्या: आम तौर पर इन नमूनों को रैखिक रूप से विभाजित नहीं किया जा सकता है - वे बेतरतीब ढंग से एक फ़ंक्शन स्थान में समूहीकृत होते हैं। जीतने और खोने के विकल्पों के बीच एक चिकनी विमान को खींचना असंभव है, अगर ऐसा किया जा सकता है, तो इसकी गणना के लिए कोई भी रैखिक विवेचक विश्लेषण जैसे सरल तरीकों का उपयोग कर सकता है। लेकिन सामान्य मामले में, आप चाल का उपयोग कर सकते हैं: अंतरिक्ष में अधिक आकार जोड़ सकते हैं। इस मामले में, समर्थन वेक्टर एल्गोरिथ्म एक परमाणु फ़ंक्शन के साथ अधिक पैरामीटर उत्पन्न करने में सक्षम होगा जो कि किसी भी दो भविष्यवक्ताओं को जोड़ती है - साधारण प्रतिगमन से बहुपद तक संक्रमण के समान। जितना अधिक आकार आप जोड़ते हैं, उतना आसान है कि नमूनों को हाइपरप्लेन के साथ विभाजित करना। फिर इसे मूल n- आयामी स्थान में वापस परिवर्तित किया जा सकता है।

तंत्रिका नेटवर्क की तरह, संदर्भ वैक्टर का उपयोग न केवल वर्गीकरण के लिए किया जा सकता है, बल्कि प्रतिगमन के लिए भी किया जा सकता है। वे अनुकूलन और संभावित वापसी के लिए कई विकल्प भी प्रदान करते हैं:

• कर्नेल फ़ंक्शन - आरबीएफ कर्नेल (रेडियल आधार फ़ंक्शन, सममित कर्नेल) आमतौर पर उपयोग किया जाता है, लेकिन अन्य कर्नेल का चयन किया जा सकता है, उदाहरण के लिए, सिग्मोइड, बहुपद और रैखिक।
• गामा - आरबीएफ कोर चौड़ाई।
• प्रशिक्षण नमूनों के गलत वर्गीकरण के लिए लागत पैरामीटर C, "जुर्माना"।

Libsvm लाइब्रेरी का उपयोग अक्सर किया जाता है, जो R10 के लिए e1071 पैकेज में उपलब्ध है।

8. k- निकटतम पड़ोसियों का एल्गोरिदम

भारी एएनएन और एसवीएम की तुलना में, यह एक अनोखी संपत्ति के साथ एक सरल और सुखद एल्गोरिथ्म है: इसे प्रशिक्षित करने की आवश्यकता नहीं है। नमूने मॉडल होंगे। इस एल्गोरिथ्म का उपयोग एक ट्रेडिंग सिस्टम के लिए किया जा सकता है जिसे लगातार नए नमूने जोड़कर प्रशिक्षित किया जा रहा है। यह एल्गोरिदम वर्तमान मूल्य से k- निकटतम नमूनों तक के कार्यों की अंतरिक्ष में दूरियों की गणना करता है। दो सेट (X1 ... xn) और (y1 ... yn) के बीच n- आयामी अंतरिक्ष में दूरी की गणना सूत्र द्वारा की जाती है:



एल्गोरिथ्म बस निकटतम नमूनों के k लक्ष्य चर के औसत से लक्ष्य की भविष्यवाणी करता है, जो उनकी वापसी दूरी से भारित होता है। इसका उपयोग वर्गीकरण और प्रतिगमन दोनों के लिए किया जा सकता है। निकटतम पड़ोसियों की भविष्यवाणी करने के लिए, आप आर को knn फ़ंक्शन को कॉल कर सकते हैं या इस उद्देश्य के लिए स्वयं सी कोड लिख सकते हैं।

9. के- साधन

यह अनियंत्रित वर्गीकरण के लिए एक सन्निकटन एल्गोरिथ्म है। यह कुछ हद तक पिछले एल्गोरिथम जैसा है। नमूनों को वर्गीकृत करने के लिए, एल्गोरिथम पहले फ़ंक्शन स्थान में यादृच्छिक बिंदुओं को रखता है। फिर वह इनमें से किसी एक बिंदु को सभी नमूनों को सबसे छोटी दूरी के साथ असाइन करता है। फिर बिंदु इन निकटतम मूल्यों के मध्य में स्थानांतरित हो जाता है। यह नए नमूना बाइंडिंग उत्पन्न करता है, क्योंकि उनमें से कुछ अब अन्य बिंदुओं के करीब होंगे। इस प्रक्रिया को तब तक दोहराया जाता है जब तक कि बिंदुओं की शिफ्ट के परिणामस्वरूप पुन: संदर्भित न हो जाए, जब तक कि प्रत्येक बिंदु निकटतम नमूनों के लिए औसत न हो। अब हमारे पास k नमूना कक्षाएं हैं, प्रत्येक के-पॉइंट के बगल में स्थित है।

यह सरल एल्गोरिथ्म आश्चर्यजनक रूप से अच्छे परिणाम उत्पन्न कर सकता है। आर में, इसे लागू करने के लिए kmeans फ़ंक्शन का उपयोग किया जाता है; एल्गोरिथ्म का एक उदाहरण लिंक पर पाया जा सकता है।

10. भोले भाले

यह एल्गोरिथ्म गैर-संख्यात्मक कार्यों (घटनाओं) के नमूनों को वर्गीकृत करने के लिए बायेसियन प्रमेय का उपयोग करता है, जैसे कि ऊपर वर्णित मोमबत्ती पैटर्न। मान लीजिए कि ईवेंट X (उदाहरण के लिए, मौजूदा बार के ओपन पैरामीटर के नीचे पिछली बार का ओपन पैरामीटर) विजयी नमूनों के 80% में दिखाई देता है। फिर इसमें घटना X की उपस्थिति में नमूना जीतने की संभावना क्या होगी? यह 0.8 नहीं है जैसा कि आप सोच सकते हैं। इस संभावना की गणना सूत्र द्वारा की जाती है:



P (Y | X) संभावना है कि X ईवेंट (हमारे उदाहरण में, Open (1) <Open (0)) वाले सभी नमूनों में Y ईवेंट (लाभ) होगा। सूत्र के अनुसार, यह सभी विजेता नमूनों में घटना X की घटना की संभावना के बराबर है (हमारे मामले में, 0.8), सभी नमूनों में संभाव्यता Y से गुणा (लगभग 0.5 यदि आप संतुलन साधने के लिए युक्तियों का पालन करते हैं) और X की घटना की संभावना से विभाजित। सभी नमूने।

यदि हम अनुभवहीन हैं और मान लेते हैं कि X की सभी घटनाएँ एक-दूसरे से स्वतंत्र हैं, तो हम कुल संभावना की गणना कर सकते हैं कि नमूना प्रत्येक घटना X के लिए संभावनाओं P (X | विजेता) को केवल गुणा करके जीता जाएगा। तब हम निम्नलिखित सूत्र पर पहुँचे।



स्केलिंग कारक के साथ एस। कार्य करने के एक सूत्र के लिए, फ़ंक्शंस को इस तरह से चुना जाना चाहिए कि वे यथासंभव स्वतंत्र हों। यह व्यापार के लिए भोले Bayes का उपयोग करने के लिए एक बाधा होगी। उदाहरण के लिए, दो घटनाएँ क्लोज़ (1) <क्लोज़ (0) और ओपन (1) <ओपन (0) एक दूसरे से स्वतंत्र नहीं होने की सबसे अधिक संभावना है। संख्या को अलग-अलग श्रेणियों में विभाजित करके संख्यात्मक भविष्यवाणियों को घटनाओं में बदला जा सकता है। आर के लिए Naive Bayes पैकेज e1071 में उपलब्ध है।

11. निर्णय और प्रतिगमन पेड़

इस तरह के पेड़ पेड़ की शाखाओं की संरचना में हां / नहीं प्रारूप में एक निर्णय श्रृंखला के आधार पर संख्यात्मक मूल्यों के परिणाम की भविष्यवाणी करते हैं। प्रत्येक निर्णय घटनाओं की उपस्थिति या अनुपस्थिति (गैर-संख्यात्मक मूल्यों के मामले में) या एक निश्चित सीमा के साथ मूल्यों की तुलना का प्रतिनिधित्व करता है। एक विशिष्ट वृक्ष का कार्य, उदाहरण के लिए, ज़ोरो ढांचे द्वारा उत्पन्न, इस तरह दिखता है:

 int tree(double* sig) { if(sig[1] <= 12.938) { if(sig[0] <= 0.953) return -70; else { if(sig[2] <= 43) return 25; else { if(sig[3] <= 0.962) return -67; else return 15; } } } else { if(sig[3] <= 0.732) return -71; else { if(sig[1] > 30.61) return 27; else { if(sig[2] > 46) return 80; else return -62; } } } } 

इस तरह के एक पेड़ को नमूनों के सेट से कैसे प्राप्त किया जाता है? इसके लिए कई तरीके हो सकते हैं, जिसमें शैनन की सूचनात्मक प्रवेश भी शामिल है।

निर्णय पेड़ों का काफी व्यापक रूप से उपयोग किया जा सकता है। उदाहरण के लिए, वे भविष्यवाणियों को उत्पन्न करने के लिए उपयुक्त हैं जो तंत्रिका नेटवर्क या संदर्भ वैक्टर का उपयोग करके प्राप्त किया जा सकता है। हालांकि, यह एक सार्वभौमिक समाधान नहीं है। इस प्रकार का सबसे प्रसिद्ध एल्गोरिथ्म C5.0 है, जो R के लिए C50 पैकेज में उपलब्ध है।

भविष्यवाणियों की गुणवत्ता को और बेहतर बनाने के लिए, आप पेड़ों के सेट का उपयोग कर सकते हैं - उन्हें यादृच्छिक वन कहा जाता है। यह एल्गोरिथ्म आर संकुल में उपलब्ध है जिसे रैंडम फ़ॉरेस्ट, रेंजर और रोबिस्ट कहा जाता है।

निष्कर्ष

डेटा माइनिंग और मशीन लर्निंग के कई तरीके हैं। यहाँ महत्वपूर्ण सवाल यह है: जो बेहतर है, मॉडल-आधारित या मशीन-शिक्षण रणनीति? इसमें कोई संदेह नहीं है कि मशीन सीखने के कई फायदे हैं। उदाहरण के लिए, आपको बाजार, अर्थव्यवस्था के माइक्रोस्ट्रक्चर के बारे में परवाह करने की आवश्यकता नहीं है, बाजार सहभागियों या अन्य समान चीजों के दर्शन को ध्यान में रखें। आप शुद्ध गणित पर ध्यान केंद्रित कर सकते हैं। ट्रेडिंग सिस्टम बनाने के लिए मशीन लर्निंग बहुत अधिक सुरुचिपूर्ण और आकर्षक तरीका है। उनकी तरफ से, व्यापारियों के मंचों पर कहानियों के अलावा, एक को छोड़कर सभी फायदे, वास्तविक ट्रेडिंग में इस पद्धति की सफलता को ट्रैक करना मुश्किल है।

लगभग हर हफ्ते, मशीन लर्निंग का उपयोग करके ट्रेडिंग के बारे में नए लेख प्रकाशित किए जाते हैं। ऐसी सामग्रियों को उचित मात्रा में संदेह के साथ लिया जाना चाहिए। कुछ लेखकों ने 70%, 80% या 85% की शानदार जीत दर का दावा किया है। हालांकि, कुछ लोग कहते हैं कि भविष्यवाणियां जीतने पर भी आप पैसा खो सकते हैं। 85% की सटीकता आमतौर पर 5 से ऊपर एक लाभप्रदता संकेतक में तब्दील हो जाती है - अगर सब कुछ इतना सरल था, तो ऐसी प्रणाली के निर्माता पहले से ही अरबपति बन जाएंगे। हालांकि, किसी कारण के लिए, लेखों में वर्णित विधियों को दोहराकर समान परिणामों को पुन: प्रस्तुत करना विफल हो जाता है।

मॉडल-आधारित प्रणालियों की तुलना में, बहुत कम वास्तविक सफल मशीन लर्निंग सिस्टम हैं। उदाहरण के लिए, वे शायद ही कभी सफल हेज फंड द्वारा उपयोग किए जाते हैं। शायद भविष्य में, जब कंप्यूटिंग शक्ति और भी अधिक सुलभ हो जाती है, तो कुछ बदल जाएगा, लेकिन अब, गहन सीखने के एल्गोरिदम एक्सचेंज पर एक वास्तविक पैसे बनाने वाले उपकरण की तुलना में गीक्स के लिए अधिक दिलचस्प शौक बने हुए हैं।

आईटीआई कैपिटल से अन्य वित्तीय और शेयर बाजार से संबंधित सामग्री:

• विश्लेषण और बाजार की समीक्षा
• भविष्य में वापस: ऐतिहासिक डेटा का उपयोग करके एक ट्रेडिंग रोबोट के प्रदर्शन की जांच करना
• घटना-चालित पायथन बैकिंग स्टेप बाय स्टेप ( भाग 1 , भाग 2 , भाग 3 , भाग 4 , भाग 5 )