तो शरद ऋतु-सर्दियों का समय आ गया है। खिड़की के बाहर, बारिश और बाहर समय बिताने की इच्छा कम होती है। और फिर एक संदेश मेरे एक मित्र का आता है, " चलो वंशावली 2 खेलते हैं ?" और फिर, उदासीनता से उपजते हुए, मैं सहमत हो गया। हमने ru-toe पर एक नया सर्वर चुना और पात्रों का निर्माण किया।

Warcraft की दुनिया के विपरीत, वंश 2 में एक पूरी तरह से अलग खेल मुद्रा खनन प्रणाली है। आपको लाभ प्राप्त करने के उद्देश्य से घड़ी के आसपास राक्षसों का शिकार करने की आवश्यकता है। यह मेरे लिए भी एक खोज थी कि कुछ लोगों के लिए आरएमटी (रियल मनी ट्रेडिंग) थोड़ा काम है। इसके अलावा, खेल में एक अर्थव्यवस्था होती है जो खिलाड़ी बनाते हैं। दूसरे शब्दों में, आप खरीद-बिक्री पर पैसे कमा सकते हैं या सस्ते संसाधन खरीद सकते हैं, उनमें से चीजें बना सकते हैं और प्रीमियम पर बेच सकते हैं। चूँकि हमारे लिए खेल एक प्रकार का विश्राम है, यह खेल मुद्रा प्राप्त करने का तरीका था जिसे हमने चुना।

आइटम खरीदने और बेचने के लिए, खिलाड़ी को ऑनलाइन (ऊपर स्क्रीनशॉट) होना चाहिए। तदनुसार, कोई व्यक्ति तेजी से (सस्ता) बेचना चाहता है और कोई जल्दी खरीदता है (अधिक महंगा)। लेकिन क्या होगा अगर अंतर बिकता है - सकारात्मक खरीदें? बस इस उदाहरण को लेख में परिणाम के रूप में माना जाएगा।

हालांकि, बाजार की कीमतें काफी अस्थिर हैं और अक्सर बदलती रहती हैं। इसलिए, यह कुछ "सस्ते" खरीदने की संभावना है और फिर भी एक नकारात्मक लाभ पर बेचने के लिए सस्ता है। यही हम बचने की कोशिश कर रहे हैं। सामान्य तौर पर, बाजार विश्लेषण की एक प्रणाली लिखने और कुछ तकनीकों से निपटने का निर्णय लिया गया जो मेरे लिए दिलचस्प हैं।

बिगाड़ने वाला :
लेख में निम्नलिखित तकनीकों का उपयोग किया जाएगा
Docker, DigitalOean, NodeJs, Ktor, Prometheus, Grafana, Telegram bot की अधिसूचना

पहले डेटा था

किसी चीज़ का विश्लेषण करने के लिए, हमें सबसे पहले कुछ पाने की ज़रूरत है। जानकारी प्राप्त करने के 2 विकल्पों पर विचार किया गया।

सूँघना - एक आवेदन लिखें जो ट्रैफ़िक को सुनेगा और उसका विश्लेषण करेगा। इस दृष्टिकोण के नुकसान बहुत सरल हैं। आपको लगातार ऑनलाइन रहने और बाजार को देखने की जरूरत है, और सर्वर की नीति के अनुसार वे प्रतिबंध लगा सकते हैं। हालांकि, मैं उपयोगकर्ता से न्यूनतम कार्रवाई करना चाहता हूं और जितना संभव हो उतना सब कुछ स्वचालित करना वांछनीय है।

पार्सिंग - एक साइट है जो इस गेम के लिए सूँघने में माहिर है - l2on.net। बस हमें क्या चाहिए! हम इस सेवा के लिए एक कच्चे डेटा कलेक्टर की भूमिका देते हैं। यह केवल किसी भी तरह डेटा प्राप्त करने और उनके साथ प्रयोग करना शुरू कर देता है।

क्वेरी स्ट्रिंग के आधार पर, हम समझते हैं कि हमें इस पर जानकारी प्राप्त करने के लिए संसाधन आईडी को पारित करने की आवश्यकता है। हालांकि, अगर हम इसे स्वचालित करेंगे, तो गेम सर्वर की आईडी को स्थानांतरित करना भी आवश्यक है। पृष्ठ के स्रोत कोड में एक मिनट खुदाई करने के बाद, निम्नलिखित पाया गया:

कोशिश कर रहा है ... शानदार! हमें खरीद और बिक्री की कीमतों की एक सूची मिलती है।
अब आपको यह सोचने की ज़रूरत है कि साइट को पार्स कैसे किया जाए।

विकल्प NodeJs के लिए Puppeteer पर गिर गया।
इसके आधार पर, सबसिस्टम, स्क्रेपर का पहला मॉड्यूल बनाया गया था। इसका मुख्य कार्य JSON के रूप में साइट पर जाना, खुला, पार्स करना और डेटा वापस करना है। हम अंतिम एन तत्वों का एक नमूना लेते हैं, औसत, न्यूनतम और अधिकतम कीमतों पर विचार करते हैं। (आगे देखते हुए, मैं कहता हूँ कि यदि आपको कोई खिलाड़ी बिक्री पर बहुत अधिक कीमत देता है या खरीद पर कम कीमत देता है) तो हमें डेटा के अनुसार उत्तर प्राप्त करने के लिए प्रतिशत को परिशोधित करने की आवश्यकता है:

अब हम अगले भाग पर जा सकते हैं - डेटा स्टोरेज ।

मान लीजिए हमारे पास हमारे डेटा के 2-3 उपभोक्ता हैं और हम उन्हें एक सरणी देना चाहते हैं। हम l2on के लगातार अनुरोधों से भी बचना चाहते हैं ताकि इसे ब्लैकलिस्ट नहीं किया जा सके। इसलिए हमें एक दूसरा मॉड्यूल बनाने की आवश्यकता है जो कि l2on और हमारे एजेंटों के बीच मध्यस्थ के रूप में कार्य करेगा।

सर्वेक्षण पद्धति को सरल चुना गया था। हर 5 मिनट में एक बार, मॉड्यूल को स्थापित सूची से सभी वस्तुओं का अनुरोध करना चाहिए और एक संसाधन के साथ-साथ एनालिटिक्स के लिए आउटपुट के रूप में डेटा प्रदान करना चाहिए।

इस प्रणाली के लिए, मैं Ktor की कोशिश करना चाहता था - Kotlin पर एक सर्वर समाधान।
मैंने डेटाबेस का उपयोग नहीं किया, लेकिन मैंने सिंगलटन में नवीनतम डेटा को संग्रहीत करने का निर्णय लिया। हां, समाधान सबसे सुरुचिपूर्ण नहीं है, लेकिन यह एक त्वरित फिट है, और हम हमेशा इसे अनुकूलित करने में सक्षम होंगे।

तो सिस्टम का दूसरा मॉड्यूल दिखाई दिया - हार्वेस्टर ।
हार्वेस्टर उपयोगकर्ता को दो एंडपॉइंट / आइटम / {आईडी} और / मैट्रिक्स प्रदान करता है
यदि पूर्व के साथ सब कुछ स्पष्ट है, तो बाद वाला सिस्टम अगले सिस्टम के प्रारूप में डेटा देता है - प्रोमेथियस

एनालिटिक्स के लिए डेटा स्टोरेज

मध्यवर्ती लिंक को प्रोमेथियस चुना गया - एनालिसिस के लिए एक ओपन सोर्स डेटाबेस जो पुल दृष्टिकोण के माध्यम से काम करता है। दूसरे शब्दों में, कॉन्फ़िगर करते समय, आपको डेटा प्रदाता और मतदान आवृत्ति के सेट में याम्ल फ़ाइल निर्दिष्ट करने की आवश्यकता होती है। हमारे मामले में, यह बिल्कुल वही / मेट्रिक्स एंडपॉइंट है।

हम प्रोमेथियस को चलाने की कोशिश करते हैं (डिफ़ॉल्ट रूप से यह पोर्ट 9090 है) और यदि हम लक्ष्य के समान कुछ देखते हैं:

इसलिए हम सही रास्ते पर हैं। इसका मतलब यह है कि हर 30 सेकंड में प्रोमेथियस हार्वेस्टर में जाता है और उन सभी वस्तुओं के लिए अंतिम स्थिति चुनता है जिनमें हम रुचि रखते हैं।

डेटा प्रदर्शन

अगला चरण एक सुंदर ग्राफ डिस्प्ले है।

प्रतिपादन के लिए, ग्रेफाना को चुना गया , जो ओपन सोर्स भी है।
प्लसस ग्राफाना और प्रोमेथियस - वे डॉकर कंटेनरों के रूप में उपलब्ध हैं जिन्हें उपयोगकर्ता की न्यूनतम कार्रवाई की आवश्यकता होती है।

जब आप पहली बार ग्राफाना (मानक बंदरगाह 3000) शुरू करते हैं, तो यह आपको उपलब्ध डेटाबेस को निर्दिष्ट करने के लिए कहेगा। हम आधार के रूप में प्रोमेथियस का चयन करते हैं और पते को निर्धारित करते हैं। अगर सब कुछ ठीक रहा, तो हम देखेंगे:

अगला कदम रेखांकन बनाना है।

बिक्री चार्ट बनाने के अनुरोध का एक उदाहरण:

इस प्रकार, हम किसी भी समय खरीद और बिक्री के लिए औसत मूल्य, साथ ही कीमतों की गतिशीलता को देखते हैं।

हालांकि, ऐसे समय होते हैं जब न्यूनतम बिक्री मूल्य अधिकतम खरीद मूल्य से अधिक होता है। इसका मतलब यह है कि हम "खरीदने और बेचने" के रूप में आसान लाभ प्राप्त कर सकते हैं। भेजने वाले चैनल के लिए, टेलीग्राम द्वारा अधिसूचना का चयन किया गया था। एक बॉट बनाएँ और ग्राफ्टाना में अपना टोकन जोड़ें (हाँ हाँ, यह सूचनाओं का समर्थन करता है)

यह केवल उस स्थिति को स्थापित करने के लिए पर्याप्त है जिसके तहत यह अधिसूचना हमारे पास आएगी।

जैसा कि हम चार्ट से देख सकते हैं, ऐसी परिस्थितियां बाजार पर होती हैं।

बादल

हम डॉकटर कंटेनर में प्रत्येक सबसिस्टम को पैक करते हैं और इसे आपकी पसंद के अनुसार DigitalOcean या अन्य सेवाओं में लोड करते हैं। लेकिन यह हमें इस पूरी प्रणाली को एक समर्पित आईपी के बिना शुरू करने से नहीं रोकता है। अब DO के लिए न्यूनतम कंटेनर की कीमत $ 5 प्रति माह है।

स्क्रेपर पहले शुरू करें
docker run -d -p 6661: 6661 --name स्क्रेपर l2 / स्क्रेपर: नवीनतम

उसके पीछे हार्वेस्टर
docker run -d -p 6662: 6662 -v / root / हारवेस्टर: / res --link स्क्रेपर: स्क्रैपर l2harvester: नवीनतम
प्रारूप के साथ ids.txt फ़ाइल / हारवेस्टर फ़ोल्डर में होनी चाहिए

आईडी 1 नाम 1
id2 नाम 2

निष्कर्ष

अंततः, सिस्टम इस प्रकार है:

भविष्य में Google डॉक्स को अपडेट करने के लिए एक एजेंट को जोड़ने और मक्खी पर क्राफ्टिंग की लागत की गणना करने की योजना बनाई गई है।

मुझे नहीं पता कि इस ऑपरेटिंग समय का कोई लाभ होगा या नहीं, लेकिन मेरे लिए व्यक्तिगत रूप से यह लागू क्षेत्र में अपने ज्ञान को ताज़ा करने के लिए एक अच्छा अनुभव था। मेरी मुख्य विशिष्टता मोबाइल एप्लिकेशन है। सर्वर साइड विकास एक अतिरिक्त कौशल और जिज्ञासा है।

पूरक के रूप में, मैं कोड के साथ खुद को परिचित करने के लिए लिंक संलग्न करता हूं:
स्क्रेपर
फ़सल काटने की मशीन
(आप टीमों द्वारा कंटेनरों को इकट्ठा कर सकते हैं
docker बिल्ड -t स्क्रेपर।
डॉक बिल्ड -t हारवेस्टर।)

मुझे वास्तव में उम्मीद है कि इस लेख ने उदासीन भावनाओं के साथ किसी को प्रेरित किया, या कुछ नए विचार के लिए प्रेरणा दी। लेख को अंत तक पढ़ने के लिए धन्यवाद!