साइट पार्सिंग, या "सभी ऑनलाइन स्टोर इसे करते हैं" के बारे में सच्चाई

इस लेख में मैं पार्सिंग साइटों और इसकी मुख्य बारीकियों के बारे में बात करने की कोशिश करूँगा। मेरी कंपनी तीन साल से अधिक समय से साइटों को पार्स कर रही है और हर दिन हम लगभग 300 साइटों को पार्स करते हैं। मैं आमतौर पर सोशल नेटवर्क में इसके बारे में खुलकर लिखता हूं (प्लस हम रूस में सबसे बड़े स्टोरों के पार्सिंग के बहुत सारे नतीजे मुफ्त में - सार्वजनिक रूप से प्रकाशित करते हैं), जो उपयोगकर्ताओं से गर्म चर्चा और अस्वीकृति का कारण बनता है। टिप्पणियों को पढ़ने के बाद, अपने पीएम को देखना और उन लोगों से सहयोग के प्रस्तावों के साथ संदेशों को पढ़ना मज़ेदार है, जिन्होंने हमें पोस्ट के तहत टिप्पणियों में सिर्फ निंदा की है :) पूरा लेख सबसे अक्सर पूछे जाने वाले प्रश्नों और ईमानदार जवाबों के प्रारूप में होगा (विपणन सामग्री, तकनीकी नहीं )।

1. पार्सिंग क्या है?

परिभाषा के अनुसार, पार्सिंग संरचित रूप में असंरचित जानकारी, उसके परिवर्तन और आउटपुट का स्वचालित संग्रह है। बहुत हानिरहित, है ना? हालाँकि, समाज इसे काफी अजीबोगरीब हस्तमैथुन के रूप में मानता है - बहुतों ने यह :) किया, लेकिन कोई भी इसके बारे में सार्वजनिक रूप से बात नहीं करता है। इसके अलावा, पार्सिंग अक्सर पर आधारित है और कुछ हद तक शर्मनाक माना जाता है। कारण, अधिकांश समान मामलों में, गलत धारणा में है।

मैं आपको एक रहस्य बताता हूँ: हर कोई पार्स करने में लगा हुआ है ... कम से कम, बाजार के सभी प्रमुख खिलाड़ी। कुछ साल पहले, Vedomosti के एक लेख में, M-video, Svyaznoy और Citylink के प्रतिनिधियों ने FAS के हित के जवाब में यहां इस बारे में खुलकर बात की थी ( यहां देखें)।

2. के लिए पार्सिंग क्या है?

सबसे पहले, पार्सिंग का लक्ष्य मूल्य "खुफिया", वर्गीकरण विश्लेषण और कमोडिटी स्टॉक की ट्रैकिंग है। "कौन, क्या, कितनी और कितनी मात्रा में बेचता है?" - पार्स करने वाले मुख्य प्रश्नों का उत्तर देना चाहिए। अधिक विस्तार से, प्रतियोगियों या एक ही यैंडेक्स की सीमा को पार्स करना ।मार्केट पहले तीन प्रश्नों का उत्तर देता है।

माल के संचलन के साथ कुछ और अधिक जटिल है। हालांकि, "वाइल्डबेरीज", "लैमोडा" और लेरॉय मर्लिन जैसी कंपनियां खुलेआम दैनिक बिक्री (ऑर्डर) या उत्पाद संतुलन के बारे में जानकारी प्रदान करती हैं, जिसके आधार पर बिक्री का सामान्य विचार बनाना मुश्किल नहीं है (मैं अक्सर यह राय सुनता हूं कि यह डेटा विकृत हो सकता है) जानबूझकर - शायद, लेकिन शायद नहीं)। हम देखते हैं कि स्टॉक में आज, कल, परसों और एक महीने के लिए कितने माल थे, और शेड्यूल पहले से ही तैयार है और स्थिति के अनुसार मात्रा में परिवर्तन की गतिशीलता तैयार की गई है (माल का कारोबार वास्तव में)। डायनामिक्स जितना अधिक होगा, उतना अधिक टर्नओवर होगा।



Leroy मर्लिन वेबसाइट के अवशेषों के दैनिक विश्लेषण का उपयोग करके माल के कारोबार का पता लगाने का संभावित तरीका।

आप निश्चित रूप से, बिंदुओं के बीच माल की आवाजाही का उल्लेख कर सकते हैं। लेकिन कुल मिलाकर, अगर हम लेते हैं, उदाहरण के लिए, मॉस्को, संख्या में बहुत बदलाव नहीं होगा, और क्षेत्रों के साथ माल के महत्वपूर्ण आंदोलनों पर विश्वास करना मुश्किल है।

बिक्री संस्करणों के साथ स्थिति समान है। बेशक, ऐसी कंपनियां हैं जो कई / कुछ के रूप में जानकारी प्रकाशित करती हैं, लेकिन इसके साथ भी आप काम कर सकते हैं, और सबसे अधिक बिकने वाले पदों को आसानी से ट्रैक किया जाता है। खासकर यदि आप सस्ते पदों को काटते हैं और केवल उन पर ध्यान केंद्रित करते हैं जो सबसे बड़े मूल्य हैं। कम से कम हमने ऐसा विश्लेषण किया - यह दिलचस्प निकला।

दूसरे, सामग्री प्राप्त करने के लिए पार्सिंग का उपयोग किया जाता है। यहाँ, "ग्रे के कानूनी रंगों" की शैली पहले से ही जगह ले सकती है। कई इस तथ्य से ग्रस्त हैं कि पार्सिंग सामग्री की ठीक चोरी है, हालांकि यह पूरी तरह से मामला नहीं है। पार्सिंग केवल सूचनाओं का एक स्वचालित संग्रह है, इससे अधिक कुछ नहीं। उदाहरण के लिए, फ़ोटो को पार्स करना, विशेष रूप से "वॉटरमार्क" के साथ, सामग्री और कॉपीराइट उल्लंघन की शुद्ध चोरी है। इसलिए वे आमतौर पर ऐसा नहीं करते हैं (हमारे काम में हम खुद को छवियों के लिंक एकत्र करने के लिए प्रतिबंधित करते हैं, अधिक कुछ नहीं ... ठीक है, कभी-कभी वे हमें फोटो की संख्या गिनने, उत्पाद पर वीडियो की उपलब्धता को ट्रैक करने और लिंक देने आदि के लिए कहते हैं)।

सामग्री के संग्रह के संबंध में, उत्पाद विवरण के साथ स्थिति अधिक दिलचस्प है। हाल ही में, हमें बड़े ऑनलाइन फ़ार्मेसी के 50 साइटों पर डेटा एकत्र करने का आदेश मिला। वर्गीकरण और कीमत के बारे में जानकारी के अलावा, हमें चिकित्सा उपकरणों के विवरण को "स्पार्स" करने के लिए कहा गया था - जो प्रत्येक पैक में संलग्न है वह तथाकथित है। तथ्यात्मक जानकारी यानी कॉपीराइट कानून के अंतर्गत आने की संभावना नहीं है। नतीजतन, निर्देशों के एक मैनुअल सेट के बजाय, ग्राहकों को केवल निर्देश टेम्पलेट के लिए छोटे समायोजन करने होंगे, और यह सब - साइट के लिए सामग्री तैयार है। लेकिन हां, लेखक की दवाओं का विवरण भी हो सकता है जो एक नोटरी द्वारा प्रमाणित हैं और विशेष रूप से सामग्री चोरों के लिए एक तरह के जाल के रूप में बनाई गई हैं :)।

उदाहरण के लिए, OZON.RU या Labyrinth.ru के साथ, पुस्तक विवरण एकत्र करने पर विचार करें। यहाँ स्थिति कानूनी दृष्टिकोण से इतनी सीधी नहीं है। एक तरफ, इस तरह के विवरण का उपयोग कॉपीराइट का उल्लंघन कर सकता है, खासकर यदि प्रत्येक उत्पाद कार्ड के विवरण को नोटरीकृत किया गया है (जो मुझे दृढ़ता से संदेह है - यह प्रमाणित नहीं हो सकता है, अपवाद छोटे संसाधन हैं जो वे अदालतों के माध्यम से सामग्री चोरों को खींचना चाहते हैं)। किसी भी मामले में, इस स्थिति में आपको इस विवरण की विशिष्टता को साबित करने के लिए "पसीना" करना होगा। कुछ ग्राहक इससे भी आगे जाते हैं - वे पर्यायवाची जोड़ते हैं, जो सामान्य ज्ञान को बनाए रखते हुए विवरण में शब्दों को "मक्खी पर" (अच्छा या बुरा) बदलते हैं।

पार्सिंग का एक अन्य अनुप्रयोग काफी मूल है - "सेल्फ-पार्सिंग"। यहां कई लक्ष्यों का पीछा किया जाता है। शुरू करने के लिए, यह ट्रैक कर रहा है कि साइट की सामग्री के साथ क्या हो रहा है: जहां टूटी हुई लिंक हैं, जहां विवरण गायब हैं, माल का दोहराव, चित्रण की कमी, आदि। पार्सर के काम का आधा घंटा - और अब आपके पास सभी श्रेणियों और डेटा के साथ एक तैयार टेबल है। सुविधाजनक! "स्व-पार्सिंग" का उपयोग साइट पर उनके गोदाम के शेष के साथ संतुलन की तुलना करने के लिए भी किया जा सकता है (ऐसे ग्राहक भी हैं जो साइट पर अपलोड की विफलताओं को ट्रैक करते हैं)। "सेल्फ-पार्सिंग" का एक और अनुप्रयोग जो हमने अपने काम में पाया है, उसे यॉवेक्स मार्केट में अपलोड करने के लिए एक वेबसाइट से डेटा को संरचित करना है। लोगों के लिए ऐसा करने की तुलना में इसे मैन्युअल रूप से करना आसान था।

विज्ञापन भी पार्स किए जाते हैं, उदाहरण के लिए, CIAN-e, Avito आदि। यहाँ लक्ष्य या तो वास्तविकताओं या टूर ऑपरेटरों, या एकमुश्त फोन स्पैम, रिटारगेटिंग, इत्यादि के आधारों के पुनर्विक्रय हो सकते हैं। एविटो के मामले में, यह विशेष रूप से स्पष्ट है, क्योंकि उपयोगकर्ता फोन के साथ एक तालिका तुरंत संकलित की जाती है (इस तथ्य के बावजूद कि एविटो उपयोगकर्ताओं के फोन को सुरक्षा के लिए प्रतिस्थापित करता है और उन्हें एक छवि के रूप में प्रकाशित करता है, यह अभी भी आने वाली कॉल से कहीं भी संभव नहीं है)।

3. "क्या आप के लिए मेरे फिर से शुरू में है?" या HH.RU को पार्स करना

हाल ही में, हेडहंटर को पार्स करने के अनुरोध प्रासंगिक हो गए हैं। सच है, पहले लोगों को उन्हें "हेडहंटर बेस" बेचने के लिए कहा जाता है। लेकिन, जब वे पहले से ही समझ जाते हैं कि हमारे पास कोई आधार नहीं है और कोई आधार नहीं है, तो हम उनके प्रोफाइल ("पासवर्ड के साथ") में पार्स करने के बारे में बात करते हैं। यह पार्सिंग की एक अजीब दिशा है और, स्पष्ट रूप से, यह हमारे लिए बहुत दिलचस्प नहीं है, लेकिन इसके बारे में बात करने लायक है।

सूक्ष्मता क्या है? ग्राहक अपने खाते तक पहुंच प्रदान करता है और अपनी आवश्यकताओं के लिए डेटा एकत्र करने का कार्य निर्धारित करता है। यानी उन्होंने पहले ही एचएच डेटाबेस तक पहुंच के लिए भुगतान किया है और, हमारे साथ एक समझौते पर हस्ताक्षर करते हुए, हमें अपने हितों में और अपने खाते के तहत स्वचालित रूप से जानकारी एकत्र करने का कार्य निर्धारित करता है, जो पूरी तरह से उनकी जिम्मेदारी के तहत है। यदि HH असामान्य गतिविधि का पता लगाता है, तो खाता अवरुद्ध हो जाएगा। इसलिए, हम यथासंभव बेहतर डेटा के संग्रह में मानव गतिविधि का अनुकरण करने का प्रयास करते हैं।

यदि HH (जहां तक ​​मुझे पता है, "सफलतापूर्वक" एपीआई के साथ अपने प्रयोगों को विफल कर रहा है) क्षेत्र द्वारा एक टैबलेट पर डेटा (बेचा) प्रदान किया गया है, उदाहरण के लिए, मॉस्को में वर्तमान में कार्यरत सभी विपणन निदेशकों के संपर्क, कोई भी हमारे पास नहीं आया होगा। इस बीच, लोगों को "पेन" के साथ ऐसा करना पड़ता है, वे हमारे पास आते हैं। आखिरकार, जब आपके पास ऐसी तालिका होती है, तो विज्ञापन स्पैम - कोल्ड कॉल्स में संलग्न होना अधिक सुविधाजनक होता है।

मैं फिर से जोर देता हूं, हमारे पास एचएच डेटाबेस नहीं है, हम बस प्रत्येक ग्राहक के लिए उसकी जरूरतों, उसके खाते और उसकी जिम्मेदारी के लिए डेटा एकत्र करते हैं। और प्रस्ताव अनुबंध का उल्लंघन पार्सिंग पार्टी द्वारा साइट के उपयोग से जुड़ा नहीं है। हमारे साथ एक समझौते पर हस्ताक्षर करने से, क्लाइंट को लगभग 450 निर्णय-निर्माताओं के रन संपर्कों के लिए प्राप्त होता है, जो हम उसे सर्वर पर डालते हैं, और फिर उसका बिक्री विभाग तय करेगा कि इसके साथ क्या करना है। अगर हमारे पास ऐसा कोई आधार होता, तो हम भी “स्पैम” होते। बस मजाक कर रहे हैं :)

हालांकि, व्यक्तिगत रूप से, मुझे लगता है कि पासवर्ड के साथ पार्स करने की कोई संभावना नहीं है। खुले संसाधनों को पार्स करना एक और मामला है। एक बार जब आप सब कुछ सेट और लगातार पार्स करते हैं, तो आप सभी एकत्रित डेटा तक पहुंच को फिर से बेचना करते हैं। यह अधिक आशाजनक है।

4. क्या पार्स करना कानूनी है?

रूसी कानून में पार्सिंग को प्रतिबंधित करने का कोई लेख नहीं है। हैकिंग, डीडीओएस, कॉपीराइट सामग्री की चोरी निषिद्ध है, और पार्सिंग न तो एक है और न ही दूसरा है, न कि तीसरा और, तदनुसार, यह निषिद्ध नहीं है।

कुछ लोग डीडीओएस हमले के रूप में पार्सिंग को मानते हैं और इस पर संदेह करते हैं। हालांकि, ये पूरी तरह से अलग चीजें हैं, और जब पार्स करते हैं, हम, इसके विपरीत, लक्ष्य साइट को यथासंभव कम लोड करने की कोशिश करते हैं और व्यवसाय को नुकसान नहीं पहुंचाते हैं। स्वस्थ परजीवी के मामले में, हम यह नहीं चाहते हैं कि व्यवसाय "अपने खुरों को गिराए", अन्यथा हमारे पास "परजीवीकरण" करने के लिए कुछ भी नहीं होगा।

आमतौर पर वे रूस में शीर्ष 300-500 साइटों से बड़ी साइटों को पार्स करने के लिए कहते हैं। ऐसी साइटों पर, यातायात, एक नियम के रूप में, प्रति माह कई मिलियन है, शायद और भी अधिक। और ऐसी पृष्ठभूमि के खिलाफ, प्रति सेकंड एक उत्पाद को पार्स करना लगभग अदृश्य है (यह अधिक बार पार्स करने का कोई मतलब नहीं है, प्रति उत्पाद 1-2 सेकंड बड़ी साइटों के लिए इष्टतम गति है)। तदनुसार, हमारे कार्यों में डीडीओएस हमले का कोई संकेत नहीं है। बहुत कम ही, लोग हमसे अपडेट करने के लिए कहते हैं, उदाहरण के लिए, प्रति दिन पूरी BERU.RU साइट - मान लीजिए कि हम इसे स्पष्ट रूप से कहते हैं, यह ओवरकिल है और साइट पर लोड बहुत अधिक है ... आमतौर पर 3-4 दिन लगते हैं।

आपको याद दिला दूं कि पार्सिंग सिर्फ एक संग्रह है जिसे हम अपनी आंखों से साइट पर देख सकते हैं और अपने हाथों में कॉपी कर सकते हैं। इस प्रकार, केवल पहले से एकत्र की गई जानकारी के साथ कार्य, अर्थात्। ग्राहक की कार्रवाई खुद। यह सिर्फ इतना है कि एक व्यक्ति लंबे समय तक धीरे-धीरे और त्रुटियों के साथ करता है, और पार्सर - जल्दी से और गलतियां नहीं करता है। जब यह AliExpress या Wildberies से डेटा एकत्र करने की बात आती है तो क्या करें? इस तरह का कार्य केवल मनुष्य की शक्ति से परे है, और पार्सिंग एकमात्र तरीका है।

सच है, उन्होंने हाल ही में एक राज्य संगठन की वेबसाइट को पार्स करने के लिए कहा - एक अदालत, अगर मुझसे गलती नहीं है। वहाँ सभी जानकारी सार्वजनिक डोमेन में है, लेकिन हमने (बस मामले में) इनकार कर दिया। :)

5. "आप हमें क्यों पर्स दे रहे हैं, हम ग्राहक हैं" या पर्सिंग और प्राइस मॉनिटरिंग में क्या अंतर है?

मूल्य निगरानी, ​​पार्सिंग के लिए सबसे लोकप्रिय अनुप्रयोगों में से एक है। लेकिन यह उसके साथ इतना सरल नहीं है - इस मामले में, न केवल हमें काम करना होगा, बल्कि स्वयं ग्राहक भी।

मूल्य निगरानी का आदेश देते समय, हम तुरंत चेतावनी देते हैं कि हम न केवल प्रतियोगियों, बल्कि ग्राहक को भी पार्स करेंगे। सामान और कीमतों के साथ समान तालिकाओं को प्राप्त करना आवश्यक है, जिसे हम स्वचालित रूप से अपडेट कर सकते हैं। हालांकि, ऐसा डेटा अकेले तब तक वैल्यू नहीं लेता है जब तक कि यह इंटरकनेक्टेड (माल का तथाकथित मेल) न हो जाए। हम स्वचालित रूप से अलग-अलग साइटों से कुछ पदों को सहसंबद्ध कर सकते हैं, लेकिन, दुर्भाग्य से, इस समय "मशीनें" इतनी अच्छी नहीं हैं कि त्रुटियों के बिना इसकी गारंटी दी जा सके, और कोई भी व्यक्ति से बेहतर नहीं है (उदाहरण के लिए, क्षेत्रों से एक अंशकालिक कर्मचारी को दूर से काम करना) करेंगे।

यदि हर कोई साइट पर बारकोड प्रदर्शित करता है, तो यह बहुत अच्छा होगा, और हम सभी "बंडलों" को स्वचालित रूप से कर सकते हैं। लेकिन, दुर्भाग्य से, यह ऐसा नहीं है, और यहां तक ​​कि अलग-अलग कंपनियां अलग-अलग उत्पाद नामों को अलग-अलग तरीके से जादू करती हैं।

यह अच्छा है कि इस तरह के काम को एक बार करने की आवश्यकता है, और फिर समय-समय पर फिर से जांच की जाती है और यदि आवश्यक हो तो छोटे समायोजन करें। यदि लिंक हैं, तो हम पहले से ही ऐसी तालिकाओं को स्वचालित रूप से अपडेट कर सकते हैं। इसके अलावा, आमतौर पर लोगों को हर चीज के लिए कीमतों की निगरानी करने की आवश्यकता नहीं होती है: सशर्त रूप से 3-5 हजार पद हैं जो शीर्ष पर हैं, और एक तिपहिया ब्याज की नहीं है। और क्षेत्र के एक ऑपरेटर एक महीने में लगभग 10,000 रूबल के लिए इस तरह के काम को आसानी से कर सकते हैं।

इस मामले में सबसे सफल और सही मामला, मेरी राय में, प्रतियोगियों की मूल्य सूची को सीधे आपके 1C-ku (या अन्य ERP सिस्टम) पर अपलोड करना है और वहां आप पहले से ही तुलना कर सकते हैं। इसलिए मूल्य की निगरानी अपने विश्लेषकों की दैनिक गतिविधियों में लागू करना सबसे आसान है। और विश्लेषण के बिना, किसी को भी इस तरह के पार्सिंग की आवश्यकता नहीं है।

6. खुद को पार्स करने से कैसे बचाएं?

कोई रास्ता नहीं। और क्या यह खुद को पार्स करने से बचाने के लायक है? मैं नहीं करूँगा अभी भी 100% सुरक्षा नहीं है (अधिक सटीक रूप से, हम अभी तक नहीं मिले हैं), इसलिए मैं खुद का बचाव करने की कोशिश में बहुत अधिक नहीं देखता हूं। पार्सिंग के खिलाफ सबसे अच्छा संरक्षण बस साइट पर समाप्त तालिका बिछाने और लिखने के लिए है - इसे यहां से लें, हर दो दिनों में एक बार अपडेट करें। अगर लोग ऐसा करेंगे, तो हमारे पास रोटी नहीं होगी।

वैसे, उन्होंने हाल ही में एक बड़े नेटवर्क के आईटी निदेशक के साथ फोन किया - वे पार्सिंग के खिलाफ अपनी सुरक्षा का परीक्षण करना चाहते थे। मैंने सीधे उनसे पूछा कि वे क्यों नहीं। एक तकनीकी विशेषज्ञ के रूप में, वह पूरी तरह से समझता है कि पार्सिंग के खिलाफ कोई भी सुरक्षा नहीं बचाएगा, यह केवल शौकीनों को डरा देगा; लेकिन वे कंपनियां जो पार्सिंग पर पैसा कमाती हैं, वे इस दिशा में अनुसंधान गतिविधियों को बहुत अच्छी तरह से वहन कर सकती हैं - एक लंबे और दर्दनाक समय के लिए नई सुरक्षा को समझने के लिए, और अंततः इसके चारों ओर ...

एक नियम के रूप में, हर कोई एक ही प्रकार की सुरक्षा का उपयोग करता है, और ऐसा अध्ययन एक से अधिक बार काम में आएगा। इसलिए, यह पता चला कि विपणन विभाग इसके लिए तैयार नहीं है: "हम प्रतियोगियों के जीवन को सरल क्यों बनाते हैं?" यह तर्कसंगत प्रतीत होगा, लेकिन ... परिणामस्वरूप, कंपनी सुरक्षा पर पैसा खर्च करेगी, जो मदद नहीं करेगी और साइट पर परजीवी लोड बना रहेगा। यद्यपि, निष्पक्षता में, यह ध्यान देने योग्य है कि "छात्रों" से अजगर सीखना और हर चीज को बढ़ाना जो "चाल" अच्छी तरह से मदद करता है।

वैसे, यैंडेक्स और Google दोनों पार्सिंग में लगे हुए हैं: वे साइट पर जाते हैं और इसे इंडेक्स करते हैं - जानकारी एकत्र करते हैं। केवल हर कोई चाहता है कि यैंडेक्स और Google स्पष्ट कारणों के लिए अपनी साइटों को अनुक्रमित करें, और कोई भी पार्स नहीं होना चाहता :)

7. "मैंने यहां मुफ्त में देखा ..." या उड़ानों के बारे में एक कहानी

एक बार हमें टेस्ट पार्सिंग के लिए एक दिलचस्प आदेश के साथ संपर्क किया गया था। कंपनी एयरलाइन टिकट से संबंधित है और वे सबसे लोकप्रिय स्थलों में से एक जोड़े के लिए प्रतियोगियों की कीमतों में रुचि रखते थे। कार्य तुच्छ नहीं था, क्योंकि मुझे उड़ानों के प्रतिस्थापन और तुलना के साथ टिंकर करना पड़ा। यह दिलचस्प निकला कि एक ही उड़ानों के लिए "ओनेटवोट्रिप", "एवालेसल्स" और "स्काईस्कैनर" की कीमतें थोड़ी अलग हैं (प्रसार लगभग 5-7% है)।

यह परियोजना मुझे बहुत दिलचस्प लगी, और मैंने इसके बारे में सोशल नेटवर्क में एक पोस्ट किया। मेरे आश्चर्य के लिए, पोस्ट के तहत चर्चा काफी आक्रामक थी, और मुझे तुरंत समझ में नहीं आया कि क्यों। तब रूस में टिकट की बिक्री में बाजार के नेता की कंपनियों में से एक के सामान्य निदेशक ने मुझे लिखा था, और स्थिति साफ हो गई। यह पता चला कि ऐसी कंपनियों के लिए टिकट की कीमतों के लिए अनुरोध का भुगतान किया जाता है, क्योंकि वे अंतरराष्ट्रीय भुगतान सेवाओं से जानकारी लेते हैं। और, परजीवी लोड के अलावा, पार्सिंग भी उनके लिए वित्तीय है।

किसी भी मामले में, कोई भी आपसे भुगतान की मांग नहीं कर रहा है यदि आप व्यक्तिगत रूप से इन सेवाओं के लिए टिकट की तलाश कर रहे हैं, और सामान्य लोग भी विभिन्न विकल्पों के माध्यम से छंटनी करते हुए बहुत सारे अनुरोध करते हैं ... सामान्य तौर पर, ऐसा व्यवसाय दुविधा में है :)

9. "रसोइये-पार्सर के व्यंजनों"। या हम कैसे काम करते हैं?

मुझे लगता है कि पार्सिंग के सभी पहलुओं की बेहतर समझ के लिए, यह हमारे "आंतरिक रसोई" का पर्दा खोलने के लायक है।

यह सब एक आदेश के साथ शुरू होता है। कभी-कभी ग्राहक खुद हमसे संपर्क करते हैं, और कभी-कभी हम कॉल करते हैं। यह मूल्य निगरानी के आदेशों के साथ विशेष रूप से अच्छी तरह से पता चलता है। इस मामले में, हमें न केवल प्रतियोगियों, बल्कि स्वयं ग्राहक को भी पार्स करना होगा। इसलिए, हम कभी-कभी उन लोगों को बुलाते हैं जिन्हें हम एक तरह से या किसी अन्य को पार्स करते हैं, और हम इसके बारे में खुलकर बात करते हैं, हमारी सेवाओं की पेशकश करते हैं - काम पहले से ही हमारे द्वारा किया जा रहा है। सबसे पहले, प्रतिक्रिया बहुत नकारात्मक है, लेकिन कुछ दिन बीत जाते हैं, भावनाएं कम हो जाती हैं, और ग्राहक खुद को वापस बुलाते हैं, कहते हैं: "अरे! आप अभी भी किसको पार्स कर रहे हैं? ”

बहुत से दौरा किए गए संसाधनों के मालिकों के साथ पार्स करना भावनाओं का कारण बनता है। पहले नकारात्मक पर, क्योंकि यह एक कीहोल में झाँकने के समान है। फिर यह ब्याज में विकसित होता है, और फिर आवश्यकता के बारे में जागरूकता में। कारोबारी स्मार्ट लोग हैं। जब भावनाएं शून्य हो जाती हैं और ठंड की गणना बनी रहती है, तो सवाल हमेशा उठता है: "या शायद हम कहीं अविकसित थे, और हमें इसकी आवश्यकता है?"

इन भावनाओं के लिए धन्यवाद, हम काफी सक्रिय रूप से विकसित और विकसित हो रहे हैं। फिलहाल, हम एक दिन में लगभग 300 साइटों को पार्स करते हैं। आमतौर पर हम हम से 8-15 साइट ऑर्डर करते हैं, और कनेक्शन की जटिलता के आधार पर, एक महीने में 5 से 9 हजार रूबल खर्च करते हैं, क्योंकि प्रत्येक साइट को व्यक्तिगत रूप से जोड़ा जाना है (यह संसाधन में लगभग 4-5 घंटे लगते हैं)। कठिनाई यह है कि कुछ संरक्षित हैं। कुछ पार्सिटिक भार के साथ संघर्ष इतना अधिक नहीं है, जो उन्हें लाभ नहीं पहुंचाता है, लेकिन कभी-कभी आपको टिंकर करना पड़ता है।

किसी भी मामले में, सब कुछ अलग है, भले ही सामान की कीमत एक तस्वीर के रूप में साइट पर प्रकाशित हुई हो :) जो लोग पार्सिंग में अपना हाथ आजमाना चाहते हैं, मैं स्टोलिचकी फार्मेसी वेबसाइट और मूल्य निर्धारण की कीमतों पर काम करने की सलाह देता हूं।



फार्मेसियों "स्टोलिचकी" के एक नेटवर्क का ऑनलाइन स्टोर - कीमतें आंतरिक फ़ॉन्ट में लिखी गई हैं और उन्हें पार्स करने के लिए एक समाधान छवि और इसकी मान्यता का गठन होगा। हम ऐसा कम से कम करते हैं।

एकत्रित डेटा क्लाइंट को प्रेषित किया जाता है। आमतौर पर हम उन्हें अपने स्वयं के क्लाउड पर रखते हैं, लगातार अपडेट कर रहे हैं, और एपीआई के माध्यम से क्लाइंट तक पहुंच प्रदान करते हैं। यदि डेटा के साथ अचानक कुछ गलत हो जाता है (और ऐसा शायद ही कभी होता है - हर 3-4 महीने में एक बार), वे तुरंत फोन करते हैं और हमें लिखते हैं, और हम इस समस्या को जल्द से जल्द ठीक करने की कोशिश करते हैं। ऐसी विफलताएँ तब होती हैं जब एक नया संरक्षण या ब्लॉक स्थापित होता है, और क्रमशः अनुसंधान और प्रॉक्सी का उपयोग करके हल किया जाता है। एक अन्य मामले में, जब साइट पर कुछ बदलता है, तो बॉट केवल यह समझने के लिए बंद हो जाता है कि वह कहाँ स्थित है, और हमारे प्रोग्रामर को इसे फिर से कॉन्फ़िगर करना होगा। लेकिन सब कुछ हल हो गया है, और ग्राहक आमतौर पर ऐसी समस्याओं को समझ के साथ व्यवहार करते हैं।

मैं ध्यान देता हूं कि हमारे व्यवसाय में ग्राहक की पहचान का कभी भी खुलासा नहीं किया गया है - हम इसके प्रति काफी संवेदनशील हैं, और किसी ने भी गैर-प्रकटीकरण समझौते में खंड को रद्द नहीं किया। हालांकि पार्सिंग में निंदनीय कुछ भी नहीं है, कई लोग शर्मीले हैं।

, - , (, , “ ” ), ( ).

PS: , . — , , ( .net) ..

, xmldatafeed.com