अगला जनरल ईकॉमर्स

जब आप अपना ऑनलाइन स्टोर खोलते हैं, तो मालिक आमतौर पर निम्नलिखित कार्य करता है:
- मेरे पास अंडरपैंट्स, उपकरण के एक सप्लायर तक पहुंच है ... (यहां हर कोई अपना खुद का इंसर्ट करता है), मैं एक ऑनलाइन स्टोर क्यों नहीं खोल रहा, यह अच्छा है, मैंने सुना है कि इंटरनेट पर आप एक बहुत कमा सकते हैं, यह एक आशाजनक और लाभदायक व्यवसाय है।
इस प्रकार, एक ही उत्पाद बेचने वाली हजारों साइटें हैं, जो इंटरनेट स्पेस को अधिक से अधिक अव्यवस्थित कर रही हैं।

यह पता चलता है कि अन्य 1001 स्टोर अंडरपैंट बेच रहे हैं। पैसे के बजाय, एक नियम के रूप में, एक उद्यमी को एसईओ, शिमो और प्रासंगिक विज्ञापन की अनुपातहीन लागत के रूप में सिरदर्द मिलता है।
ऑनलाइन स्टोर प्रकट होने से पहले झुक जाता है।

मैंने दूसरे रास्ते से जाने का प्रस्ताव रखा।

उद्देश्य (उर्फ सिद्धांत):
व्यापार के लिए निर्लिप्त निशानों की खोज करें।
आदर्श स्थिति डिमांड - है, ऑफ़र - नहीं है, सस्ता प्रासंगिक विज्ञापन।

तो - हम "सोने" की तलाश कर रहे हैं।



वेब डेटा माइनिंग के बारे में बात करते हैं - इंटरनेट से डेटा निकालते हैं, और फिर प्राप्त डेटा का विश्लेषण करते हैं।

स्रोत डेटा:
सिद्धांत का परीक्षण करने के लिए अपने प्रयोग में, मैं व्हाट्सएप पर बनाऊंगा जो इंटरनेट उपयोगकर्ता खोज इंजन में देख रहे हैं।
फिलहाल, ऐसे डेटा प्राप्त करने के लिए कई स्रोत हैं।

- विभिन्न स्रोतों से एकत्र किए गए कीवर्ड डेटाबेस (पुराने डेटाबेस मुफ्त में मिल सकते हैं)।
- खोज इंजन Yandex और Google से युक्तियाँ।
- Yandex प्रौद्योगिकी "लाइव" - वास्तविक समय उपयोगकर्ता अनुरोधों को दर्शाता है।

चूंकि खोज इंजन से डेटा प्राप्त करना एक कठिन काम है, इसलिए शुरुआत के लिए हमें 30 मिलियन वाक्यांशों के एक छोटे से आधार के साथ इंटरनेट पर चलना होगा।

प्रारंभिक डेटा की तैयारी:
- आगे के विश्लेषण के लिए, सभी वाक्यांशों को निचले मामले में अनुवादित करें
- हम अनावश्यक वर्णों के वाक्यांशों को साफ करते हैं (हम केवल [aZ] [a ... I] [0..9] में रुचि रखते हैं)
- मैट और पोर्न और अन्य "स्टॉप" शब्दों को "फ्री", "डाउनलोड", "टोरेंट" जैसे शब्दों से हटा दें।

उसके बाद, आधार में लगभग 30% की कटौती की जाती है।

आवश्यक डेटा:

इसलिए, हम आपूर्ति और मांग को चिह्नित करने वाले मापदंडों में रुचि रखते हैं।
सूत्रों का कहना है:
- Yandex.Direct API (बजट पूर्वानुमान: CreateNewForecast, GetForecast)
(नि: शुल्क)
- Google ऐडवर्ड्स एपीआई (ट्रैफिकस्टिमेटर सर्विस पूर्वानुमान)
(पैसे के लिए एपीआई का उपयोग करके)
- Yandex.Wordstat (http://wordstat.yandex.ru/)
(नि: शुल्क, अस्थिर, बड़ी संख्या में अनुरोधों के साथ जल्दी से प्रतिबंधित आईपी)
- * यांडेक्स। डिमांड (http://direct.yandex.ru/spros)
(नई सेवा, प्रतिबंधित नहीं इतनी तेजी से, और अधिक स्थिर)
- * Yandex.Direct द्वारा खोजें (http://direct.yandex.ru/search)
(यहां से आप कीवर्ड द्वारा विज्ञापनों की संख्या प्राप्त कर सकते हैं, प्रतिबंध नहीं देखा गया है)

तारांकन सेवाओं का संकेत है कि मैं अपने सिद्धांत का परीक्षण करने के लिए इस्तेमाल किया।

डेटा संग्रह:
स्टेज 1
चूंकि एपीआई के माध्यम से संग्रह प्रक्रिया लंबी और संसाधन-गहन है, इसलिए हम पहले Yandex.Direct खोज का उपयोग करते हैं। प्रत्येक वाक्यांश विज्ञापनों की संख्या से मेल खाता है।
यहां पर पहला नुकसान हुआ। विज्ञापनों की संख्या दिन के समय पर निर्भर करती है।
इसलिए, हमें अपने डेटाबेस से 2 बार गुजरना होगा।
पहली बार चौबीसों घंटे सभा होती है।
दूसरा - परिणामी नमूने के अनुसार (विज्ञापन <1) सुबह 9 से शाम 6 बजे तक।

स्टेज 2।
विज्ञापनों की संख्या 0 और 1 के साथ वाक्यांशों की सूची होने से, हमें खोज इंजनों में वाक्यांश अनुरोधों की संख्या मिलती है। चरण 2 की शुरुआत में वाक्यांशों की संख्या प्रारंभिक मात्रा का 10% है।

हम प्रॉक्सी सर्वर की सूचियों के माध्यम से सूचना के संग्रह को समानांतर करेंगे, जिसके लिए कनेक्शन की गति और प्रतिबंध के संकेतों के साथ एक प्रॉक्सी खोज और रैंकिंग प्रणाली लिखी गई है।

परिणाम:
सिद्धांत की पुष्टि की गई थी। खाली निचे हैं, और पूरी तरह से अलग क्षेत्रों में! प्रयोग अभी भी जारी है।
(प्रमाण: सैपर ब्लेड्स)

लेकिन:
- बाहर निकलने पर मुझे बहुत कचरा मिला, जिसे मुझे मैन्युअल रूप से देखना पड़ा, सूची से मुद्रीकृत अनुरोधों को निकालते हुए।
- स्टॉप शब्दों की सूची में काफी विस्तार किया गया है, और मैं सोच भी नहीं सकता था कि नेट उपयोगकर्ता किस तरह के मैक की तलाश कर रहे हैं।
- प्रक्रिया के अधिक स्वचालन के लिए, आपको अतिरिक्त फ़िल्टर जोड़ने की आवश्यकता है (मुझे नहीं पता कि कौन से अभी तक हैं), लेकिन कम से कम एक क्लासिफायरियर।
- दरों के विश्लेषण को तेज करें प्रत्यक्ष और ऐडवर्ड्स।
- "लाइव" Yandex के माध्यम से अपना खुद का आधार बनाएँ।
- अंत में लाभ प्राप्त करें :)