हमने पूरे इंटरनेट को कैसे स्कैन किया और हमने क्या सीखा

आप प्रतिदिन कितनी साइट्स का उपयोग करते हैं? सामाजिक नेटवर्क के एक जोड़े, एक खोज इंजन, कई पसंदीदा प्रकाशकों, 5 काम करने वाली सेवाओं के बारे में। शायद, यह संभावना नहीं है कि 20 से अधिक साइटें टाइप की जाएंगी।



क्या आपने कभी सोचा है कि इंटरनेट पर कितनी साइटें हैं और उनका क्या होता है?

समय-समय पर, लेख विभिन्न शीर्ष 1M साइटों के नमूने पर निर्मित अध्ययनों के साथ आते हैं। लेकिन मैं हमेशा सोचता था कि क्या बहुत छोटे नमूने पर एनालिटिक्स का निर्माण किए बिना सभी इंटरनेट डोमेन पर जाना संभव है।

मैंने पहली बार एक साल से अधिक समय तक यह सवाल पूछा था। हमने वेबसाइटों के लिए क्रॉलर विकसित करना शुरू कर दिया है और इसे बड़े संस्करणों पर परीक्षण करने की आवश्यकता है। क्रॉलर का मूल लेते हुए, मैं पहली बार रनेट डोमेन के माध्यम से भाग गया - यह 5.5 मिलियन डोमेन है, और सभी 213 मिलियन डोमेन (2017 के पतन में) के बाद।

पिछले समय में, विकास में बहुत सारे प्रयास और धन का निवेश किया गया है, एल्गोरिदम बेहतर हो गए हैं, मैंने इंटरनेट के विश्लेषण पर लौटने और और भी अधिक डेटा एकत्र करने का फैसला किया है।

सूचना के इस संग्रह का उद्देश्य मुख्य रूप से काम करने वाले मेजबानों, रीडायरेक्ट, सर्वर हेडर और एक्स-पावर्ड-बाय द्वारा एक विश्वसनीय नमूना प्राप्त करना है।

संग्रह विधि

एप्लिकेशन को स्वयं Go में लिखा गया है, जो dns और http क्लाइंट के साथ काम करने के लिए अपने स्वयं के कार्यान्वयन का उपयोग कर रहा है। रेडिस कतार के रूप में, डीबी mysql है।

प्रारंभ में, केवल एक नंगे डोमेन है, जैसे example.com। विश्लेषण में कई चरण होते हैं:

1. http://example.com, http://www.example.com, https://example.com, https://www.example.com की उपलब्धता की जाँच http://example.com, http://www.example.com, https://example.com, https://www.example.com
2. यदि कम से कम एक विकल्प कनेक्ट करने में कामयाब रहे, तो:
   - /robots.txt का विश्लेषण करें
   - /sitemap.xml की उपस्थिति के लिए जाँच करें
   

हर दिन लगभग 100 हजार डोमेन दिखाई देते हैं और हटाते हैं। जाहिर है, नेटवर्क स्टेटस को तत्काल कास्ट करना लगभग असंभव है, लेकिन आपको इसे जल्द से जल्द करने की जरूरत है।

हमने क्रॉलर सर्वर का एक अतिरिक्त समूह तैनात किया, जिससे हमें प्रति सेकंड 2 हजार डोमेन की औसत गति प्राप्त करने की अनुमति मिली। इस प्रकार, 252 मिलियन डोमेन के सत्यापन में लगभग डेढ़ दिन का समय लगा ।

डेटा

नेटवर्क विश्लेषण में सबसे महत्वपूर्ण आंकड़ा "लाइव" डोमेन की संख्या है। हम उस डोमेन को "लाइव" कहते हैं, जिसके लिए आईपी हल करता है और www / http / https के बिना www / http के बिना कम से कम एक संस्करण देता है।



बेशक आप कोड 418 के बारे में नहीं भूल सकते हैं - डमी: 2227 टुकड़े।

कुल में, 13.2 मिलियन आईपी पते पाए गए। यह ध्यान देने योग्य है कि कुछ डोमेन के लिए कई आईपी पते एक ही बार दिए जाते हैं, दूसरों के लिए केवल एक ही, लेकिन हर बार अलग होता है।
इस प्रकार, अस्पताल में औसत तापमान , औसतन 16 साइट्स एक आईपी पर स्थित हैं।

स्थिति कोड द्वारा चित्र इस प्रकार है:



राशि डोमेन की कुल संख्या से अधिक है, क्योंकि प्रत्येक होस्ट 4 अलग-अलग स्टेटस कोड (संयोजन www / non www, http / https) दे सकता है

https

Https के लिए संक्रमण हाल के वर्षों की एक प्रवृत्ति है। खोज इंजन सक्रिय रूप से एक सुरक्षित प्रोटोकॉल के कार्यान्वयन को बढ़ावा दे रहे हैं, और Google Chrome जल्द ही http साइटों को असुरक्षित के रूप में चिह्नित करना शुरू कर देगा।



इस प्रकार, http पर काम करने वाली साइटों की संख्या http पर काम करने वाली साइटों की संख्या का 73% तक पहुंच गई।

सबसे बड़ी संक्रमण समस्या लगभग अपरिहार्य ट्रैफ़िक में कमी की है खोज इंजन के लिए http / https, यहां तक ​​कि एक ही डोमेन पर, तकनीकी रूप से अलग-अलग साइटें हैं। नई परियोजनाएं आमतौर पर तुरंत https पर शुरू होती हैं।

www या बिना www?

इंटरनेट के साथ ही www सबडोमेन के बारे में आया था, लेकिन अब भी, कुछ लोग www के बिना पते को स्वीकार नहीं करते हैं।

इसी समय, www के बिना संस्करण के लिए 200 प्रतिक्रिया कोड 118.6 मिलियन देता है । डोमेन, और www के साथ - 119.1 मिलियन डोमेन ।

4.3 मिलियन डोमेन में, आईपी www के बिना संस्करण से बंधा नहीं है, अर्थात। आप example.com पर नहीं जाएंगे। 3 मिलियन डोमेन www उपडोमेन से बंधे नहीं हैं।

एक महत्वपूर्ण बिंदु संस्करणों के बीच पुनर्निर्देश की उपस्थिति है। क्योंकि यदि दोनों मामलों में 200 कोड दिए गए हैं, तो एक खोज इंजन के लिए ये दो अलग-अलग साइटें हैं जिनमें डुप्लिकेट सामग्री है। मैं आपको याद दिलाना चाहता हूं, सही रीडायरेक्ट कॉन्फ़िगर करना न भूलें।
Www के साथ रीडायरेक्ट करता है- बिना www 32 मिलियन , बिना www-> www 38 मिलियन

इन नंबरों को देखते हुए, मेरे लिए यह कहना मुश्किल है कि कौन जीता - www या बिना www।

रीडायरेक्ट

एसईओ सर्किलों में एक राय है कि वेबसाइट के प्रचार का सबसे प्रभावी तरीका निकट-विषयक साइटों से पुनर्निर्देशन करना है।

35.8 मिलियन डोमेन को अन्य होस्ट पर पुनर्निर्देशित किया जाएगा और यदि हम उन्हें उद्देश्य से समूह में रखते हैं, तो हम नेताओं को देखते हैं:



परंपरागत रूप से, शीर्ष डोमेन रजिस्ट्रार और पार्किंग स्थल हैं।

यदि आप 10,000 से कम इनकमिंग के लिए शीर्ष पर देखते हैं, तो आप बुकिंग.कॉम जैसी कई परिचित साइटों को देख सकते हैं।

और शीर्ष में 1000 तक कैसिनो और अन्य मनोरंजन स्थल हैं।

सर्वर हैडर

अंत में मज़ा हिस्सा मिल गया!

186 मिलियन डोमेन खाली हैडर शीर्षक नहीं देते हैं । यह सभी जीवित डोमेन का 87% है, एक काफी विश्वसनीय नमूना।

यदि आप केवल मूल्य के आधार पर समूह बनाते हैं, तो हमें मिलता है:



नेता 20 सर्वर हैं, जो एक साथ 96% हैं:



विश्व नेता अपाचे हैं, नेग्नेक्स में रजत और IIS की त्रिमूर्ति को बंद कर दिया। कुल मिलाकर, ये तीन सर्वर दुनिया के 87% इंटरनेट की मेजबानी करते हैं।

रूढ़िवादी देश:



यह उल्लेखनीय है कि रनेट में चित्र अलग है:



यहाँ नेग्नेक्स पूर्ण नेता है, अपाचे की हिस्सेदारी तीन गुना कम है।

आप को और कहाँ पसंद है:



शेष सर्वर निम्नानुसार वितरित किए गए हैं:

एक्स-संचालित-तक

केवल 57.3 मिलियन मेजबानों के पास X-Powered-by हैडर है, जो लगभग 27% लाइव डोमेन है।

कच्चे नेता:



यदि आप डेटा संसाधित करते हैं और कचरा छोड़ते हैं - तो php जीत जाता है:



PHP संस्करण:



व्यक्तिगत रूप से, मैं 5.6 की ऐसी लोकप्रियता से कुछ हद तक आश्चर्यचकित हूं और साथ ही, यह अनुरोध करता है कि सेवियों का कुल हिस्सा बढ़ रहा है।

Runet में एक साइट भी है जो कहती है कि यह php / 1.0 पर काम करती है, लेकिन इस आंकड़े की सत्यता संदिग्ध है।

कुकीज़

निष्कर्ष

मुझे मिली जानकारी का केवल एक बहुत छोटा हिस्सा दिखाया गया है। इस डेटा में खुदाई करना दिलचस्प कलाकृतियों को खोजने के लिए कचरे के ढेर में खुदाई करने जैसा है।

अवरुद्ध खोज इंजन बॉट्स और एनालिटिक्स सेवाओं (ahrefs, राजसी और अन्य) के साथ विषय बंद रहे। इस नमूने पर, कई अलग-अलग उपग्रह नेटवर्क हैं, चाहे आप पैरों के निशान को छिपाने की कोशिश क्यों न करें, लेकिन हजारों डोमेन पर आप पैटर्न देख सकते हैं।

निकट भविष्य में, और भी अधिक डेटा एकत्र करने के लिए, विशेष रूप से लिंक, शब्द, विज्ञापन प्रणाली, एनालिटिक्स कोड और बहुत कुछ पर।

आपकी टिप्पणियों और टिप्पणियों को सुनकर मुझे खुशी होगी।