कैसे हम महान चीनी फ़ायरवॉल (3 भाग) छेदा

नमस्ते!
कोई भी अच्छी कहानी समाप्त होती है। और चीनी फ़ायरवॉल के तेजी से पारित होने के समाधान के साथ हम कैसे आए, इसके बारे में हमारी कहानी कोई अपवाद नहीं है। इसलिए, मैं इस विषय पर अंतिम , अंतिम भाग आपके साथ साझा करने की जल्दबाजी करता हूं।

पिछले भाग में, हमने हमारे द्वारा आविष्कार किए गए बहुत सारे परीक्षण बेंचों के बारे में बात की, और उन्होंने क्या परिणाम दिए। और हम इस तथ्य पर बस गए कि सीडीएन को जोड़ना अच्छा होगा ! हमारे सर्किट में चिपचिपाहट के लिए ।

मैं आपको बताऊंगा कि हमने अलीबाबा क्लाउड सीडीएन, टेनसेंट क्लाउड सीडीएन और अकामाई का परीक्षण कैसे किया, और मैंने इसके साथ क्या किया। और हां, संक्षेप में।

अलीबाबा क्लाउड सीडीएन

हमें अलीबाबा क्लाउड पर होस्ट किया गया है, हम उनसे IPSEC और CEN का उपयोग करते हैं। पहले उनके समाधान की कोशिश करना तर्कसंगत होगा।

अलीबाबा क्लाउड में दो प्रकार के उत्पाद हैं जो हमारे लिए उपयुक्त हो सकते हैं: सीडीएन और डीसीडीएन । पहला विकल्प एक विशिष्ट डोमेन (उपडोमेन) के लिए एक क्लासिक सीडीएन है। दूसरा विकल्प सीडीएन के लिए डायनामिक रूट के लिए है (मैं इसे डायनामिक सीडीएन कहता हूं), इसे फुल-साइट मोड (वाइल्डकार्ड डोमेन के लिए) में चालू किया जा सकता है, यह स्टेटिक्स को भी कैश कर देता है और डायनेमिक कंटेंट को अपने आप तेज कर देता है, यानी पेज डायनामिक्स भी तेजी से लोड हो जाएगा नेटवर्क प्रदाता। यह हमारे लिए महत्वपूर्ण है, क्योंकि मूल रूप से हमारी साइट गतिशील है, यह कई उप-डोमेन का उपयोग करती है, और सीडीएन को "स्टार" - * .semrushchina.cn के लिए एक बार कॉन्फ़िगर करना अधिक सुविधाजनक है।

हमने पहले ही इस उत्पाद को अपने चीनी प्रोजेक्ट के पहले चरणों में देखा था, लेकिन तब यह अभी तक काम नहीं किया था, और डेवलपर्स ने वादा किया था कि यह उत्पाद बहुत जल्द सभी ग्राहकों के लिए उपलब्ध होगा। और वह बन गया।

DCDN में, आप यह कर सकते हैं:

• अपने प्रमाणपत्र के साथ SSL समाप्ति को कॉन्फ़िगर करें,
• गतिशील सामग्री त्वरण सक्षम करें,
• स्थिर फ़ाइलों के कैशिंग को लचीले ढंग से कॉन्फ़िगर करें,
• कैश पर्स करें,
• वेब सॉकेट फेंकें,
• संपीड़न और यहां तक ​​कि HTML ब्यूटीफायर को सक्षम करें।

सामान्य तौर पर, सब कुछ वयस्कों और बड़े सीडीएन प्रदाताओं की तरह होता है।

उत्पत्ति के बाद (वह स्थान जहां CDN एज सर्वर जाएंगे) को इंगित किया जाता है, फिर यह तारांकन के लिए CNAME बनाने के लिए रहता है, जो सभी को जोड़ रहा है। Semrushchina.cn.w.kunluncan.com (यह CNAME अलीबाबा क्लाउड कंसोल में प्राप्त किया गया था), और CDN काम करेगा।

परीक्षण के परिणामों के अनुसार, इस सीडीएन ने हमारी बहुत मदद की। आंकड़े नीचे दिए गए हैं।

ये बहुत अच्छे परिणाम हैं, खासकर अगर हम उनकी तुलना उन आंकड़ों से करें जो शुरुआत में थे। लेकिन हमें पता था कि हमारी साइट www.semrush.com के अमेरिकी संस्करण का ब्राउज़र परीक्षण औसतन 8.3 से (बहुत अनुमानित मूल्य) संयुक्त राज्य अमेरिका से बाहर काम कर रहा था। के लिए प्रयास करने के लिए बहुत कुछ है। इसके अलावा, सीडीएन प्रदाता थे जो परीक्षण में रुचि रखते थे।

तो हम आसानी से चीनी बाजार में एक और विशाल के लिए कदम - Tencent ।

Tencent बादल

Tencent केवल अपने क्लाउड का विकास कर रहा है - यह कम संख्या में उत्पादों में स्पष्ट है। इसके उपयोग के क्रम में, हम न केवल उनके CDN, बल्कि संपूर्ण रूप से नेटवर्क के बुनियादी ढांचे का परीक्षण करना चाहते थे:

• क्या उनके पास CEN के समान कुछ है?
• IPSEC उनके लिए कैसे काम करता है? क्या यह तेज है, अपटाइम क्या है?
• क्या उनके पास कुछ भी है?

हम इन सवालों का अलग-अलग विश्लेषण करेंगे।

एनालॉग CEN

टेनसेंट में क्लाउड कनेक्ट नेटवर्क ( CCN ) उत्पाद है जो आपको चीन और बाहर के क्षेत्रों सहित विभिन्न क्षेत्रों से VPC को इंटरकनेक्ट करने की अनुमति देता है। उत्पाद अब आंतरिक बीटा में है, और आपको इसे कनेक्ट करने के अनुरोध के साथ एक टिकट बनाने की आवश्यकता है। समर्थन से, हमें पता चला कि वैश्विक खाते (चीनी नागरिकों और गैर-कानूनी संस्थाओं के बारे में नहीं) बीटा परीक्षण कार्यक्रम में भाग नहीं ले सकते हैं और आमतौर पर चीन के अंदर के क्षेत्र को बाहर के क्षेत्र से जोड़ते हैं। अली बादल के पक्ष में 1-0

IPSEC

Tencent का सबसे दक्षिणी क्षेत्र गुआंगज़ौ है । हमने एक सुरंग का निर्माण किया और इसे जीसीपी में हांगकांग क्षेत्र से जोड़ा (तब यह क्षेत्र पहले से ही उपलब्ध था)। उन्होंने उसी समय शेन्ज़ेन से हांगकांग के लिए अली क्लाउड के लिए दूसरी सुरंग भी उठाई। यह पता चला कि Tencent विलंबता नेटवर्क के माध्यम से, शेन्ज़ेन से हांगकांग तक अली (120ms - क्या?) की तुलना में हांगकांग आमतौर पर बेहतर (10ms) है। लेकिन इसने साइट के काम में तेजी नहीं लाई, जिसका उद्देश्य Tencent और इस सुरंग के माध्यम से काम करना था, जो अपने आप में एक आश्चर्यजनक तथ्य था और एक बार फिर निम्न साबित हुआ: विलंबता - चीन के लिए यह एक संकेतक नहीं है कि आपको वास्तव में ध्यान देना चाहिए जब चीनी को पारित करने के लिए एक समाधान विकसित करना चाहिए फ़ायरवॉल।

एनीकट इंटरनेट त्वरण

एक और उत्पाद जो आपको किसी भी आईपी के माध्यम से काम करने की अनुमति देता है वह है एआईए । लेकिन यह वैश्विक खातों के लिए भी दुर्गम है, इसलिए मैंने इसके बारे में नहीं बताया, लेकिन यह जानने के लिए कि इस तरह का उत्पाद मौजूद हो सकता है।

लेकिन सीडीएन परीक्षण ने काफी दिलचस्प परिणाम दिखाए। केवल विशिष्ट डोमेन पर ही Tencent की CDN को पूर्ण साइट पर सक्षम नहीं किया जा सकता है। हमें डोमेन मिले और उन पर यातायात शुरू किया:

यह पता चला कि इस सीडीएन में निम्नलिखित कार्य हैं: क्रॉस बॉर्डर ट्रैफिक ऑप्टिमाइज़ेशन । इस सुविधा को लागत कम करनी चाहिए जब यातायात चीनी फ़ायरवॉल के माध्यम से बहता है। उत्पत्ति के रूप में, Google GLB (GLB anycast) का IP पता निर्दिष्ट किया गया था। इसलिए हम परियोजना की वास्तुकला को सरल बनाना चाहते थे।

परिणाम बहुत अच्छे थे - अली क्लाउड सीडीएन के स्तर पर, और कुछ स्थानों में और भी बेहतर। यह आश्चर्य की बात है, क्योंकि यदि परीक्षण सफल होते हैं, तो आप बुनियादी ढांचे, सुरंगों, सीईएन, आभासी मशीनों, आदि का एक महत्वपूर्ण हिस्सा छोड़ सकते हैं।

हम लंबे समय तक खुश नहीं थे, क्योंकि समस्या का पता चला था: कैचपॉइंट पर परीक्षण इंटरनेट प्रदाता चाइना मोबाइल के लिए नकली थे। किसी भी स्थान से, हमें Tencent की CDN के माध्यम से एक टाइमआउट मिला। तकनीकी सहायता से पत्राचार कुछ भी नहीं हुआ। लगभग एक दिन हमने इस समस्या को हल करने की कोशिश की, लेकिन कुछ भी नहीं आया।

मैं उस समय चीन में था, लेकिन व्यक्तिगत रूप से समस्या को सत्यापित करने के लिए इस प्रदाता के नेटवर्क पर सार्वजनिक वाई-फाई नहीं ढूंढ सका। अन्यथा, सब कुछ तेज और अच्छा लग रहा था।
हालांकि, इस तथ्य के कारण कि चाइना मोबाइल तीन सबसे बड़े ऑपरेटरों में से एक है, हमें अली सीडीएन पर यातायात वापस करने के लिए मजबूर किया गया था।
लेकिन सामान्य तौर पर, यह एक दिलचस्प समाधान था, जो इस समस्या के लंबे परीक्षण और समस्या निवारण के योग्य है।

अकामाई

अंतिम CDN प्रदाता जिसका हमने परीक्षण किया है वह अकामाई है । यह एक विशाल प्रदाता है जिसका चीन में अपना नेटवर्क है। बेशक, हम उससे अतीत नहीं पा सके।

शुरुआत से ही, हम एक परीक्षण अवधि पर अकामाई के साथ सहमत हुए ताकि हम डोमेन को स्विच कर सकें और देख सकें कि यह उनके नेटवर्क पर कैसे काम करेगा। मैं "मुझे जो पसंद आया" और "मुझे क्या पसंद नहीं आया", साथ ही परीक्षण के परिणाम के रूप में सभी परीक्षण के परिणाम का वर्णन करेंगे।

आपको क्या पसंद आया:

• अकामाई के लोगों ने सभी मामलों में बहुत मदद की और परीक्षण के सभी चरणों में हमारा साथ दिया। लगातार अपनी तरफ से कुछ सुधारने की कोशिश कर रहे हैं। उन्होंने अच्छी तकनीकी सलाह दी।
• अकामाई अली क्लाउड सीडीएन के माध्यम से हमारे समाधान की तुलना में लगभग 10-15% धीमी गति से चलता है। यह प्रभावशाली है कि उत्पत्ति में हमने अकामाई के लिए GLB IP पता निर्दिष्ट किया, अर्थात्, ट्रैफ़िक हमारे समाधान से नहीं जाता (आप संभवतः बुनियादी ढांचे के भाग को मना कर सकते हैं)। लेकिन फिर भी, परीक्षण के परिणामों से पता चला कि यह समाधान हमारे वर्तमान संस्करण (नीचे तुलनात्मक परिणाम) से भी बदतर है।
• मूल GLB और चीन में उत्पत्ति दोनों का परीक्षण किया। दोनों विकल्प समान हैं।
• एक सुनिश्चित मार्ग (स्वचालित मार्ग अनुकूलन) है। आप उत्पत्ति पर परीक्षण ऑब्जेक्ट होस्ट कर सकते हैं, और अकामाई सर्वर एज इसे (नियमित GET) लेने की कोशिश करेगा। इन अनुरोधों के लिए, गति और अन्य मैट्रिक्स को मापा जाता है, जिसके आधार पर अकामाई नेटवर्क मार्गों का अनुकूलन करता है ताकि हमारी साइट के लिए ट्रैफ़िक तेज़ी से आगे बढ़े और यह देखा जा सके कि इस सुविधा का समावेश वास्तव में साइट की गति पर बहुत प्रभाव डालता है।
• वेब इंटरफ़ेस में कॉन्फ़िगरेशन का संस्करण ठंडा है। आप संस्करणों के लिए तुलना कर सकते हैं, भिन्न देखें। पिछले संस्करण देखें।
• आप केवल अकामाई स्टेजिंग नेटवर्क पर नए संस्करण को रोल आउट कर सकते हैं - उत्पादन के समान नेटवर्क, केवल इस तरह से वास्तविक उपयोगकर्ताओं को प्रभावित नहीं करता है। इस परीक्षण के लिए, आपको स्थानीय मशीन पर डीएनएस रिकॉर्ड को खराब करना होगा।
• बड़ी स्टेटिक्स के अपने नेटवर्क के माध्यम से बहुत तेजी से डाउनलोड गति, और, जाहिरा तौर पर, किसी भी अन्य फ़ाइलों की। "ठंड" कैश से एक फ़ाइल "ठंड" अली CDN कैश से एक ही फ़ाइल की तुलना में कई गुना तेजी से ली जाती है। "हॉट" कैश से, गति पहले से ही प्लस या माइनस है।

अली CDN परीक्षण:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 5757k 0 5757k 0 0 513k 0 --:--:-- 0:00:11 --:--:-- 526k time_namelookup: 0.004286 time_connect: 0.030107 time_appconnect: 0.117525 time_pretransfer: 0.117606 time_redirect: 0.000000 time_starttransfer: 0.840348 ---------- time_total: 11.208119 ---------- size_download: 5895467 Bytes speed_download: 525999.000B/s 

अकामाई परीक्षण:

 root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 5757k 0 5757k 0 0 1824k 0 --:--:-- 0:00:03 --:--:-- 1825k time_namelookup: 0.509005 time_connect: 0.528261 time_appconnect: 0.577235 time_pretransfer: 0.577324 time_redirect: 0.000000 time_starttransfer: 1.327013 ---------- time_total: 3.154850 ---------- size_download: 5895467 Bytes speed_download: 1868699.000B/s 

हमने देखा कि उपरोक्त उदाहरण से स्थिति विभिन्न कारकों पर निर्भर करती है। इस लेखन के समय, मैंने फिर से परीक्षा दी। दोनों प्लेटफार्मों के लिए परिणाम लगभग समान थे। यह हमें बताता है कि चीन में इंटरनेट, यहां तक ​​कि बड़े ऑपरेटरों और क्लाउड प्रदाताओं के लिए, समय-समय पर अलग-अलग व्यवहार करता है।

मैं पिछले पैराग्राफ में अकामाई के लिए एक बड़ा प्लस जोड़ूंगा: अगर अली उच्च प्रदर्शन की ऐसी झलक दिखाता है और बहुत कम है (यह अली सीडीएन, और अली सेन, और अली आईपीएसईसी पर लागू होता है), तो अकमाई में हर बार, चाहे मैं उनके नेटवर्क का परीक्षण कैसे करूं, सभी काम करता है।
अकामाई वास्तव में चीन में बहुत अधिक कवरेज है और कई प्रदाताओं के माध्यम से काम करता है।

क्या पसंद नहीं आया:

• मुझे वेब इंटरफ़ेस और कार्य योजना पसंद नहीं है - ये शून्य हैं। लेकिन मूल रूप से आपको इसकी आदत होती है (शायद)।
• परीक्षा परिणाम हमारी साइट से भी बदतर हैं।
• हमारी साइट पर परीक्षण के दौरान अधिक त्रुटियां हैं (ऊपर नीचे)।
• चीन में कोई DNS सर्वर नहीं हैं। यहाँ से DNS रिज़ॉल्यूशन टाइमआउट के कारण परीक्षणों में बहुत सारी त्रुटियाँ हैं।
• उनके आईपी रेंज प्रदान न करें -> हमारे सर्वर पर सही set_real_ip_from को पंजीकृत करने का कोई तरीका नहीं है।

मेट्रिक्स (~ 3626 रन; एमएस में Uptime को छोड़कर सभी मैट्रिक्स; एक समय के लिए आँकड़े)

प्रतिशत वितरण (एमएस में):

निष्कर्ष यह है: अकामाई के साथ विकल्प व्यवहार्य है, लेकिन हमारे स्वयं के समाधान के समान स्थिरता और गति संकेतक नहीं देता है, अली सीडीएन के साथ मिलकर।

छोटे नोट

कुछ बिंदुओं को कहानी में शामिल नहीं किया गया था, लेकिन मैं उनके बारे में भी लिखना चाहूंगा।

बीजिंग + टोक्यो और हांगकांग

जैसा कि मैंने ऊपर कहा, हमने हांगकांग (एचके) को IPSEC सुरंग का परीक्षण किया। लेकिन हमने एचई से पहले सीईएन का भी परीक्षण किया। यह थोड़ा सस्ता है, और यह दिलचस्प था कि यह ~ 100 किमी की दूरी वाले शहरों के बीच कैसे काम करेगा। यह दिलचस्प निकला कि इन शहरों के बीच की विलंबता हमारे मूल संस्करण (ताइवान में) की तुलना में 100ms अधिक है। ताइवान के लिए गति, स्थिरता भी बेहतर थी। परिणामस्वरूप, हमने एचके को बैकअप IPSEC क्षेत्र के रूप में छोड़ दिया।

इसके अलावा, हमने इस तरह की स्थापना को बढ़ाने की कोशिश की:

• बीजिंग में ग्राहक की समाप्ति,
• IPSEC और CEN से टोक्यो,
• अली में, सीडीएन को बीजिंग में मूल सर्वर के रूप में सूचीबद्ध किया गया था।

यह योजना इतनी स्थिर नहीं थी, हालांकि गति के मामले में एक संपूर्ण के रूप में यह हमारे समाधान से हीन नहीं थी। सुरंग के लिए, मैंने CEN के लिए भी समय-समय पर बूँदें देखीं, जो स्थिर होना चाहिए था। इसलिए, हम पुरानी योजना में लौट आए और इस मंचन को समाप्त कर दिया।

नीचे विभिन्न चैनलों पर विभिन्न क्षेत्रों के बीच विलंबता के आंकड़े दिए गए हैं। शायद किसी को इसमें दिलचस्पी होगी।

IPsec
अली cn-beijing <-> GCP एशिया-उत्तरपूर्व 1 - 193ms
अली सेन-शेनजेन <-> जीसीपी एशिया-ईस्ट 2 - 91ms
अली cn-shenzhen <-> GCP us-east4 - 200ms

केंद्र
अली सेन-बेजिंग <---> अली एपी-उत्तर -१ - ५४ms (!)
अली cn-shenzhen <---> अली cn-hongkong - 6ms (!)
अली cn-shenzhen <---> अली us-east1 - 216ms

चीन में इंटरनेट के बारे में सामान्य जानकारी

इंटरनेट के साथ समस्याओं के अतिरिक्त, लेख के पहले भाग में, बहुत शुरुआत में वर्णित है।

• चीन में इंटरनेट बहुत तेजी से अंदर है।
  
  • निष्कर्ष विभिन्न स्थानों पर सार्वजनिक वाई-फाई नेटवर्क के परीक्षण के आधार पर बनाया गया है, जहां इन नेटवर्क का उपयोग बड़ी संख्या में लोग करते हैं।
  • चीन के अंदर सर्वर पर डाउनलोड और अपलोड गति क्रमशः 20 एमबीपीएस और 5-10 एमबीपीएस थी।
  • चीन के बाहर सर्वरों की गति सिर्फ दयनीय है, 1 एमबीपीएस से कम है।
• चीन में इंटरनेट बहुत स्थिर नहीं है।
  
  • कभी-कभी साइटें जल्दी से खुल सकती हैं, कभी-कभी धीरे-धीरे (दिन के एक ही समय में अलग-अलग दिनों में), बशर्ते कि कॉन्फ़िगरेशन परिवर्तित न हो। हमने इसे semrushchina.cn के उदाहरण के साथ देखा। इसका श्रेय अली सीडीएन को दिया जा सकता है, जो इस तरह से भी काम करता है और दिन के समय, सितारों की स्थिति आदि के आधार पर।
• मोबाइल इंटरनेट लगभग हर जगह 4G या 4G + है। मेट्रो में कैच, लिफ्ट - संक्षेप में, हर जगह।
• तथ्य यह है कि चीनी उपयोगकर्ता केवल .cn क्षेत्र में डोमेन पर भरोसा करते हैं, एक मिथक है। हमने इसे उपयोगकर्ताओं से सीधे सीखा।
  
  • आप देख सकते हैं कि कैसे http://baidu.cn www.baidu.com पर पुनर्निर्देश करता है (मुख्य भूमि चीन में भी)।
• कई संसाधन वास्तव में अवरुद्ध हैं। आदिम: google.com, फेसबुक, ट्विटर। लेकिन कई Google संसाधन काम करते हैं (बेशक, सभी वाई-फाई और वीपीएन एक ही समय में उपयोग नहीं किए जाते हैं (राउटर की तरफ, भी, यह सुनिश्चित करने के लिए है)।
• अवरुद्ध निगमों के कई "तकनीकी" डोमेन भी काम करते हैं। इसका मतलब है कि आपको हमेशा लापरवाही से सभी Google और अन्य प्रतीत होने वाले अवरुद्ध संसाधनों को नहीं काटना चाहिए। आपको निषिद्ध डोमेन की कुछ सूची देखने की आवश्यकता है।
• उनके पास केवल तीन मुख्य इंटरनेट प्रदाता हैं: चाइना यूनिकॉम, चाइना टेलीकॉम, चाइना मोबाइल। यहां तक ​​कि छोटे भी हैं, लेकिन उनका बाजार हिस्सा नगण्य है

बोनस: अंतिम निर्णय योजना

परिणाम

प्रोजेक्ट शुरू हुए एक साल बीत चुका है। हमने यह कहकर शुरुआत की कि हमारी साइट, सिद्धांत रूप में, चीन से सामान्य रूप से काम करने से इनकार करती है, लेकिन बस जीईटी कर्ल को 5.5 सेकंड लगते हैं।

फिर, पहले निर्णय (Cloudflare) में ऐसे संकेतक के साथ:

परिणामस्वरूप, हम निम्नलिखित परिणामों (पिछले महीने के आंकड़े) पर आए:

जैसा कि आप देख सकते हैं, 100% में अपटाइम अभी तक हासिल नहीं हुआ है, लेकिन हम कुछ के साथ आएंगे, और फिर हम आपको एक नए लेख में परिणामों के बारे में बताएंगे :)

जिसने अंत तक सभी तीन भागों को पढ़ा है - सम्मान। मुझे आशा है कि जब आप ऐसा कर रहे थे, तब आप सभी मेरी रुचि के अनुसार थे।

पुनश्च पिछला भाग

भाग 1
भाग २