पाइथन में अनौपचारिक MTProto प्रॉक्सी की रिहाई, प्रोटोकॉल सुविधाएँ

हाल ही में, टेलीग्राम डेवलपर्स ने एक प्रॉक्सी सर्वर के स्रोत कोड को पोस्ट किया है जो MTProto प्रोटोकॉल पर चलता है। इसकी विधानसभा की विशेषताओं और इसके साथ docker कंटेनर को फिर से तैयार करने के लेख हब पर प्रकाशित किए गए थे। आधिकारिक प्रॉक्सी सर्वर, सी में लिखा गया है, कोड की मात्रा के साथ आश्चर्य - लगभग 23 हजार लाइनें। उसी समय, और कभी-कभी थोड़ा पहले, कई वैकल्पिक कार्यान्वयन सामने आए, लेकिन उनमें से किसी ने भी अपने चैनल के विज्ञापन की संभावना का समर्थन नहीं किया।

इस लेख में, मैं सबसे पहले, बाहरी सर्वरों के साथ एक प्रॉक्सी सर्वर को संप्रेषित करने के लिए प्रोटोकॉल की अल्प-ज्ञात विशेषताओं के बारे में बात करना चाहूंगा, और दूसरा, हमारे अपने विकास के बारे में बात करने के लिए - पायथन में एक प्रॉक्सी सर्वर का कार्यान्वयन, जो अभी जारी किया गया है और सभी के लिए उपलब्ध है। मुफ्त एमआईटी लाइसेंस।

बाहरी सर्वर के साथ प्रॉक्सी सर्वर की बातचीत की विशेषताएं

1. आधिकारिक प्रॉक्सी सर्वर सीधे टेलीग्राम सर्वर के साथ बातचीत नहीं करता है, लेकिन इसके लिए कम से कम एक और अधिक प्रॉक्सी परत का उपयोग करता है। हम उन्हें मध्य-प्रॉक्सी कहेंगे, उनकी सूची core.telegram.org/getProxyConfig और core.telegram.org/getProxyConfigV6 पर उपलब्ध है। IPv6 कनेक्शन अभी तक आधिकारिक प्रॉक्सी सर्वर द्वारा समर्थित नहीं है।
   
2. प्रॉक्सी सर्वर और मध्य-प्रॉक्सी के बीच डेटा को एन्क्रिप्ट करने के लिए, एक कुंजी का उपयोग किया जाता है जो दोनों नोड्स के आईपी पते से प्राप्त होता है। इसलिए, मध्य-प्रॉक्सी से कनेक्ट करने के लिए प्रॉक्सी सर्वर को इसका बाहरी आईपी पता पता होना चाहिए, अन्यथा एक और दूसरी तरफ एन्क्रिप्शन कुंजी अलग-अलग होगी। इसके अलावा, दोनों नोड्स और साझा रहस्य के पोर्ट नंबर, core.telegram.org/getProxySecret पर उपलब्ध हैं , कुंजी के निर्माण में भाग लेते हैं। टेलीग्राम डेवलपर्स दिन में एक बार इस रहस्य को अपडेट करने की सलाह देते हैं।
   
3. एक प्रॉक्सी सर्वर को मध्य-प्रॉक्सी से कनेक्ट करते समय, उनमें से पहला अपना समय स्थानांतरित करता है। यदि समय कुछ मिनटों से अधिक होता है, तो दूसरा पक्ष कनेक्शन बंद कर देता है।
   
4. क्लाइंट से मध्य प्रॉक्सी को संदेश भेजते समय, संदेश RTP कॉल में MTProto प्रोटोकॉल में लपेटा जाता है। ऐसे प्रत्येक आरपीसी कॉल में, प्रॉक्सी कई तर्क जोड़ता है: दोनों नोड्स का आईपी और पोर्ट, एक यादृच्छिक कनेक्शन आइडेंटिफ़ायर, साथ ही प्रॉक्सी सर्वर टैग का उपयोग एप्लिकेशन में विज्ञापन चैनल को प्रदर्शित करने के लिए किया जाता है। ये अतिरिक्त तर्क लगभग 96 बाइट्स पर कब्जा कर लेते हैं। इस विशेषता के कारण, मध्य प्रॉक्सी के माध्यम से सीधे काम करते समय विज्ञापन चैनल दिखाना संभव नहीं होगा।
   
5. टेलीग्राम सर्वर प्रॉक्सी सर्वर से प्राप्त आईपी क्लाइंट के बारे में जानकारी "विश्वास" करते हैं। इन पतों को सत्र सूचना में देखा जा सकता है (आयत तैयार की गई है):
   
   
   
6. प्रॉक्सी सर्वर और मध्य-प्रॉक्सी के बीच एक टीसीपी कनेक्शन विभिन्न उपयोगकर्ताओं के संदेश भेजता है। अनुरोधों और प्रतिक्रियाओं में एक तर्क है "यादृच्छिक कनेक्शन पहचानकर्ता", जो डेटा के लिए सही क्लाइंट तक पहुंचने के लिए आवश्यक है।
   
7. एक प्रॉक्सी सर्वर क्लाइंट डेटा को डिक्रिप्ट नहीं कर सकता है, लेकिन यह संचारित फ़ाइलों से नियमित संदेशों को अलग कर सकता है। इसके अलावा, वह प्रत्येक संदेश का आकार जानता है।
   

फूफ, मुझे आशा है कि तकनीकी विवरणों से थक नहीं सकते। अब यह स्पष्ट होना चाहिए कि कई वैकल्पिक प्रॉक्सी में विज्ञापन समर्थन क्यों नहीं है - वे मध्य-प्रॉक्सी को दरकिनार करते हुए सीधे टेलीग्राम सर्वर पर संदेश भेजते हैं। यह बहुत आसान है। लेख का दूसरा भाग एक प्रॉक्सी सर्वर के पहले अनौपचारिक कार्यान्वयन का वर्णन करता है जो मध्य-प्रॉक्सी के माध्यम से काम करता है। फिलहाल, सार्वजनिक डोमेन में आप इस तरह के तीन कार्यान्वयन पा सकते हैं: आधिकारिक, एर्लांग और यह एक।

पायथन छद्म कार्यान्वयन

प्रारंभ में, प्रॉक्सी सर्वर को प्रोटोकॉल की विशेषताओं को समझने के लिए लिखा गया था और यह एक अन्य परियोजना का विकास था - एक अतुल्यकालिक मोजे प्रॉक्सी, जिसे लिखित रूप में, पायथन में "async / प्रतीक्षा" के लिए स्पर्श किया गया था।

धीरे-धीरे, इस परियोजना में ऐसे उपयोगकर्ता होने लगे, जो प्रश्नों, बग रिपोर्ट और सुविधा अनुरोधों से प्रभावित थे। सुधार के बाद, परियोजना ने बीटा परीक्षण और स्थिरीकरण चरण में प्रवेश किया, जो लगभग एक सप्ताह तक चला और इसमें विभिन्न कॉन्फ़िगरेशन के पांच सर्वर शामिल थे।

इससे पहले कि मैं उन विशेषताओं के बारे में बात करूं जो आधिकारिक प्रॉक्सी सर्वर के पास अभी तक नहीं हैं, लेकिन वैकल्पिक प्रॉक्सी के पास (और उन कार्यों के बारे में चुप रहें जो आधिकारिक प्रॉक्सी के पास वैकल्पिक नहीं है), मैं इस बात के बारे में बात करूंगा कि बहुत से लोग पहले सोचते हैं कि वे पायथन शब्द का उल्लेख कब करते हैं। ।

उत्पादकता

प्रदर्शन परीक्षण के लिए, न्यूनतम कॉन्फ़िगरेशन के बादल में एक वर्चुअल मशीन का उपयोग किया गया था: 1 सीपीयू, 1024 एमबी रैम।

सिंथेटिक परीक्षणों पर, प्रॉक्सी सर्वर लगभग 240 मेगाबिट्स / सेकंड या 3000 संदेश / सेकंड संचारित करने में सक्षम था। C में इवेंट-लूप के वैकल्पिक कार्यान्वयन का उपयोग करते समय, जिसे uvloop कहा जाता है, और PyPy दुभाषिया का उपयोग करते समय, प्रदर्शन डेटा अलग होता है (सभी माप प्रति सेकंड हैं):


असली उपयोगकर्ताओं पर परीक्षण करते समय, यह पता चला कि ऐसा सर्वर PyPy का उपयोग करते समय आराम से 4,000 उपयोगकर्ताओं या 8,000 लोगों की सेवा करने के लिए पर्याप्त था। एक बड़ा आश्चर्य यह था कि कोई भी बात नहीं थी कि रूसी-भाषी चैनलों में परीक्षण सर्वर का विज्ञापन कैसे किया गया था, अभी भी 89% उपयोगकर्ता ईरान से थे। (शायद अन्य देशों के लिए एक साथ सेवा करने वाले उपयोगकर्ताओं की संख्या भिन्न होगी)। यह इस तरह दिखता है:



मैंने अन्य सर्वर के कई प्रशासकों से पूछा - उनकी स्थिति समान है। शायद यह इस तथ्य के कारण है कि रूस में टेलीग्राम प्रॉक्सी सर्वर के बिना अच्छी तरह से काम करता है। ईरान में, परीक्षण सर्वर को इसके निर्माण के कई घंटे बाद जनता के लिए अवरुद्ध कर दिया गया था।



2,000 उपयोगकर्ताओं के साथ सर्वर लोड। ईरानी नागरिकों के लिए सर्वर को अवरुद्ध करने का क्षण स्पष्ट रूप से दिखाई देता है।

इसलिए, CPU नोड परीक्षण नोड पर एक अड़चन नहीं है। 10,000 ग्राहकों के साथ, मेमोरी के बाहर चलने की संभावना है।

कई सीपीयू कोर का एक साथ उपयोग लागू नहीं किया जाता है (हैलो, जीआईएल)।

सुविधाएँ जो आधिकारिक प्रॉक्सी सर्वर के पास अभी तक नहीं है

IPv6 प्रोटोकॉल पर काम करें।
अतिरिक्त कॉन्फ़िगरेशन के बिना एक प्रॉक्सी सर्वर आउटगोइंग कनेक्शन के लिए आईपीवी 6 का उपयोग कर सकता है। IPv6 कनेक्शन रूस में (अभी के लिए) अवरुद्ध नहीं हैं।

मध्य-प्रॉक्सी के बिना ऑपरेटिंग मोड
यदि चैनल विज्ञापन की आवश्यकता नहीं है, तो प्रॉक्सी स्वचालित रूप से टेलीग्राम सर्वर से सीधे जुड़ता है, मध्य-मध्य को दरकिनार करता है। यह तेज और अधिक विश्वसनीय है।

इसके अलावा, वैकल्पिक " फास्ट मोड " लागू किया जाता है, जब टेलीग्राम सर्वर से प्रॉक्सी और प्रॉक्सी से क्लाइंट तक संदेश उसी कुंजी के साथ एन्क्रिप्ट किए जाते हैं। इस प्रकार, प्रॉक्सी को संदेशों को फिर से एन्क्रिप्ट करने की आवश्यकता नहीं है - यह उन्हें वैसा ही भेजता है। इससे सुरक्षा प्रभावित नहीं होनी चाहिए। किसी भी स्थिति में, प्रॉक्सी व्यवस्थापक के पास उपयोगकर्ता संदेशों तक पहुंच नहीं है।

ऑटो-अपडेट मध्य-प्रॉक्सी सूची और दिन में एक बार गुप्त।
मध्य-प्रॉक्सी सूची को अपडेट करने के लिए आधिकारिक प्रॉक्सी सर्वर दिन में एक बार डॉकटर कंटेनर को फिर से शुरू करने की सिफारिश करता है, जो सभी कनेक्शनों को रीसेट करता है। नए कनेक्शन स्थापित नहीं हो सकते हैं, उदाहरण के लिए, एक सर्वर देश में अवरुद्ध है। पायथन संस्करण समय-समय पर साइट पर जाता है और सूची को अपडेट करता है।

बहु
अजगर चलाने वाले किसी भी प्लेटफ़ॉर्म का समर्थन किया जाता है। यह iPad पर भी इसे चलाने के लिए निकला, हालांकि, बाहरी आवक कनेक्शन डिवाइस द्वारा अवरुद्ध कर दिए गए थे। विंडोज को अलग से समर्थित किया गया है, यह मेरे लिए एक आश्चर्य के रूप में आया कि कितने लोग इस ओएस के तहत परदे के पीछे लॉन्च करते हैं। हालांकि विंडोज के तहत आप वर्चुअलाइजेशन तकनीक या डॉकटर का उपयोग करने पर आधिकारिक क्लाइंट चला सकते हैं।

बिना डॉक किए आसानी से चलने की क्षमता।
अगर (अचानक) ऐसे लोग हैं जो डॉकटर को पसंद नहीं करते हैं, तो इसके बिना एक प्रॉक्सी लॉन्च किया जा सकता है। आपको कॉन्फ़िगरेशन फ़ाइल में कम से कम दो पैरामीटर निर्दिष्ट करने की आवश्यकता है: पोर्ट और गुप्त, आप वैकल्पिक विज्ञापन टैग भी सेट कर सकते हैं, फिर कमांड चलाएं: python3 mtprotoproxy.py। हालांकि, इस मामले में, आपको ओएस में ऑटोरन के बारे में सोचना होगा, उदाहरण के लिए, सिस्टमड के लिए यूनिट-फाइल लिखें। आपको pycrypto या pycryptodome स्थापित करने की भी आवश्यकता होगी, इसके बिना यह काम करेगा, लेकिन बहुत धीरे-धीरे।

डॉकटर के मामले में, कंटेनर को डॉकटर-कंपोज़-अप-कमांड के साथ फिर से बनाया जा सकता है।

अगली रिलीज़ के लिए निर्धारित सुविधाएँ

बड़ी फ़ाइलों को डाउनलोड करने की गति को सीमित करना।
बड़ी फ़ाइलों को डाउनलोड करते समय, आप टीसीपी स्तर पर, मध्य-प्रॉक्सी या टेलीग्राम सर्वर से "धीरे-धीरे डेटा भेजने" के लिए कह सकते हैं। अब यह प्राप्त बफर के एक छोटे से मूल्य को सेट करके किया जाता है, जो सर्वर मेमोरी को बचाता है।

स्ट्रीमिंग संदेश।
अब, मध्य-प्रॉक्सी के साथ काम करने वाले सभी ज्ञात प्रॉक्सी सर्वर पहले क्लाइंट से संदेश पढ़ते हैं और उसके बाद ही इसे प्रसारित करते हैं। एक संदेश का आकार 1MB तक पहुंच सकता है। इसके भंडारण के लिए एक मेमोरी की आवश्यकता होती है और ट्रांसमिशन में देरी थोड़ी बढ़ जाती है। आप डेटा स्ट्रीमिंग स्थानांतरित कर सकते हैं। यह कोड को जटिल करेगा, लेकिन सबसे खराब स्थिति में मेमोरी की खपत को कम करेगा।

पैकेट की लंबाई के साथ फिल्टर को बायपास करने के लिए पैकेट की लंबाई बदलें ।
मैंने रिलीज़ में आने का प्रबंधन नहीं किया।

स्थापना और लॉन्च

1. git क्लोन -b स्थिर github.com/alexbers/mtprotoproxy.git; सीडी mtprotoproxy
2. (वैकल्पिक, अनुशंसित) config.py में PORT , USERS और AD_TAG निर्दिष्ट करें
3. docker-compose up --build -d (या python3 mtprotoproxy.py, do do without)
4. (वैकल्पिक, प्रपत्र tg: // का लिंक प्रदर्शित करता है) docker- रचना लॉग करता है

चैनल विज्ञापन के लिए MTProto प्रॉक्सी के अन्य कार्यान्वयन

• आधिकारिक
• एर्लांग पर
• अजगर में

धन्यवाद
seriyps - वास्तविक उपयोगकर्ताओं पर परीक्षण के साथ मदद के लिए
बदलाव - टिप्स के लिए
forst (github) - IPv6 पर कार्य के विचार और कार्यान्वयन के लिए
p1ratrulezzz (github) - सुझावों और परियोजना के बारे में एक लेख के लिए
freekzy (github) - हैंडल लीक के साथ एक बग पैच के लिए

UPD: रिपोजिटरी जो MTProto प्रॉक्सी के विभिन्न कार्यान्वयनों को संकलित करती है: github.com/mtProtoProxy