जैसा कि हम में से कई लोग PyCon सम्मेलन की तैयारी कर रहे हैं, हम इस बारे में थोड़ी बात करना चाहते थे कि Netflix में पायथन का उपयोग कैसे किया जाता है। हम पूरे जीवन चक्र में पायथन का उपयोग करते हैं: निर्णय लेना कि कौन सी श्रृंखला से लेकर वित्त तक, और सीडीएन के काम के साथ वीडियो को 148 मिलियन उपयोगकर्ताओं तक शिप करने के लिए समाप्त करना। हम कई खुले स्रोत पायथन पैकेज में योगदान दे रहे हैं, जिनमें से कुछ नीचे दिए गए हैं। यदि आपकी कोई रुचि है, तो हमारे रिक्त स्थान को देखें या हमें PyCon पर देखें।

कनेक्ट खोलें

ओपन कनेक्ट नेटफ्लिक्स कंटेंट डिलीवरी नेटवर्क (सीडीएन) है। नेटफ्लिक्स के बुनियादी ढांचे को पेश करने का एक सरल, यद्यपि गलत तरीका है, यह सब कुछ होता है: रिमोट कंट्रोल पर प्ले बटन दबाने से पहले जो कुछ भी होता है (उदाहरण के लिए, लॉगिन करना, टैरिफ प्लान निर्धारित करना, सिफारिश प्रणाली, अमेज़ॅन वेब सर्विसेज में काम करना) , और बाद में होने वाली (यानी स्ट्रीमिंग वीडियो) सब कुछ ओपन कनेक्ट के माध्यम से काम करता है। ग्राहकों के लिए गुणवत्ता को देखने और नेटफ्लिक्स और हमारे सहयोगियों, इंटरनेट प्रदाताओं के लिए लागत को कम करने के लिए सामग्री को संभवतया खुले कनेक्ट सीडीएन सर्वर नेटवर्क पर होस्ट किया जाता है।

सीडीएन को डिजाइन करने, विकसित करने और संचालित करने के लिए विभिन्न सॉफ्टवेयर सिस्टम की आवश्यकता होती है, और उनमें से कई पायथन में लिखे गए हैं। सीडीएन-आधारित नेटवर्क डिवाइस मुख्य रूप से पायथन एप्लिकेशन द्वारा नियंत्रित होते हैं। इस तरह के अनुप्रयोग नेटवर्क उपकरणों की स्थिति की निगरानी करते हैं: कौन से उपकरण उपयोग किए जाते हैं, कौन से मॉडल, कौन से हार्डवेयर घटक, जहां वे स्थित हैं। इन उपकरणों के कॉन्फ़िगरेशन को "सत्य का स्रोत", डिवाइस कॉन्फ़िगरेशन एप्लिकेशन और बैकअप सहित कई अन्य प्रणालियों द्वारा नियंत्रित किया जाता है। स्वास्थ्य डेटा और अन्य परिचालन डेटा एकत्र करने के लिए उपकरणों की बातचीत एक और पायथन एप्लिकेशन है। अजगर लंबे समय से वेब पर एक लोकप्रिय प्रोग्रामिंग भाषा है क्योंकि यह एक सहज ज्ञान युक्त भाषा है जो आपको नेटवर्क समस्याओं को जल्दी से हल करने की अनुमति देती है। कई उपयोगी पुस्तकालय विकसित किए गए हैं जो भाषा को सीखने और उपयोग के लिए और भी उपयुक्त बनाते हैं।

मांग इंजीनियरिंग

डिमांड इंजीनियरिंग नेटफ्लिक्स क्लाउड में क्षेत्रीय विफलताओं , ट्रैफिक वितरण, बैंडविड्थ संचालन और सर्वर के प्रदर्शन को संभालने के लिए जिम्मेदार है। हम गर्व से कह सकते हैं कि हमारे उपकरण मुख्य रूप से पायथन पर बने हैं। फेलओवर सेवा संख्यात्मक विश्लेषण के लिए संख्यात्मक और डरावना का उपयोग करती है, AWS के बुनियादी ढांचे में बदलाव करने के लिए boto3, अतुल्यकालिक वर्कलोड को चलाने के लिए rq, सभी एक पतली फ्लास्क एपीआई परत में लिपटे हुए हैं। बर्फ़टोन शेल में विफलता के साथ छोड़ने और स्थिति को एक बार से अधिक सुधारने की क्षमता।

क्षमता संचालन का पता लगाने के लिए परिचालन डेटा और प्रोटोटाइप विज़ुअलाइज़ेशन टूल का विश्लेषण करने के लिए हम सक्रिय रूप से Jupyter Notebooks और nteract का उपयोग करते हैं।

कोर

CORE टीम आँकड़ों का विश्लेषण करने और अलर्ट जारी करने के लिए पायथन का उपयोग करती है। जब चेतावनी प्रणाली समस्याओं का संकेत देती है, तो हम 1000 संबंधित संकेतों के विश्लेषण को स्वचालित करने के लिए कई सांख्यिकीय और गणितीय पुस्तकालयों (खस्ता, डरावना, टूटना, पांडा) पर भरोसा करते हैं। हमने एक समय श्रृंखला सहसंबंध प्रणाली विकसित की है जो टीम के भीतर और इसके बाहर दोनों का उपयोग करती है, साथ ही तेजी से परिणाम प्राप्त करने के लिए बड़ी मात्रा में विश्लेषणात्मक कार्य को समानांतर करने के लिए एक वितरित कार्य प्रणाली है।

हम आमतौर पर स्वचालन, अनुसंधान और डेटा फ़िल्टरिंग कार्यों के लिए और एक सुविधाजनक विज़ुअलाइज़ेशन टूल के रूप में पायथन का उपयोग करते हैं।

निगरानी, ​​चेतावनी और स्वचालित वसूली

इनसाइट इंजीनियरिंग टीम समस्याओं, अलर्ट्स, डायग्नोस्टिक्स और स्वचालित सुधारों की तेजी से पहचान के लिए उपकरणों के विकास और संचालन के लिए जिम्मेदार है। पायथन की बढ़ती लोकप्रियता के साथ, टीम अब अपनी अधिकांश सेवाओं के लिए पायथन ग्राहकों का समर्थन करती है। एक उदाहरण कोड के लिए स्पेक्टेटर क्लाइंट लाइब्रेरी है जो आयामी समय श्रृंखला मैट्रिक्स रिकॉर्ड करता है। हम नेटफ्लिक्स प्लेटफ़ॉर्म पर अन्य सेवाओं के साथ बातचीत करने के लिए पायथन लाइब्रेरी बनाते हैं। पुस्तकालयों के अलावा, विंस्टन और बोल्ट उत्पादों को पायथन फ्रेमवर्क (Gunicorn + Flask + Flask-RESTPlus) का उपयोग करके बनाया गया है।

सूचना सुरक्षा

सूचना सुरक्षा टीम कई महत्वपूर्ण कार्यों के लिए पायथन का उपयोग करती है, जिसमें सुरक्षा को स्वचालित करना, जोखिमों को वर्गीकृत करना, कमजोरियों को पहचानना और स्वचालित रूप से ठीक करना शामिल है। हमने सुरक्षा बंदर (हमारे सबसे सक्रिय ओपन सोर्स प्रोजेक्ट) सहित कई सफल उत्पादों के लिए स्रोत कोड प्रकाशित किया है। पाइथन का उपयोग आशीर्वाद के साथ हमारे SSH संसाधनों की सुरक्षा के लिए किया जाता है। अवसंरचना का उपयोग करके IAM अनुमतियों को कॉन्फ़िगर करने के लिए अवसंरचना सुरक्षा टीम पायथन का उपयोग करती है । पाइथन स्क्रिप्ट लिमुर में टीएलएस सर्टिफिकेट जेनरेट करने में मदद करती है।

हमारी हाल की कुछ परियोजनाओं में प्रिज्म शामिल है: एक बैच ढांचा जो सुरक्षा इंजीनियरों को बुनियादी ढांचे की स्थिति का विश्लेषण करने और स्रोत कोड में जोखिम कारकों और कमजोरियों की पहचान करने में मदद करता है। वर्तमान में हम प्रिज्म के लिए पायथन और रूबी लाइब्रेरी प्रदान करते हैं। पाइथन में डिफी फोरेंसिक (कंप्यूटर फोरेंसिक) उपकरण पूरी तरह से लिखा गया है। हम लेनियस का उपयोग करके संवेदनशील डेटा की खोज करने के लिए भी पायथन का उपयोग करते हैं।

वैयक्तिकरण एल्गोरिदम

हम निजीकरण के लिए मशीन लर्निंग फ्रेमवर्क में अजगर का व्यापक उपयोग करते हैं । कुछ मॉडल यहां सिखाए गए हैं जो नेटफ्लिक्स की कार्यक्षमता के प्रमुख पहलुओं को प्रदान करते हैं: चयन और विपणन एल्गोरिदम को कवर करने के लिए सिफारिश एल्गोरिदम से। उदाहरण के लिए, कुछ एल्गोरिदम TensorFlow, Keras और PyTorch का उपयोग गहन तंत्रिका नेटवर्क, XGBoost और LightGBM सीखने के लिए निर्णय वृक्षों को ढाल बढ़ाने या व्यापक पाइथन स्टैक (उदाहरण के लिए, खस्ता, डरावना, स्केलेरी लाइब्रेरी, matplotlib, पांडा, cvxpy पुस्तकालयों) के लिए करते हैं। चूंकि हम लगातार नए दृष्टिकोणों की कोशिश कर रहे हैं, कई प्रयोगों के लिए हम जुपिटर नोटबुक का उपयोग करते हैं। हमने अपने बाकी इकोसिस्टम (उदाहरण के लिए, डेटा तक पहुंच, तथ्यों को रिकॉर्ड करना और विशेषताओं को निकालना, मॉडल का मूल्यांकन करना, और प्रकाशन) के साथ नोटबुक को एकीकृत करने के लिए कई उच्च-स्तरीय पुस्तकालयों का विकास किया है।

मशीन लर्निंग इन्फ्रास्ट्रक्चर

निजीकरण के अलावा, कंपनी में नेटफ्लिक्स सैकड़ों अन्य कार्यों के लिए मशीन लर्निंग लागू करता है। इन अनुप्रयोगों में से कई मेटाफ़्लो पर चलते हैं, पायथन प्लेटफ़ॉर्म जो एमएल परियोजनाओं को निष्पादित करना और प्रोटोटाइप चरण से उत्पादन तक उन्हें चलाना आसान बनाता है।

मेटाफ़्लो ने पायथन की सीमाओं को धक्का दिया: हम 10 जीबी / एस पर डेटा निकालने के लिए अच्छी तरह से समानांतर और अनुकूलित पायथन कोड का उपयोग करते हैं, स्मृति में लाखों डेटा बिंदुओं की प्रक्रिया करते हैं और दसियों हज़ार सीपीयू कोर पर गणना आयोजित करते हैं।

नोटबुक

हम नेटफ्लिक्स में ज्यूपिटर नोटबुक के उपयोगकर्ता हैं, और हमने पहले ही इन निवेशों के कारणों और प्रकृति के बारे में लिखा है।

लेकिन इन सेवाओं को प्रदान करने में पायथन की बहुत बड़ी भूमिका है। यह ज्यूपिटर इकोसिस्टम के साथ विभिन्न इंटरैक्शन के विकास, डिबगिंग, शोध और प्रोटोटाइप के लिए प्राथमिक भाषा है। हम जुपिटर सर्वर के लिए कस्टम एक्सटेंशन बनाने के लिए पायथन का उपयोग करते हैं, जो हमें उपयोगकर्ताओं की ओर से लॉगिंग, आर्काइविंग, प्रकाशन और क्लोनिंग नोटबुक जैसे कार्यों को प्रबंधित करने की अनुमति देता है। हम अपने उपयोगकर्ताओं को विभिन्न जुपिटर कर्नेल के माध्यम से पायथन में कई विकल्प प्रदान करते हैं और इन कर्नेल विशिष्टताओं की तैनाती को पायथन का उपयोग करके नियंत्रित करते हैं।

वाद्य-स्थान

बिग डेटा ऑर्केस्ट्रेशन टीम ईटीएल और एडहॉक पाइपलाइनों की योजना और क्रियान्वयन के लिए सभी सेवाएं और उपकरण प्रदान करने के लिए जिम्मेदार है।

पायथन में कई ऑर्केस्ट्रेशन घटक लिखे गए हैं। एक अनुसूचक के साथ शुरू होता है जो टेम्पलेट जॉब प्रकारों (स्पार्क, प्रेस्टो ...) के लिए ज्यूपिटर और पेपरमिल नोटपैड का उपयोग करता है। यह उपयोगकर्ताओं को उस कार्य को व्यक्त करने के लिए एक मानकीकृत और आसान तरीका देता है जिसे करने की आवश्यकता होती है। यहाँ आप इसके बारे में अधिक पढ़ सकते हैं। हमने उत्पादन में संचालन की वास्तविक सूचियों ("रनबुक") के रूप में उन पुस्तिकाओं का उपयोग किया, जहां मानव हस्तक्षेप की आवश्यकता होती है, उदाहरण के लिए, अंतिम घंटे में गिरने वाली सभी चीजों को पुनः आरंभ करना।

आंतरिक उपयोग के लिए, हमने एक घटना-चालित मंच बनाया जो पूरी तरह से पायथन में लिखा गया है। यह कई प्रणालियों से घटना धाराओं को प्राप्त करता है जो एक उपकरण में संयुक्त होते हैं। यह आपको घटनाओं को छानने, उन्हें जवाब देने या रूटिंग के लिए शर्तों को निर्धारित करने की अनुमति देता है। नतीजतन, हम माइक्रोसर्विस को अलग करने में सक्षम थे और डेटा प्लेटफॉर्म पर होने वाली हर चीज में पारदर्शिता सुनिश्चित करते थे।

हमारी टीम ने पैंज़ी क्लाइंट भी विकसित किया है, जो जिनी फ़ेडरेटेड जॉब पूर्ण करने की सेवा के साथ सहभागिता करता है। आंतरिक रूप से, हमारे पास इस लाइब्रेरी के लिए अतिरिक्त एक्सटेंशन हैं जो व्यावसायिक समझौतों को लागू करते हैं और नेटफ्लिक्स प्लेटफ़ॉर्म के साथ एकीकृत हैं। ये लाइब्रेरी उपयोगकर्ताओं के लिए बड़े डेटा प्लेटफॉर्म के साथ प्रोग्राम करने के लिए प्राथमिक तरीका है।

अंत में, हमारी टीम ने ओपन सोर्स प्रोजेक्ट पेपरमिल और स्क्रैपबुक में योगदान दिया: हमने अपने स्वयं के और बाहरी उपयोग के मामलों के लिए कोड जोड़ा। हमारे प्रयास खुले स्रोत समुदाय में अच्छी तरह से प्राप्त होते हैं, जिसके बारे में हम बहुत खुश हैं।

प्रायोगिक मंच

वैज्ञानिक गणना की टीम प्रयोगों के लिए एक मंच बनाती है: एबी-परीक्षण और अन्य। वैज्ञानिक और इंजीनियर तीन क्षेत्रों में नवाचार के साथ प्रयोग कर सकते हैं: डेटा, सांख्यिकी और दृश्य।

हमारी मैट्रिक्स रिपॉजिटरी एक PyPika- आधारित पायथन प्लेटफॉर्म है जो आपको पुन: प्रयोज्य पैरामीटराइज्ड SQL क्वेरी लिखने की अनुमति देता है। यह किसी भी नए विश्लेषण के लिए प्रवेश बिंदु है।

कारण मॉडल का कोशल मॉडल पुस्तकालय पायथन और आर पर आधारित है: यहां, वैज्ञानिकों को नए कारण मॉडल का पता लगाने का अवसर दिया जाता है। यह PyArrow और RPy2 का उपयोग करता है, इसलिए आंकड़े आसानी से किसी भी भाषा में गणना किए जाते हैं।

विज़ुअलाइज़ेशन लाइब्रेरी प्लॉटली पर आधारित है। चूंकि प्लॉटली विज़ुअलाइज़ेशन के लिए एक सामान्य विनिर्देश है, ऐसे कई आउटपुट टूल हैं जो हमारे प्लेटफार्मों पर जाते हैं।

संबद्ध पारिस्थितिकी तंत्र

भागीदार पारिस्थितिकी तंत्र टीम उपकरणों पर नेटफ्लिक्स अनुप्रयोगों का परीक्षण करने के लिए पायथन का उपयोग करती है। पायथन हमारे सतत ऑर्केस्ट्रेशन सर्वरों को प्रबंधित करने, स्पिननेकर को प्रबंधित करने, सूट के अनुरोधों और फ़िल्टरिंग, और उपकरणों और कंटेनरों पर परीक्षण योजना चलाने सहित नए निरंतर एकीकरण बुनियादी ढांचे का मूल बनाता है। अतिरिक्त पोस्ट-लॉन्च विश्लेषण को टेंसोरफ्लो का उपयोग करके पायथन में प्रदर्शन किया जाता है ताकि यह निर्धारित किया जा सके कि कौन से उपकरणों पर समस्याएं पैदा करने के लिए परीक्षण सबसे अधिक संभावना है।

वीडियो कोडिंग और मीडिया क्लाउड डेवलपमेंट

हमारी टीम नेटफ्लिक्स कैटलॉग कोडिंग (और ट्रांसकोडिंग) का ध्यान रखती है और इस कैटलॉग का विश्लेषण करने के लिए मशीन लर्निंग का भी उपयोग करती है।

हम पायथन का उपयोग लगभग 50 परियोजनाओं में करते हैं, जैसे कि vmaf और mezzfs , आर्चर नामक मैप-कम प्लेटफॉर्म का उपयोग करके कंप्यूटर विज़न समाधान बनाते हैं, और कई आंतरिक परियोजनाओं के लिए पायथन का उपयोग करते हैं।

हमने पायथन परियोजनाओं के विकास / वितरण को सुविधाजनक बनाने के लिए कई उपकरण भी खोले हैं, जैसे कि सेटअपमेटा और पिकली ।

नेटफ्लिक्स और एनवीएफएक्स एनीमेशन

अजगर उन सभी प्रमुख अनुप्रयोगों के लिए एक उद्योग मानक है जिसका उपयोग हम एनिमेटेड और वीएफएक्स सामग्री बनाने के लिए करते हैं, इसलिए यह बिना कहे चला जाता है कि हम इसका भारी उपयोग करते हैं। माया और न्यूक के साथ हमारे सभी एकीकरण पायथन में बने हैं, और हमारे शॉटगन टूल्स के थोक भी हैं। हमने अभी क्लाउड में उपकरण बनाना शुरू किया है और वहां कई कस्टम पायथन एएमआई / कंटेनर तैनात करने जा रहे हैं।

सामग्री, विज्ञान और विश्लेषण में मशीन सीखने

सामग्री में मशीन सीखने वाली टीम मशीन लर्निंग मॉडल विकसित करने के लिए अजगर का व्यापक उपयोग करती है जो सभी सामग्री के लिए दर्शकों के आकार, विचारों और अन्य मैट्रिक्स की भविष्यवाणी करने के मूल में हैं।