हाल ही में, जुपिटर नोटबुक डेटा साइंस विशेषज्ञों के बीच बहुत लोकप्रिय हो गया है, जो तेजी से प्रोटोटाइप और डेटा विश्लेषण के लिए वास्तविक मानक बन गया है। नेटफ्लिक्स में, हम अपनी क्षमताओं की सीमाओं को आगे बढ़ाने की कोशिश करते हैं कि नोटबुक क्या हो सकती है, किसका उपयोग किया जा सकता है और इसके साथ वे क्या कर सकते हैं। हमने अपनी दृष्टि को वास्तविकता में अनुवाद करने में बहुत प्रयास किया।

इस लेख में हम आपको यह बताना चाहते हैं कि हमें क्यों लगता है कि जुपिटर नोटबुक बहुत आकर्षक है और यह हमें प्रेरित करती है। इसके अलावा, हम अपने बुनियादी ढांचे के घटकों का वर्णन करते हैं और नेटफ्लिक्स में जुपिटर नोटबुक का उपयोग करने के नए तरीकों की समीक्षा करते हैं।

अनुवादक से ध्यान दें: सावधान, बहुत सारे पाठ और कुछ चित्र

यदि आपके पास अधिक समय नहीं है, तो हमारा सुझाव है कि आप तुरंत उपयोग मामले अनुभाग पर जाएं।

यह सब क्यों?

डेटा नेटफ्लिक्स की शक्ति है। वे हमारे विचारों को परवान चढ़ते हैं, हमारे निर्णयों को प्रभावित करते हैं, और हमारी परिकल्पना को चुनौती देते हैं । वे प्रयोगों और एक अभूतपूर्व पैमाने पर एक नए के उद्भव को चार्ज करते हैं । डेटा हमें अप्रत्याशित अर्थ खोजने और दुनिया भर में हमारे उपयोगकर्ताओं के 130 मिलियन के लिए एक अविश्वसनीय व्यक्तिगत अनुभव का अनुभव करने की अनुमति देता है।

इस सब को एक वास्तविकता बनाना एक बड़ी उपलब्धि है, जिसके लिए प्रभावशाली इंजीनियरिंग और बुनियादी ढांचे के समर्थन की आवश्यकता है। हर दिन, 1 ट्रिलियन से अधिक कार्यक्रम एक धारा (स्ट्रीमिंग अंतर्ग्रहण पाइपलाइन) में प्राप्त होते हैं, जिसे संसाधित किया जाता है और 100 पीपीएम क्लाउड स्टोरेज में दर्ज किया जाता है। और हर दिन, हमारे उपयोगकर्ता इस डेटा पर 150,000 से अधिक कार्य करते हैं, रिपोर्ट से लेकर मशीन सीखने और अनुशंसा एल्गोरिदम तक सब कुछ कवर करते हैं।

इस तरह के पैमाने पर इस तरह के उपयोग परिदृश्यों का समर्थन करने के लिए, हमने उद्योग में सर्वश्रेष्ठ में से एक, एक लचीला, शक्तिशाली और, यदि आवश्यक हो, जटिल डेटा प्रोसेसिंग प्लेटफॉर्म (नेटफ्लिक्स डेटा प्लेटफ़ॉर्म) बनाया है। हमने अतिरिक्त उपकरण और सेवाएं भी विकसित की हैं, जैसे जिनी (कार्य निष्पादन सेवा) और मेटाकाट (मेटा-स्टोरेज)। ये उपकरण जटिलता को कम करते हैं, जिससे कंपनी भर में उपयोगकर्ताओं की एक विस्तृत श्रृंखला का समर्थन करना संभव हो जाता है।

उपयोगकर्ताओं की विविधता प्रभावशाली है, लेकिन आपको इसके लिए भुगतान करना होगा: नेटफ्लिक्स डेटा प्लेटफ़ॉर्म और इसके उपकरण और सेवाओं के पारिस्थितिकी तंत्र को अतिरिक्त उपयोग परिदृश्यों, भाषाओं, पहुँच योजनाओं और बहुत कुछ का समर्थन करने के लिए पैमाने पर होना चाहिए। समस्या की बेहतर समझ के लिए, हम तीन सामान्य पदों पर विचार करते हैं: एक विश्लेषक इंजीनियर, एक डेटा इंजीनियर और एक डेटा वैज्ञानिक।

विभिन्न पदों के लिए भाषाओं और उपकरणों की वरीयता में अंतर

एक नियम के रूप में, प्रत्येक स्थिति उपकरण और भाषाओं के अपने स्वयं के सेट का उपयोग करना पसंद करती है। उदाहरण के लिए, एक डेटा इंजीनियर IntelliJ में Scala का उपयोग करके खरबों की घटनाओं वाले एक नया डेटा पहनावा बना सकता है। विश्लेषक SQL और झांकी का उपयोग करके एक नई वैश्विक स्ट्रीमिंग गुणवत्ता रिपोर्ट में उनका उपयोग कर सकते हैं। यह रिपोर्ट एक डेटा वैज्ञानिक के पास जा सकती है जो R और RStudio का उपयोग करके एक नया स्ट्रीमिंग संपीड़न मॉडल बनाएगा। पहली नज़र में, ये प्रक्रियाएँ खंडित लगती हैं, यद्यपि यह पूरक है, लेकिन यदि आप गहराई से देखते हैं, तो इन प्रक्रियाओं में से प्रत्येक में कई अतिव्यापी कार्य हैं:

डेटा की खोज - परियोजना के प्रारंभिक चरण में होती है; नमूना डेटा, सांख्यिकीय विश्लेषण और डेटा विज़ुअलाइज़ेशन के लिए प्रश्नों का अवलोकन शामिल हो सकता है

डेटा तैयार करना - एक दोहराव कार्य, जिसमें डेटा की सफाई, मानकीकरण, रूपांतरण, निरूपण और डेटा एकत्र करना शामिल हो सकता है; आमतौर पर परियोजना का सबसे अधिक समय लेने वाला हिस्सा

डेटा सत्यापन - एक नियमित रूप से होने वाला कार्य; नमूना डेटा, सांख्यिकीय विश्लेषण, कुल विश्लेषण और डेटा विज़ुअलाइज़ेशन का एक सर्वेक्षण शामिल हो सकता है; आमतौर पर डेटा अन्वेषण, डेटा तैयारी, विकास, पूर्व-परिनियोजन और पोस्ट-परिनियोजन के हिस्से के रूप में होता है

उत्पादीकरण - परियोजना के देर से चरण में होता है; कोड परिनियोजन, नमूना परिवर्धन, मॉडल प्रशिक्षण, डेटा सत्यापन और शेड्यूलिंग वर्कफ़्लो शामिल हो सकते हैं

अपने उपयोगकर्ताओं की क्षमताओं का विस्तार करने के लिए, हम इन कार्यों को यथासंभव आसान बनाना चाहते हैं।
हमारे प्लेटफ़ॉर्म की क्षमताओं का विस्तार करने के लिए, हम उन उपकरणों की संख्या को कम करना चाहते हैं जिन्हें समर्थन देने की आवश्यकता है। लेकिन कैसे? कोई भी उपकरण इन सभी कार्यों को कवर नहीं कर सकता है। इसके अलावा, अक्सर एक कार्य में कई उपकरणों के उपयोग की आवश्यकता होती है। हालांकि, यदि हम विघटन करते हैं, तो सभी उपकरणों और भाषाओं के लिए एक सामान्य पैटर्न उत्पन्न होता है: कोड निष्पादित करें, डेटा की जांच करें, परिणाम प्रस्तुत करें।

ऐसा हुआ कि एक ओपन सोर्स प्रोजेक्ट विशेष रूप से इसके लिए विकसित किया गया था: प्रोजेक्ट जुपिटर ।

ज्यूपिटर नोटबुक्स

निक्टैक्ट में जुपिटर नोटबुक वेगा और अल्टेयर प्रदर्शित करता है

जुपिटर परियोजना को 2014 में अनुसंधान, प्रजनन योग्य वर्कफ़्लो और डेटा विश्लेषण के लिए ओपन सोर्स टूल के लगातार सेट बनाने के लक्ष्य के साथ लॉन्च किया गया था। इन उपकरणों की उद्योग द्वारा बहुत प्रशंसा की गई है और आज जुपिटर किसी भी डेटा वैज्ञानिक के टूलकिट का एक अभिन्न अंग बन गया है। उनके प्रभाव की सीमा को समझने के लिए, हम ध्यान दें कि जुपिटर को 2017 के एसीएम सॉफ्टवेयर सिस्टम अवार्ड से सम्मानित किया गया - एक प्रतिष्ठित पुरस्कार जिसे उन्होंने जावा, यूनिक्स और the_Web के साथ साझा किया।

यह समझने के लिए कि जुपिटर नोटबुक हमारे लिए इतना आकर्षक क्यों है, इसकी मुख्य विशेषताओं पर विचार करें:

• भाषा की परवाह किए बिना कोड का विश्लेषण और निष्पादन के लिए संदेश प्रोटोकॉल
• कोड, आउटपुट और मार्कडाउन नोट के विवरण, प्रदर्शन और निष्पादन के लिए संपादित करने की क्षमता के साथ फ़ाइल प्रारूप
• इंटरेक्टिव लेखन, कोड निष्पादन और परिणामों के विज़ुअलाइज़ेशन के लिए वेब इंटरफ़ेस

ज्यूप्टर प्रोटोकॉल, गुठली के साथ एक मानकीकृत संदेश सेवा एपीआई प्रदान करता है जो गणना मॉड्यूल के रूप में कार्य करता है और एक संयोजनीय वास्तुकला प्रदान करता है, जिससे कोड (यूआई) संग्रहीत होता है और जहां इसे निष्पादित किया जाता है (कर्नेल)। इस प्रकार, इंटरफ़ेस और कोर को अलग करना, नोटबुक रनटाइम को कॉन्फ़िगर करने के लिए लचीलापन बनाए रखते हुए कई भाषाओं में काम कर सकता है। यदि कोई भाषा उस भाषा के लिए मौजूद है जो जुपिटर प्रोटोकॉल का उपयोग करके संदेशों का आदान-प्रदान कर सकती है, तो नोटबुक उस कर्नेल को संदेश भेज और प्राप्त करके कोड निष्पादित कर सकती है।

सब कुछ के अलावा, यह सब एक फ़ाइल प्रारूप द्वारा समर्थित है जो आपको कोड को स्वयं और इसके निष्पादन के परिणामों को एक ही स्थान पर संग्रहीत करने की अनुमति देता है। इसका अर्थ है कि आप बाद में कोड को फिर से शुरू किए बिना निष्पादन के परिणामों को देख सकते हैं। नोटबुक भी संदर्भ का एक विस्तृत विवरण संग्रहीत कर सकते हैं, और इसके अंदर वास्तव में क्या होता है। यह व्यावसायिक संदर्भ को व्यक्त करने, मान्यताओं को तय करने, कोड पर टिप्पणी करने, निष्कर्ष का वर्णन करने और बहुत कुछ करने के लिए यह एक आदर्श प्रारूप बनाता है।

मामलों का उपयोग करें

कई परिदृश्यों में, सबसे लोकप्रिय उपयोग के मामले हैं: डेटा एक्सेस, नोटबुक टेम्पलेट और शेड्यूलिंग नोटबुक।

डेटा का उपयोग

जुपिटर नोटबुक मूल रूप से डेटा साइंस वर्कफ़्लोज़ का समर्थन करने के लिए नेटफ्लिक्स पर दिखाई दिया। जैसे-जैसे डेटा साइंस विशेषज्ञों के बीच उनका उपयोग बढ़ता गया, हमने अपने उपकरणों की क्षमताओं के विस्तार की क्षमता देखी। हमें एहसास हुआ कि हम जुपिटर नोटबुक की बहुमुखी प्रतिभा और वास्तुकला का उपयोग कर सकते हैं और डेटा साझा करने के लिए इसकी क्षमताओं का विस्तार कर सकते हैं। 2017 की तीसरी तिमाही में, हमने गंभीरता से नेटफ्लिक्स डेटा प्लेटफ़ॉर्म के प्रथम-स्तरीय प्रतिनिधि में विशेषज्ञों के एक संकीर्ण सर्कल के लिए नोटबुक बनाने का काम शुरू किया।

हमारे उपयोगकर्ताओं के दृष्टिकोण से, नोटबुक एक इंटरैक्टिव डेवलपमेंट कमांड, आउटपुट रिसर्च और डेटा विज़ुअलाइज़ेशन के लिए एक सुविधाजनक इंटरफ़ेस प्रदान करते हैं - सभी एक क्लाउड डेवलपमेंट वातावरण में। हम पायथन लाइब्रेरी का भी समर्थन करते हैं, जो प्लेटफॉर्म एपीआई तक पहुंच को जोड़ती है। इसका अर्थ है कि उपयोगकर्ताओं के पास नोटबुक के माध्यम से लगभग पूरे नेटफ्लिक्स प्लेटफ़ॉर्म पर प्रोग्रामेटिक एक्सेस है। लचीलापन, शक्ति और उपयोग में आसानी के इस संयोजन के लिए धन्यवाद, कंपनी ने सभी प्रकार के प्लेटफ़ॉर्म उपयोगकर्ताओं द्वारा इसके उपयोग में तेज वृद्धि का अनुभव किया।

आज, नेटफ्लिक्स में नोटबुक सबसे लोकप्रिय डेटा टूल है।

नोटबुक टेम्पलेट्स

प्लेटफ़ॉर्म के भीतर जुपिटर नोटबुक के विस्तार के समर्थन के रूप में, हमने नए उपयोग परिदृश्यों को पूरा करने के लिए इसका उपयोग करने के लिए नई सुविधाएँ शुरू कीं। यहाँ से आया लैपटॉप का पैरामीटर। परिमापित लैपटॉप वास्तव में उनके नाम का प्रतिनिधित्व करता है: एक नोटबुक जो आपको कोड में पैरामीटर सेट करने और रन टाइम पर इनपुट प्राप्त करने की अनुमति देती है। यह उपयोगकर्ताओं को नोटबुक को पुन: प्रयोज्य टेम्पलेट्स के रूप में परिभाषित करने के लिए एक अच्छा तंत्र प्रदान करता है।

हमारे उपयोगकर्ताओं ने इस तरह के पैटर्न का उपयोग करने के कई तरीके ढूंढे हैं। हम सबसे अधिक इस्तेमाल में से कुछ को सूचीबद्ध करते हैं:

• डेटा साइंटिस्ट : विभिन्न गुणांक के साथ प्रयोग करें और परिणामों को संक्षेप में प्रस्तुत करें
• डेटा इंजीनियर : परिनियोजन प्रक्रिया के भाग के रूप में डेटा गुणवत्ता ऑडिट का एक संग्रह निष्पादित करें।
• डेटा विश्लेषक : तैयार किए गए प्रश्नों और विज़ुअलाइज़ेशन को साझा करें ताकि हितधारक डेटा को तबले की अनुमति दे सकें
• सॉफ्टवेयर इंजीनियर : एक दुर्घटना के निवारण के लिए एक स्क्रिप्ट के परिणाम भेजें

शेड्यूलिंग नोटबुक (शेड्यूलर)

नोटबुक का उपयोग करने के मूल तरीकों में से एक वर्कफ़्लो शेड्यूल करने के लिए मर्ज परत बनाना है।

चूंकि प्रत्येक लैपटॉप एक अनियंत्रित कर्नेल पर चल सकता है, इसलिए हम किसी भी उपयोगकर्ता-निर्धारित रनटाइम वातावरण का समर्थन कर सकते हैं। और चूंकि नोटबुक कोशिकाओं में विभाजित एक रैखिक निष्पादन प्रवाह का वर्णन करते हैं, हम विफलता को एक विशिष्ट सेल से संबंधित कर सकते हैं। यह उपयोगकर्ताओं को निष्पादन और विज़ुअलाइज़ेशन का अधिक कथात्मक रूप में वर्णन करने की अनुमति देता है, जिसे बाद के समय में स्टार्टअप पर सटीक रूप से कैप्चर किया जा सकता है।

इस तरह के एक प्रतिमान आपको इंटरेक्टिव काम के लिए एक लैपटॉप का उपयोग करने और कई निष्पादन और सुचारू रूप से अनुसूचक के उपयोग के लिए स्विच करने की अनुमति देता है। जो उपयोगकर्ताओं के लिए बहुत सुविधाजनक निकला। कई उपयोगकर्ता केवल नोटबुक में पूरे वर्कफ़्लो बनाते हैं, फिर उन्हें अलग-अलग फ़ाइलों में डुप्लिकेट करने के लिए और उन्हें सही समय पर चलाने के लिए। एक क्रमिक प्रक्रिया विवरण के रूप में नोटबुक का इलाज करके, हम उन्हें किसी भी अन्य वर्कफ़्लो की तरह चलाने के लिए आसानी से शेड्यूल कर सकते हैं।

हम नोटबुक के माध्यम से अन्य प्रकार के कार्यों के निष्पादन की योजना बना सकते हैं। जब शेड्यूलर से स्पार्क या प्रेस्टो नौकरी निष्पादित की जाती है, तो स्रोत कोड को नई बनाई गई नोटबुक में डाला जाता है और निष्पादित किया जाता है। यह नोटबुक एक इतिहास भंडार बन जाता है जिसमें स्रोत कोड, पैरामीटर, कॉन्फ़िगरेशन, निष्पादन लॉग, त्रुटि संदेश, आदि होते हैं। समस्या निवारण के दौरान, यह जांच के लिए एक त्वरित प्रारंभिक बिंदु प्रदान करता है, क्योंकि सभी प्रासंगिक जानकारी अंदर है और इंटरैक्टिव डिबगिंग के लिए नोटबुक चलाया जा सकता है।

नोटबुक इंफ्रास्ट्रक्चर

नेटफ्लिक्स पैमाने पर ऊपर वर्णित परिदृश्यों का समर्थन करने के लिए व्यापक समर्थन बुनियादी ढांचे की आवश्यकता होती है। संक्षेप में कई परियोजनाओं को प्रस्तुत करें जिन पर निम्नलिखित वर्गों में चर्चा की जाएगी:

न्यूटैक्ट , जुपिटर नोटबुक के लिए रिएक्ट-आधारित यूआई की नई पीढ़ी है। यह एक सरल, सहज ज्ञान युक्त इंटरफ़ेस प्रदान करता है और क्लासिक जुपिटर यूआई के लिए कई एन्हांसमेंट प्रदान करता है, जैसे इनलाइन सेल टूलबार, ड्रैग एंड ड्रॉप सेल और एक अंतर्निर्मित एक्सप्लोरर।

जुपाइटर पुस्तिकाओं के मानकीकरण, निष्पादन और विश्लेषण के लिए पेपरमिल पुस्तकालय। जिसकी मदद से आप विभिन्न मापदंडों के साथ कई नोटबुक का प्रचार कर सकते हैं और उन्हें एक साथ निष्पादित कर सकते हैं। Papermill आपको संपूर्ण नोटबुक संग्रह के लिए मैट्रिक्स एकत्र करने और सारांशित करने की भी अनुमति देता है।

Commuter नोटबुक को देखने और साझा करने के लिए एक हल्के, लंबवत स्केलेबल सेवा है। यह सामग्री के लिए एपीआई का एक जुपिटर-संगत संस्करण प्रदान करता है और अमेज़ॅन एस 3 पर स्थानीय रूप से संग्रहीत नोटबुक को पढ़ना आसान बनाता है। फ़ाइलों को खोजने और साझा करने के लिए एक एक्सप्लोरर भी प्रदान करता है।

टाइटस एक कंटेनर प्रबंधन मंच है जो अमेज़ॅन एडब्ल्यूएस के साथ स्केलेबल और विश्वसनीय कंटेनर लॉन्च और क्लाउड-देशी एकीकरण प्रदान करता है। टाइटस नेटफ्लिक्स में विकसित किया गया था और नेटफ्लिक्स स्ट्रीमिंग, सिफारिश और सामग्री प्रणालियों का समर्थन करने के लिए इसका उपयोग किया जाता है।

आर्किटेक्चर का अधिक विस्तृत विवरण नेटफ्लिक्स के शेड्यूलिंग नोटबुक में लेख में पाया जा सकता है। इस पोस्ट के उद्देश्य के लिए, हम खुद को सिस्टम के तीन मूलभूत घटकों: भंडारण, निष्पादन और इंटरफ़ेस तक सीमित रखते हैं।

नेटफ्लिक्स पर नोटबुक इंफ्रास्ट्रक्चर

संग्रहण (भंडारण)

नेटफ्लिक्स डेटा प्लेटफ़ॉर्म अमेज़ॅन एस 3 और ईएफएस क्लाउड स्टोरेज का उपयोग करता है, जो नोटबुक वर्चुअल फ़ाइल सिस्टम के रूप में व्यवहार करते हैं। इसका अर्थ है कि प्रत्येक उपयोगकर्ता के पास EFS होम डायरेक्टरी है जिसमें नोटबुक के लिए एक व्यक्तिगत कार्यक्षेत्र है। इस स्पेस में, हम उपयोगकर्ता द्वारा बनाए गए या लोड किए गए किसी भी नोटबुक को स्टोर करते हैं। यह वह स्थान भी है जहां पढ़ना और लिखना तब होता है जब उपयोगकर्ता अंतःक्रियात्मक रूप से लैपटॉप शुरू करता है। हम नाम स्थान के लिए संयोजन [कार्यक्षेत्र + फ़ाइल नाम] का उपयोग करते हैं, अर्थात /efs/users/kylek/notebooks/MySparkJob.ipynb देखने, साझा करने और निष्पादन अनुसूचक में। इस तरह का एक समझौता टकराव को रोकता है और ईएफएस में उपयोगकर्ता और नोटबुक स्थान दोनों की पहचान की सुविधा देता है।

कार्यक्षेत्र का मार्ग आपको उपयोगकर्ता के लिए क्लाउड स्टोरेज की जटिलता को अनदेखा करने की अनुमति देता है। उदाहरण के लिए, केवल नोटबुक फ़ाइलों के नाम निर्देशिका में प्रदर्शित होते हैं, अर्थात MySparkJob.ipynb। टर्मिनल के माध्यम से एक ही फाइल उपलब्ध है: ~ / नोटबुक्स / MySparkJob.ipynb।

नोटबुक भंडारण बनाम पहुंच

जब उपयोगकर्ता नोटबुक शुरू करने का कार्य निर्धारित करता है, तो शेड्यूलर उपयोगकर्ता के नोटबुक को E3 से S3 पर साझा निर्देशिका में कॉपी करता है। S3 में नोटबुक शेड्यूलर, या स्रोत नोटबुक के लिए सत्य का स्रोत बन जाता है। हर बार जब अनुसूचक (प्रेषणकर्ता) नोटबुक शुरू करता है, तो यह स्रोत से एक नई नोटबुक बनाता है। यह नई नोटबुक वह है जो वास्तव में शुरू होती है और प्रत्येक सेल के निष्पादन योग्य कोड, आउटपुट और लॉग से युक्त एक विशिष्ट निष्पादन का एक अदृश्य रिकॉर्ड बन जाता है। हम इसे आउटपुट (आउटपुट) नोटबुक कहते हैं।

सह-निर्माण नेटफ्लिक्स की एक मौलिक विशेषता है। इसलिए, यह आश्चर्य की बात नहीं थी जब उपयोगकर्ताओं ने नोटबुक के यूआरएल लिंक का आदान-प्रदान करना शुरू किया। इस अभ्यास की वृद्धि के साथ, हम एक ही नोटबुक में कई उपयोगकर्ताओं के एक साथ उपयोग के कारण आकस्मिक पुनर्लेखन की समस्या का सामना कर रहे हैं। हमारे उपयोगकर्ता अपने सक्रिय नोटबुक को केवल-पढ़ने के लिए मोड में साझा करने का एक तरीका चाहते थे। इससे कम्यूटर का निर्माण हुआ। हुड के तहत, कम्यूटर फाइलों की सामग्री, और एक्सेस फ़ाइल मेटाडेटा देखने के लिए ज्यूपिटर एपीआई को एक निर्देशिका सूची में / फ़ाइलों और / एपीआई / सामग्री को प्रदर्शित करता है। इसका मतलब यह है कि उपयोगकर्ता युद्ध कार्यों या लाइव-रनिंग नोटबुक के लिए परिणाम के बिना नोटबुक देख सकते हैं।

कंप्यूट (निष्पादन)

कंप्यूटिंग संसाधनों का प्रबंधन करना डेटा के साथ काम करने के सबसे कठिन हिस्सों में से एक है। यह नेटफ्लिक्स में विशेष रूप से सच है, जहां हम एडब्ल्यूएस में अत्यधिक स्केलेबल कंटेनर आर्किटेक्चर का उपयोग करते हैं। डेटा प्लेटफ़ॉर्म पर सभी नौकरियों को कंटेनरों में निष्पादित किया जाता है, जिसमें क्वेरी, पाइपलाइन और नोटबुक शामिल हैं। स्वाभाविक रूप से, हम इस जटिलता से जितना संभव हो उतना सार करना चाहते थे।

उपयोगकर्ता द्वारा नोटबुक सर्वर शुरू करने पर एक कंटेनर प्रदान किया जाता है। हम कंटेनर संसाधनों के लिए तर्कसंगत चूक प्रदान करते हैं जो निष्पादन पैटर्न के ~ 87.3% के लिए काम करते हैं। जब यह पर्याप्त नहीं है, तो उपयोगकर्ता एक सरल इंटरफ़ेस का उपयोग करके अधिक संसाधनों का अनुरोध कर सकते हैं।

उपयोगकर्ता अपनी आवश्यकता के अनुसार कम या अधिक कम्प्यूट + मेमोरी का चयन कर सकते हैं

हम तैयार कंटेनर छवि के साथ एकीकृत रनटाइम भी प्रदान करते हैं। छवि में साझा पुस्तकालय और डिफ़ॉल्ट गुठली का एक पूर्वनिर्धारित सेट है। छवि में सब कुछ स्थिर नहीं है - हमारे गुठली हमारे मंच के लिए नवीनतम स्पार्क संस्करणों और नवीनतम क्लस्टर कॉन्फ़िगरेशन का उपयोग करते हैं। यह नए लैपटॉप के लिए अव्यवस्था और ट्यूनिंग के समय को कम करता है और आम तौर पर हमें एकल रनटाइम वातावरण में रखता है।

हुड के तहत, हम टाइटस , हमारी डॉकर कंटेनर प्रबंधन सेवा के साथ आर्केस्ट्रा और वातावरण का प्रबंधन करते हैं। हम विशिष्ट उपयोगकर्ता सर्वर कॉन्फ़िगरेशन और छवियों को प्रबंधित करते हुए, इस सेवा पर एक आवरण बनाते हैं। छवि में उपयोगकर्ता सुरक्षा समूह और भूमिकाएं भी शामिल हैं, साथ ही शामिल पुस्तकालयों में पहचान के लिए सामान्य पर्यावरण चर भी हैं। इसका मतलब है कि हमारे उपयोगकर्ता बुनियादी ढांचे पर कम समय और डेटा पर अधिक समय बिता सकते हैं।

इंटरफ़ेस

इससे पहले, हमने अपनी दृष्टि का वर्णन किया कि नोटबुक को डेटा के साथ काम करने के लिए सबसे प्रभावी और इष्टतम उपकरण होना चाहिए। लेकिन यह एक दिलचस्प चुनौती प्रस्तुत करता है: एक इंटरफ़ेस सभी उपयोगकर्ताओं का समर्थन कैसे कर सकता है? हमें सटीक उत्तर नहीं पता है, लेकिन हमारे पास कुछ विचार हैं।

हम जानते हैं कि सादगी की जरूरत है। इसका अर्थ न्यूनतम शैली के साथ एक सहज ज्ञान युक्त यूआई है, और इसके लिए एक विचारशील यूएक्स की भी आवश्यकता है जो जटिल चीजों को करना आसान बनाता है। यह दर्शन वृत्ति के लक्ष्यों के साथ अच्छी तरह से फिट बैठता है, जो ज्यूपिटर नोटबुक के लिए रिएक्ट के दृश्य पर लिखा गया है। यह रचनाशीलता को डिजाइन के मूलभूत सिद्धांतों के रूप में महत्व देता है, जिससे यह हमारी दृष्टि का एक आदर्श हिस्सा है।

हमारे उपयोगकर्ताओं की सबसे आम शिकायत सभी भाषाओं के लिए मूल दृश्य की कमी है, खासकर गैर-पायथन भाषाओं के लिए। Nteract का डेटा एक्सप्लोरर इस बात का एक अच्छा उदाहरण है कि कैसे डेटा को जल्दी से एक्सप्लोर करने के लिए भाषा-स्वतंत्र तरीका प्रदान करके जटिल चीजों को आसान बनाया जाए।

आप MyBinder पर इस उदाहरण पर कार्रवाई में डेटा एक्सप्लोरर को देख सकते हैं। (लोडिंग में कई मिनट लग सकते हैं)

वर्ल्ड हैप्पीनेस रिपोर्ट डेटासेट को नॉर्टैक्ट के डेटा एक्सप्लोरर के साथ विज़ुअलाइज़ करना

हम मानकीकरण के लिए अंतर्निहित समर्थन भी पेश करते हैं, जो नोटबुक लॉन्च करने की योजना को सरल करता है, और पुन: प्रयोज्य टेम्पलेट बनाता है।

नॉटैक्ट में पैरामीटरयुक्त नोटबुक के लिए मूल समर्थन

Jupyter notebook , . , notebook. 12 , . , , , . , , Spark DataFrames, Scala. .

Open Source Projects

Netflix . , , . Netflix Data Platform Netflix OSS . “Not Invented Here”. Spark , Jupyter pandas .

, , Jupyter Project, . , nteract notebook UI Netflix. , . , Jupyter Notebook, , , . nteract.

, Netflix, . , , , , . , Papermill, .

---

What's Next ( )

, – (Netflixers) . Notebook Netflix. , . , .

! . , notebook. notebook Netflix, . :

I: Notebook Innovation ( )

II: Scheduling Notebooks

:

Scheduling workflows , — .