क्यों हर डेटा साइंटिस्ट को पता होना चाहिए Dask

नमस्कार साथियों!

शायद आज के प्रकाशन का शीर्षक प्रश्न चिह्न के साथ बेहतर होता - यह कहना मुश्किल है। किसी भी मामले में, आज हम आपको एक संक्षिप्त यात्रा की पेशकश करना चाहते हैं जो आपको डैस्क लाइब्रेरी से परिचित कराएगा , जिसे पायथन में कार्यों को समानांतर बनाने के लिए डिज़ाइन किया गया है। हम भविष्य में और अधिक अच्छी तरह से इस विषय पर लौटने की उम्मीद करते हैं।


पर लिया गया फोटो

डीस्क, अतिशयोक्ति के बिना, सबसे क्रांतिकारी डेटा प्रोसेसिंग टूल है जो मैं भर में आया हूं। यदि आप पंडों और नेम्पी को पसंद करते हैं, लेकिन कभी-कभी आप उन डेटा के साथ सामना नहीं कर सकते जो रैम में फिट नहीं होते हैं, तो Dask वही है जो आपको चाहिए। Dask पंडों डेटा फ्रेम और Numpy डेटा संरचनाओं (सरणियों) का समर्थन करता है। Dask को स्थानीय कंप्यूटर पर या स्केल किया जा सकता है, और फिर क्लस्टर में चलाया जा सकता है। संक्षेप में, आप केवल एक बार कोड लिखते हैं, और फिर यह चुनें कि क्या इसे स्थानीय मशीन पर उपयोग करना है या इसे इस सब के लिए सबसे सामान्य पायथन सिंटैक्स का उपयोग करके कई नोड्स के क्लस्टर में तैनात करना है। यह सुविधा स्वयं बहुत अच्छी है, लेकिन मैंने इस लेख को केवल जोर देने के लिए लिखने का फैसला किया: प्रत्येक डेटा साइंटिस्ट (कम से कम पायथन का उपयोग करके) Dask का उपयोग करना चाहिए। मेरे दृष्टिकोण से, Dask का जादू यह है कि कोड को न्यूनतम करके, आप कंप्यूटिंग शक्ति का उपयोग करके इसे समानांतर कर सकते हैं जो पहले से ही उपलब्ध है, उदाहरण के लिए, मेरे लैपटॉप पर। समानांतर डेटा प्रोसेसिंग के साथ, प्रोग्राम तेजी से चलता है, आपको कम इंतजार करना पड़ता है, और तदनुसार, एनालिटिक्स के लिए अधिक समय बचा है। विशेष रूप से, इस लेख में हम dask.delayed ऑब्जेक्ट के बारे में बात करेंगे और यह डेटा साइंस टास्क स्ट्रीम में कैसे फिट होगा।

पेश है डस्क

Dask के लिए एक परिचय के रूप में, यहाँ कुछ उदाहरण दिए गए हैं जो आपको इसके पूरी तरह से विनीत और प्राकृतिक वाक्य-विन्यास का अंदाज़ा देने के लिए हैं। इस मामले में सबसे महत्वपूर्ण निष्कर्ष जो मैं सुझाना चाहता हूं वह यह है कि आपके पास पहले से मौजूद ज्ञान काम करने के लिए पर्याप्त होगा; आपको Hadoop या Spark जैसे नए बड़े डेटा टूल को नहीं सीखना होगा।

Dask 3 समानांतर संग्रह प्रदान करता है जिसमें आप रैम के आकार से अधिक डेटा स्टोर कर सकते हैं, अर्थात्: डेटाफ्रेम, बैग और एरे। इनमें से प्रत्येक प्रकार के संग्रह में, आप उन्हें रैम और हार्ड ड्राइव के बीच सेगमेंट करके डेटा स्टोर कर सकते हैं, साथ ही एक क्लस्टर में कई नोड्स में डेटा वितरित कर सकते हैं।

Dask DataFrame में श्रेड डेटाफ़्रेम होते हैं, जैसे कि पंडों में, इसलिए यह आपको पंडों के क्वेरी सिंटैक्स से सुविधाओं के सबसेट का उपयोग करने की अनुमति देता है। नीचे एक उदाहरण कोड है जो 2018 के लिए सभी सीएसवी फ़ाइलों को डाउनलोड करता है, टाइमस्टैम्प के साथ एक क्षेत्र को पार्स करता है, और पंडित के अनुरोध को लॉन्च करता है:

 import dask.dataframe as dd df = dd.read_csv('logs/2018-*.*.csv', parse_dates=['timestamp']) df.groupby(df.timestamp.dt.hour).value.mean().compute() 

Dask डेटाफ़्रेम उदाहरण

डस्क बैग में, आप पाइथोनिक ऑब्जेक्ट्स के संग्रह को संग्रहीत और संसाधित कर सकते हैं जो स्मृति में फिट नहीं होते हैं। डस्क बैग प्रसंस्करण लॉग और json प्रारूप में दस्तावेजों के संग्रह के लिए बहुत अच्छा है। इस कोड उदाहरण में, 2018 के लिए सभी json फ़ाइलों को Dask Bag डेटा संरचना में लोड किया गया है, प्रत्येक json रिकॉर्ड को पार्स किया गया है, और उपयोगकर्ता डेटा को lambda फ़ंक्शन का उपयोग करके फ़िल्टर किया गया है:

 import dask.bag as db import json records = db.read_text('data/2018-*-*.json').map(json.loads) records.filter(lambda d: d['username'] == 'Aneesha').pluck('id').frequencies() 

डस्क बैग उदाहरण

Dask Arrays डेटा संरचना Numpy-स्टाइल स्लाइस का समर्थन करती है। निम्नलिखित उदाहरण में, एचडीएफ 5 डेटा का एक सेट आयाम के ब्लॉक (5000, 5000) में विभाजित है:

 import h5py f = h5py.File('myhdf5file.hdf5') dset = f['/data/path'] import dask.array as da x = da.from_array(dset, chunks=(5000, 5000)) 

डस्क अर्रे उदाहरण

Dask में समानांतर प्रसंस्करण

इस खंड के लिए एक और समान रूप से सटीक शीर्षक "एक अनुक्रमिक चक्र की मृत्यु" होगा। हर अब और फिर मुझे एक सामान्य पैटर्न दिखाई देता है: तत्वों की सूची पर पुनरावृति, और फिर प्रत्येक तत्व के साथ पायथन विधि को निष्पादित करें, लेकिन विभिन्न इनपुट तर्कों के साथ। सामान्य डेटा प्रोसेसिंग परिदृश्यों में प्रत्येक ग्राहक के लिए सुविधा समुच्चय की गणना करना या प्रत्येक छात्र के लिए लॉग से घटनाओं को एकत्रित करना शामिल है। अनुक्रमिक लूप में प्रत्येक तर्क पर एक फ़ंक्शन लागू करने के बजाय, Dask विलंबित ऑब्जेक्ट आपको समानांतर में कई तत्वों को संसाधित करने की अनुमति देता है। डैस्क डिलेड के साथ काम करते समय, सभी फ़ंक्शन कॉल कतारबद्ध होते हैं, निष्पादन ग्राफ़ में डाल दिए जाते हैं, जिसके बाद उन्हें संसाधित करने की योजना बनाई जाती है।

मैं हमेशा अपने स्वयं के थ्रेडिंग इंजन को लिखने या asyncio का उपयोग करने के लिए थोड़ा आलसी था, इसलिए मैंने आपको तुलना के समान उदाहरण भी नहीं दिखाए। Dask के साथ, आप न तो सिंटैक्स और न ही प्रोग्रामिंग की शैली को बदल सकते हैं! आपको बस विधि को एनोटेट या रैप करने की आवश्यकता है, जिसे @dask.delayed साथ समानांतर में निष्पादित किया जाएगा और लूप कोड निष्पादित होने के बाद कम्प्यूटेशनल विधि को कॉल किया जाएगा।

मुखौटा कम्प्यूटिंग ग्राफ उदाहरण

नीचे दिए गए उदाहरण में, दो विधियों का @dask.delayed । तीन नंबरों को एक सूची में संग्रहीत किया जाता है, उन्हें चुकता करने की आवश्यकता होती है, और फिर एक साथ अभिव्यक्त किया जाता है। Dask एक कम्प्यूटेशनल ग्राफ़ बनाता है जो sum_list विधि के समानांतर निष्पादन प्रदान करता है, जिसके बाद इस ऑपरेशन का परिणाम sum_list पद्धति को पास किया sum_list है। कम्प्यूटेशनल ग्राफ को calling .visualize() द्वारा प्रदर्शित किया जा सकता है। Calling .compute() गणना ग्राफ़ निष्पादित करता है। जैसा कि निष्कर्ष से स्पष्ट है, सूची आइटम को क्रम में नहीं, बल्कि समानांतर में संसाधित किया जाता है।

थ्रेड्स की संख्या सेट की जा सकती है (उदाहरण के लिए, dask.set_options( pool=ThreadPool(10) ), और उन्हें आपके लैपटॉप या पीसी पर प्रक्रियाओं का उपयोग करने के लिए आसानी से स्वैप किया जा सकता है (उदा। dask.config.set( scheduler='processes' )) ।

इसलिए, मैंने यह प्रदर्शित किया कि डेटा साइंस के क्षेत्र से डैस्क का उपयोग करके किसी प्रोजेक्ट में कार्यों के समानांतर प्रसंस्करण को जोड़ना कितना तुच्छ होगा। इस लेख को लिखने से कुछ समय पहले, मैंने डेटा क्लिक को 40 मिनट के सेशन में यूजर क्लिक स्ट्रीम (विजिट हिस्ट्री) के बारे में विभाजित करने के लिए Dask का उपयोग किया, और फिर प्रत्येक उपयोगकर्ता की विशेषताओं को आगे क्लस्टरिंग के लिए एकत्रित किया। हमें बताएं कि आपने Dask का उपयोग कैसे किया!