डेटा विश्लेषण के लिए शीर्ष 13 स्काला लाइब्रेरी

हाल ही में, स्काला भाषा का व्यापक रूप से डेटा साइंस द्वारा उपयोग किया गया है। इसे मुख्य रूप से स्पार्क के आगमन के कारण लोकप्रियता मिली, जो स्काला में लिखा गया है। व्यवहार में, अक्सर अनुसंधान चरण में, मॉडल का विश्लेषण और निर्माण पायथन में किया जाता है, और फिर स्काला में लागू किया जाता है, क्योंकि यह भाषा उत्पादन के लिए अधिक उपयुक्त है।

हमने स्काला में मशीन लर्निंग और डेटा साइंस कार्यों को लागू करने के लिए उपयोग किए जाने वाले सबसे दिलचस्प पुस्तकालयों का एक विस्तृत अवलोकन तैयार किया है। उनमें से कुछ का उपयोग हमारे शैक्षिक कार्यक्रम " स्काला पर डेटा विश्लेषण " में किया जाता है।

सुविधा के लिए, रेटिंग में प्रस्तुत सभी पुस्तकालयों को 5 समूहों में विभाजित किया गया था: डेटा विश्लेषण और गणित, एनएलपी, विज़ुअलाइज़ेशन, मशीन लर्निंग, और बहुत कुछ।

डेटा विश्लेषण और गणित

नंबर 1। ब्रीज (कमिट्स: 3316, योगदानकर्ता: 84)

ब्रीज़ लाइब्रेरी को स्काला के लिए प्राथमिक विज्ञान पुस्तकालय के रूप में जाना जाता है। इसमें MATLAB (डेटा संरचनाओं के संदर्भ में), और पायथन, न्यूमपी कक्षाओं से समान चीजें हैं। ब्रीज डेटा सरणियों का तेज और कुशल हेरफेर प्रदान करता है और आपको निम्नलिखित सहित कई अन्य संचालन करने की अनुमति देता है:

• मैट्रिक्स और वेक्टर संचालन, तत्व-वार संचालन, प्रदर्शन, व्युत्क्रम, गणना निर्धारक और कई अन्य चीजों के निर्माण के लिए।
• संभाव्य और सांख्यिकीय कार्य: सांख्यिकीय वितरण और वर्णनात्मक आंकड़ों की गणना (जैसे कि माध्य, विचरण और मानक विचलन) से मार्कोव श्रृंखला के मॉडल। आँकड़ों के लिए मुख्य पैकेज wind.stats और wind.stats.distributions हैं।
• अनुकूलन, जिसमें एक स्थानीय या वैश्विक न्यूनतम के लिए एक समारोह की जांच करना शामिल है। अनुकूलन के तरीकों को हवा में रखा जाता है। पैकेज को अपनाना।
• रैखिक बीजगणित: सभी बुनियादी संचालन नेटलिब-जावा पुस्तकालय पर आधारित हैं, जो बीजगणित कंप्यूटिंग के लिए ब्रीज़ को बहुत तेज़ बनाता है।
• सिग्नल प्रोसेसिंग ऑपरेशन। ब्रीज़ में इस तरह के ऑपरेशन के उदाहरण हैं दृढ़ संकल्प और फूरियर रूपांतरण, जो इस कार्य को साइन और कोसाइन के घटकों के योग में विभाजित करता है।

यह ध्यान देने योग्य है कि ब्रीज़ आपको ग्राफ़ बनाने की अनुमति देता है, लेकिन हम इस बारे में बाद में बात करेंगे।

नंबर 2। सैडल (कमिट्स: 184, योगदानकर्ता: 10)

स्काला का एक अन्य डेटा टूल सैडल है। यह पायथन में पंडों का एक एनालॉग है, लेकिन केवल स्काला के लिए। पंडों या आर में डेटा फ़्रेम की तरह, सैडल एक फ्रेम संरचना (दो-आयामी अनुक्रमित मैट्रिक्स) पर आधारित है।

कुल मिलाकर पाँच बुनियादी डेटा संरचनाएँ हैं:

• वीईसी (1 डी वेक्टर)

  
  
  

• चटाई (2 डी मैट्रिक्स)

  
  
  

• श्रृंखला (1D अनुक्रमित मैट्रिक्स)

  
  
  

फ़्रेम (2D अनुक्रमित मैट्रिक्स)

• सूचकांक (हैशमैप के रूप में)
  

Vec और Mat कक्षाएं श्रृंखला और फ़्रेम में स्थित हैं। आप इन डेटा संरचनाओं के साथ विभिन्न जोड़तोड़ कर सकते हैं और उनका उपयोग बुनियादी डेटा विश्लेषण के लिए कर सकते हैं। सैडल की एक और बड़ी विशेषता डेटा अंतराल के लिए इसका प्रतिरोध है।

नंबर 3। स्लैलैब (कमिट्स: 23, योगदानकर्ता: 1)

स्कालालैब स्काला में MATLAB का एक प्रकार है। इसके अलावा, स्कैलैब सीधे MATLAB स्क्रिप्ट परिणामों को कॉल और एक्सेस कर सकता है।

पिछली कंप्यूटिंग लाइब्रेरियों से मुख्य अंतर यह है कि स्कैलैब अपनी स्वयं की डोमेन-विशिष्ट भाषा का उपयोग करता है जिसे स्कैल्सी कहा जाता है। स्केलालाब सुविधाजनक है कि यह जावा और स्काला के कई वैज्ञानिक पुस्तकालयों तक पहुंचता है, इसलिए आप आसानी से अपने डेटा को आयात कर सकते हैं और फिर जोड़तोड़ और गणना करने के लिए विभिन्न तरीकों का उपयोग कर सकते हैं। ज्यादातर चीजें ब्रीज और सैडल के समान हैं। इसके अलावा, ब्रीज़ में, ऐसे चार्ट हैं जो आपको डेटा की व्याख्या करने की अनुमति देते हैं।

NLP

नंबर 4। महाकाव्य (कमिट्स: १, ९ ०, योगदानकर्ता: १५) और पक (कमिट्स: ५३६, योगदानकर्ता: १)

Scala में ScalaNLP के हिस्से के रूप में कुछ अच्छी प्राकृतिक भाषा प्रसंस्करण लाइब्रेरी हैं, जिसमें एपिक और पक शामिल हैं। इन पुस्तकालयों को मुख्य रूप से पाठ विश्लेषण उपकरण के रूप में उपयोग किया जाता है। उसी समय, पक अधिक सुविधाजनक है यदि आपको इसकी उच्च गति और GPU के उपयोग के कारण हजारों ऑफ़र का विश्लेषण करने की आवश्यकता है। एपिक को एक पूर्वानुमान ढांचे के रूप में भी जाना जाता है जो जटिल प्रणालियों के निर्माण के लिए संरचित पूर्वानुमान का उपयोग करता है।

दृश्य

नंबर 5। ब्रीज़-विज़ (कमिट्स: 29, योगदानकर्ता: 3)

जैसा कि नाम से पता चलता है, ब्रीज़-विज़ एक दृश्य पुस्तकालय है जिसे स्क्रीज़ के लिए ब्रीज़ द्वारा विकसित किया गया है। यह जाने-माने Java लाइब्रेरी JFreeChart पर आधारित है और चार्टिंग MATLAB के समान है। यद्यपि ब्रीज-वाइज़ में MATLAB, पायथन या आर में matplotlib की तुलना में बहुत कम विशेषताएं हैं, फिर भी यह मॉडल बनाने और डेटा का विश्लेषण करने में उपयोगी है।

नंबर 6। वेगास (Commits: 210, योगदानकर्ता: 14)

एक और स्काला डेटा विज़ुअलाइज़ेशन लाइब्रेरी वेगास है। यह ब्रीज़-वाइज़ की तुलना में बहुत अधिक कार्यात्मक है, और आपको कुछ परिवर्तन करने की अनुमति देता है जो ग्राफ़ के लिए उपयोगी होते हैं: फ़िल्टरिंग, ट्रांसफ़ॉर्मेशन और एग्रीगेशन। सामान्य तौर पर, लाइब्रेरी बोकेह और प्लॉटली पायथन के समान है।

वेगास आपको एक घोषणात्मक शैली में कोड लिखने की अनुमति देता है, जो मुख्य रूप से यह निर्धारित करने पर ध्यान केंद्रित करता है कि डेटा के साथ क्या किया जाना चाहिए और कोड को लागू करने की चिंता किए बिना विज़ुअलाइज़ेशन के आगे के विश्लेषण का संचालन करना चाहिए।

मशीन सीखने

अंक 7। स्माइल (कमिट्स: 1019, योगदानकर्ता: 21)

द स्टैटिस्टिकल मशीन इंटेलिजेंस एंड लर्निंग इंजन, या सिर्फ स्माइल, एक आशाजनक आधुनिक मशीन लर्निंग लाइब्रेरी है, जो कुछ हद तक पाइकॉन-स्किक-लर्न के समान है। यह जावा में विकसित किया गया है, लेकिन इसमें स्काला के लिए एपीआई भी है। पुस्तकालय काफी तेज और उत्पादक है: स्मृति का कुशल उपयोग, वर्गीकरण, प्रतिगमन, एनएनएस, फ़ंक्शन चयन, आदि के लिए मशीन लर्निंग एल्गोरिदम का एक बड़ा सेट।

अंक 8। स्पार्क एम.एल.

एक मशीन लर्निंग लाइब्रेरी जो अपाचे स्पार्क में बॉक्स से बाहर काम करती है। स्पार्क स्वयं स्काला में लिखा गया है और इसके सभी पुस्तकालयों के लिए एक उपयुक्त एपीआई है।

स्पार्क एमएल - स्पार्क एमएललिब (एक पुरानी लाइब्रेरी) के विपरीत, यह डेटा फ्रेम के साथ काम करता है। यह आपके डेटा पर विभिन्न परिवर्तनों की पाइपलाइनों का निर्माण करना भी संभव बनाता है। इसे चरणों के अनुक्रम के रूप में माना जा सकता है, जहां प्रत्येक चरण या तो एक ट्रांसफार्मर है जो एक डेटा फ़्रेम को दूसरे में या एक एस्टीमेटर में परिवर्तित करता है, उदाहरण के लिए, एक मशीन लर्निंग एल्गोरिदम जो डेटा फ़्रेम पर प्रशिक्षित होता है।

नंबर 9। DeepLearning.scala (कमिट्स: 1647, योगदानकर्ता: 14)

DeepLearning.scala एक वैकल्पिक मशीन लर्निंग टूल है जो आपको डीप लर्निंग मॉडल बनाने की अनुमति देता है। पुस्तकालय वस्तु-उन्मुख और कार्यात्मक प्रोग्रामिंग के संयोजन के माध्यम से जटिल गतिशील तंत्रिका नेटवर्क बनाने के लिए गणितीय सूत्रों का उपयोग करता है। यह कई प्रकार के प्रकारों का उपयोग करता है, साथ ही साथ आवेदक प्रकारों के वर्ग भी। उत्तरार्द्ध आपको एक ही समय में कई गणनाएं शुरू करने की अनुमति देता है, जो उत्पादकता में सुधार करता है।

नंबर 10। सममिंग बर्ड (कमिट्स: 1772, योगदानकर्ता: 31)

Summingbird एक डेटा प्रोसेसिंग फ्रेमवर्क है जो बैच और वास्तविक समय के MapReduce गणना के उपयोग की अनुमति देता है। भाषा के विकास के लिए मुख्य उत्प्रेरक ट्विटर डेवलपर्स थे, जिन्होंने अक्सर एक ही कोड को दो बार लिखा था: पहले बल्लेबाजी प्रसंस्करण के लिए, फिर फिर से स्ट्रीमिंग के लिए।

Summingbird दो प्रकार के डेटा का उपयोग करता है और उत्पन्न करता है: धाराएं (टुपल्स के अनंत क्रम) और स्नैपशॉट, जो समय के एक निश्चित बिंदु पर डेटा सेट की पूर्ण स्थिति माना जाता है। अंत में, Summingbird परीक्षण उद्देश्यों के लिए स्टॉर्म, स्केलिंग और एक मेमोरी इंजन के लिए एक मंच प्रदान करता है।

नंबर 11। प्रिडिक्टियो (कमिट्स: 4343, योगदानकर्ता: 125)

यह प्रिडिक्शनियो नामक भविष्य कहनेवाला तंत्र बनाने और तैनात करने के लिए मशीन सीखने की सेवा का उल्लेख करने के लायक भी है। यह Apache Spark MLlib और HBase पर बनाया गया है और यहां तक ​​कि इसे Gacheub पर भी अपाचे स्पार्क पर आधारित सबसे लोकप्रिय मशीन लर्निंग उत्पाद के रूप में रेट किया गया है। यह आपको आसानी से, कुशलता से सेवाओं का निर्माण, मूल्यांकन और तैनाती, अपने स्वयं के मशीन लर्निंग मॉडल को लागू करने और उन्हें अपनी सेवा में शामिल करने की अनुमति देता है।

अन्य

नंबर 12। अक्का (कमिट्स: 21430, योगदानकर्ता: 467)

स्काला द्वारा विकसित, अक्का, वितरित जेवीएम अनुप्रयोगों के निर्माण के लिए एक समानांतर वातावरण है। यह एक अभिनेता-आधारित मॉडल का उपयोग करता है, जहां एक अभिनेता एक वस्तु है जो संदेशों को प्राप्त करता है और उचित कार्य करता है।

मुख्य अंतर अभिनेताओं और रूपरेखा के बीच की अतिरिक्त परत है, जिसके लिए केवल अभिनेताओं को संदेशों को संसाधित करने की आवश्यकता होती है, जबकि रूपरेखा बाकी सभी चीजों का ध्यान रखती है। सभी अभिनेताओं को पदानुक्रम में व्यवस्थित किया जाता है, इससे अभिनेताओं को एक दूसरे के साथ अधिक प्रभावी ढंग से बातचीत करने और जटिल समस्याओं को हल करने में मदद मिलती है, उन्हें छोटे कार्यों में विभाजित किया जाता है।

नंबर 13। स्लीक (कमिट्स: 1940, योगदानकर्ता: 92)

नवीनतम पुस्तकालय स्लिक है, जिसका अर्थ है स्काला भाषा-एकीकृत कनेक्शन किट। यह डेटाबेस क्वेरी बनाने और निष्पादित करने के लिए एक लाइब्रेरी है: H2, MySQL, PostgreSQL, आदि कुछ डेटाबेस स्लीक-एक्सटेंशन के माध्यम से उपलब्ध हैं।

प्रश्नों के निर्माण के लिए, स्लीक एक शक्तिशाली डीएसएल प्रदान करता है जो कोड बनाता है जैसे कि आप स्काला संग्रह का उपयोग कर रहे थे। स्लीक दोनों सरल एसक्यूएल प्रश्नों का समर्थन करता है और कई तालिकाओं के दृढ़ता से टाइप किए गए जोड़ देता है। इसके अलावा, सरल उपश्रेणियों का उपयोग अधिक जटिल बनाने के लिए किया जा सकता है।

निष्कर्ष

इस लेख में, हमने कुछ स्काला पुस्तकालयों की पहचान की और संक्षिप्त वर्णन किया है जो बुनियादी डेटा प्रसंस्करण कार्यों को करने में बहुत उपयोगी हो सकते हैं।

यदि आपके पास इस सूची में जोड़ने के लिए किसी अन्य उपयोगी स्काला लाइब्रेरी या प्लेटफॉर्म के साथ काम करने का अनुभव है, तो कृपया उन्हें टिप्पणियों में साझा करने के लिए स्वतंत्र महसूस करें।