🤲🏽 👨🏽‍🎓 👨‍🎤 "लंबी सड़क आपका इंतजार कर रही है ..." या Ml.NET (DataScience) का उपयोग करके C # में पूर्वानुमान की समस्या को हल करना 🍟 🧖🏻 🤸🏿

हाल ही में, मैं मशीन लर्निंग फ्रेमवर्क Ml.NET के बारे में अधिक से अधिक जानकारी ले आया हूं । इसके संदर्भों की संख्या गुणवत्ता में बढ़ गई, और मैंने कम से कम एक झांक के साथ एक नज़र में देखने का फैसला किया कि यह किस तरह का जानवर था।

इससे पहले हमने .NET इकोसिस्टम में लीनियर रिग्रेशन का उपयोग करते हुए सरलतम भविष्यवाणी समस्या को हल करने का प्रयास किया। इसके लिए, हमने Accord.NET फ्रेमवर्क का उपयोग किया। इन उद्देश्यों के लिए, नागरिकों के अपील पर खुले डेटा से एक छोटा डेटा सेट कार्यकारी अधिकारियों और व्यक्तिगत रूप से मॉस्को के मेयर को तैयार किया गया था।

एक अद्यतन डेटासेट पर कुछ वर्षों के बाद , हम सबसे सरल समस्या को हल करने का प्रयास करेंगे। Ml.NET फ्रेमवर्क में प्रतिगमन मॉडल का उपयोग करते हुए, हम भविष्यवाणी करते हैं कि प्रति माह कितने अनुरोधों का सकारात्मक समाधान मिलता है। साथ ही, हम Ml.NET की तुलना अकॉर्ड से करेंगे। नेट और पायथन लाइब्रेरी।

क्या आप भविष्यवक्ता की ताकत और शक्ति में महारत हासिल करना चाहते हैं? फिर बिल्ली के नीचे आपका स्वागत है।

पीएस लेट एस.एस. सोबयानिन, लेख राजनीति के बारे में एक शब्द नहीं कहेगा।

सामग्री:

भाग I: परिचय और डेटा के बारे में थोड़ा
भाग II: C # कोड लिखना
भाग III: निष्कर्ष

मुझे लगता है कि आपको तुरंत चेतावनी देना आवश्यक है कि मैं सामान्य रूप से डेटा विश्लेषण और प्रोग्रामिंग में समर्थक नहीं हूं, और न ही मैं मॉस्को हॉल हॉल के साथ जुड़ा हुआ हूं। इसलिए, लेख एक शुरुआती से शुरुआत तक अधिक होने की संभावना है। लेकिन मेरे सीमित ज्ञान के बावजूद, मुझे उम्मीद है कि लेख आपके लिए उपयोगी होगा।

जो लोग पहले से ही चक्र से पिछले लेखों से परिचित हैं, वे याद कर सकते हैं कि हमने मास्को की कार्यकारी शाखा को संबोधित नागरिकों की अपील से सकारात्मक हल किए गए मुद्दों की संख्या की भविष्यवाणी करने की समस्या को हल करने की कोशिश की है। इसके लिए हमने पायथन और अकॉर्ड.नेट फ्रेमवर्क का इस्तेमाल किया।

अन्य चक्र लेख

1. मूल बातें जानें:

2. हम पहले कौशल का अभ्यास करते हैं

किसी भी स्थिति में, फिर से उपयोग किए गए डेटा को पार्स करने के लिए यह अतिरेक नहीं होगा।

कोड और डेटा सेट सहित सभी लेख सामग्री, GitHub पर स्वतंत्र रूप से उपलब्ध हैं।

गीथहब पर डेटा सीएसवी प्रारूप में प्रस्तुत किया गया है, जिसमें 44 प्रविष्टियां हैं और सिद्धांत रूप में, वे न केवल (और) का उपयोग उदाहरण के विश्लेषण के लिए किया जाना चाहिए।

डेटा कॉलम का मतलब निम्न है:

num - रिकॉर्ड इंडेक्स
वर्ष - रिकॉर्ड का वर्ष
माह - रिकॉर्डिंग का महीना
Total_appeals - प्रति माह हिट्स की कुल संख्या
अपील_तो_मायोर - मेयर से अपील की कुल संख्या
res_positive- सकारात्मक निर्णयों की संख्या
res_explained - स्पष्टीकरण के लिए कॉल की संख्या
res_negative - नकारात्मक निर्णय के साथ कॉल की संख्या
El_form_to_mayor - इलेक्ट्रॉनिक रूप में मेयर से अपील की संख्या
Pap_form_to_mayor - पेपर पर मेयर से अपील की संख्या_10K_total_VAO ... to_10K_total_YUZAO - मास्को के विभिन्न जिलों में प्रति 10,000 जनसंख्या पर अपील की संख्या
to_10K_mayor_VAO ... to_10K_mayor_YUZAO- शहर के विभिन्न जिलों में प्रति 10,000 जनसंख्या मेयर और मास्को सरकार से अपील की संख्या

मुझे डेटा संग्रह प्रक्रिया को स्वचालित करने का कोई तरीका नहीं मिला और मैंने उन्हें मैन्युअल रूप से एकत्र किया, इसलिए मुझे थोड़ा गलत हो सकता है। अन्यथा, डेटा की विश्वसनीयता को लेखकों के विवेक के लिए छोड़ दिया जाएगा।

वर्तमान में, मॉस्को में सरकारी वेबसाइट पर डेटा जनवरी 2016 से अगस्त 2019 तक पूरा प्रस्तुत किया गया है (सितंबर में कुछ डेटा गायब हैं)। इस प्रकार, हमारे पास 44 प्रविष्टियाँ होंगी। थोड़ा, ज़ाहिर है, लेकिन हमारे लिए प्रदर्शन के लिए यह पर्याप्त होगा।

शुरू करने से पहले, हमारे लेख के नायक के बारे में कुछ शब्द।
ML.NET फ्रेमवर्क - माइक्रोसॉफ्ट का ओपन सोर्स डेवलपमेंट। सोशल मीडिया विज्ञापन के अनुसार, यह उनके लिए पायथन मशीन लर्निंग लाइब्रेरी का जवाब है। ढांचा क्रॉस-प्लेटफ़ॉर्म है और आपको सरल प्रतिगमन और वर्गीकरण से लेकर गहन सीखने तक के कार्यों की एक विस्तृत श्रृंखला को हल करने की अनुमति देता है। हेबर के साथियों ने पहले ही पायथन में ML.NET और पुस्तकालयों का विश्लेषण किया। कौन परवाह करता है, यहाँ लिंक है ।

मैं Ml.NET को स्थापित करने और उपयोग करने के लिए एक विस्तृत मार्गदर्शिका नहीं दूंगा क्योंकि, संक्षेप में, आधिकारिक Microsoft वेबसाइट से एक पाठ्यपुस्तक के आधार पर सब कुछ "अनुकूलित" ~~बंद कर दिया~~ गया था। वहां, एक टैक्सी में यात्रा की कीमतों के साथ समस्या हल हो गई थी, और ईमानदार होने के लिए, इससे अधिक लाभ हैं

लेकिन मुझे लगता है कि छोटी व्याख्याएं बहुत अधिक नहीं होंगी।

मैंने नवीनतम अपडेट के साथ विजुअल स्टूडियो 2017 का उपयोग किया।
यह परियोजना .NET कोर कंसोल एप्लीकेशन टेम्प्लेट (संस्करण 2.1) पर आधारित थी।
परियोजना को NuGet संकुल Microsoft.ML, Microsoft.ML.FastTree को स्थापित करना था। वह, वास्तव में, पूरी तैयारी है।

हम सीधे कोड पर आगे बढ़ते हैं।

सबसे पहले, मैंने मेयरएप्पल क्लास बनाई, जिसमें मैंने csv फ़ाइलों के डेटा के साथ कॉलम का वर्णन किया।
अनुमान लगाना कठिन नहीं है [LoadColumn (0)]
- हमें बताता है कि हम किस csv फाइल से कॉलम लेते हैं।
अगला, ट्यूटोरियल का अनुसरण करते हुए, मैंने भविष्यवाणी परिणामों के लिए - मेयोरएपेलप्रेडिक्शन क्लास बनाया

इस तथ्य के बावजूद कि डेटा सेट में लगभग सभी स्तंभों में पूर्णांक मान होते हैं, पाइपलाइन में ग्लूइंग डेटा के चरण में त्रुटियों से बचने के लिए, मुझे उन्हें एक फ्लोट प्रकार (ताकि सभी डेटा प्रकार समान हैं) असाइन करना पड़ा।
लिस्टिंग काफी बड़ी है, इसलिए इसे स्पॉइलर के नीचे रखें।

डेटा विवरण के लिए कक्षा कोड

using Microsoft.ML.Data; namespace app_to_mayor_mlnet { class MayorAppel { [LoadColumn(0)] public float Year; [LoadColumn(1)] public string Month; [LoadColumn(2)] public float TotalAppeals; [LoadColumn(3)] public float AppealsToMayor; [LoadColumn(4)] public float ResPositive; [LoadColumn(5)] public float ResExplained; [LoadColumn(6)] public float ResNegative; [LoadColumn(7)] public float ElFormToMayor; [LoadColumn(8)] public float PapFormToMayor; [LoadColumn(9)] public float To10KTotalVAO; [LoadColumn(10)] public float To10KMayorVAO; [LoadColumn(11)] public float To10KTotalZAO; [LoadColumn(12)] public float To10KMayorZAO; [LoadColumn(13)] public float To10KTotalZelAO; [LoadColumn(14)] public float To10KMayorZelAO; [LoadColumn(6)] public float To10KTotalSAO; [LoadColumn(15)] public float To10KMayorSAO; [LoadColumn(16)] public float To10KTotalSVAO; [LoadColumn(17)] public float To10KMayorSVAO; [LoadColumn(18)] public float To10KTotalSZAO; [LoadColumn(19)] public float To10KMayorSZAO; [LoadColumn(20)] public float To10KTotalTiNAO; [LoadColumn(21)] public float To10KMayorTiNAO; [LoadColumn(22)] public float To10KTotalCAO; [LoadColumn(23)] public float To10KMayorCAO; [LoadColumn(24)] public float To10KTotalYUAO; [LoadColumn(25)] public float To10KMayorYUAO; [LoadColumn(26)] public float To10KTotalYUVAO; [LoadColumn(27)] public float To10KMayorYUVAO; [LoadColumn(28)] public float To10KTotalYUZAO; [LoadColumn(29)] public float To10KMayorYUZAO; } public class MayorAppelPrediction { [ColumnName("Score")] public float ResPositive; } }

चलिए मुख्य प्रोग्राम कोड पर चलते हैं।
शुरुआत में जोड़ना न भूलें:

 using System.IO; using Microsoft.ML;

निम्नलिखित डेटा फ़ील्ड्स का विवरण है।

 namespace app_to_mayor_mlnet { class Program { static readonly string _trainDataPath = Path.Combine(Environment.CurrentDirectory, "Data", "train_data.csv"); static readonly string _testDataPath = Path.Combine(Environment.CurrentDirectory, "Data", "test_data.csv"); static readonly string _modelPath = Path.Combine(Environment.CurrentDirectory, "Data", "Model.zip");

इन क्षेत्रों में, वास्तव में, डेटा फ़ाइलों के पथ संग्रहीत हैं, इस बार मैंने उन्हें पहले से अलग करने का फैसला किया (Accord.NET के मामले के विपरीत)

वैसे, यदि आप अपनी परियोजना कर रहे हैं, तो असेंबली फ़ाइलों की कमी के कारण त्रुटि से बचने के लिए डेटा फ़ाइलों के गुणों में "बाद के संस्करण की प्रतिलिपि बनाएँ" विकल्प सेट करना न भूलें।

इसके बाद उन तरीकों की चुनौती आती है जो मॉडल बनाते हैं, इसका मूल्यांकन करते हैं और हमें एक भविष्यवाणी देते हैं।

  static void Main(string[] args) { MLContext mlContext = new MLContext(seed: 0); var model = Train(mlContext, _trainDataPath); Evaluate(mlContext, model); TestSinglePrediction(mlContext, model); }

क्रम में चलते हैं

मॉडल को प्रशिक्षित करने के लिए ट्रेन विधि की आवश्यकता है।

 public static ITransformer Train(MLContext mlContext, string dataPath) { IDataView dataView = mlContext.Data.LoadFromTextFile<MayorAppel>(dataPath, hasHeader: true, separatorChar: ','); var pipeline = mlContext.Transforms.CopyColumns(outputColumnName: "Label", inputColumnName: "ResPositive") .Append(mlContext.Transforms.Categorical.OneHotEncoding(outputColumnName: "MonthEncoded", inputColumnName: "Month")) .Append(mlContext.Transforms.Concatenate("Features", "Year", "MonthEncoded", "TotalAppeals", "AppealsToMayor", "ResExplained", "ResNegative", "ElFormToMayor", "PapFormToMayor", "To10KTotalVAO", "To10KMayorVAO", "To10KTotalZAO", "To10KMayorZAO", "To10KTotalZelAO", "To10KMayorZelAO", "To10KTotalSAO", "To10KMayorSAO" , "To10KTotalSVAO", "To10KMayorSVAO", "To10KTotalSZAO", "To10KMayorSZAO", "To10KTotalTiNAO", "To10KMayorTiNAO" , "To10KTotalCAO", "To10KMayorCAO", "To10KTotalYUAO", "To10KMayorYUAO", "To10KTotalYUVAO", "To10KMayorYUVAO" , "To10KTotalYUZAO", "To10KMayorYUZAO")).Append(mlContext.Regression.Trainers.FastTree()); var model = pipeline.Fit(dataView); return model; }

शुरुआत में हम प्रशिक्षण नमूने से डेटा पढ़ते हैं। फिर श्रृंखला में हम उस पैरामीटर को निर्धारित करते हैं जो भविष्यवाणी करेगा (लेबल)।

हमारे मामले में, यह प्रति माह नागरिकों की अपील के संबंध में सफलतापूर्वक हल किए गए मुद्दों की संख्या है।
चूंकि इस मामले में प्रतिगमन पर आधारित निर्णय पेड़ों को बढ़ाने के मॉडल का उपयोग किया जाता है, इसलिए हमें सभी संकेतों को संख्यात्मक मूल्यों पर लाने की आवश्यकता है।
Accord.NET के मामले के विपरीत, तैयार किए गए OneHotEncoding समाधान को तुरंत प्रलेखन में यहां प्रस्तुत किया गया है।

इसके बाद कॉलम बनाने के लिए, जैसा कि मैंने ऊपर कहा, वे सभी एक ही डेटा प्रकार के होने चाहिए, इस मामले में, एक फ्लोट।

निष्कर्ष में, हम तैयार मॉडल बनाते हैं और वापस करते हैं।

अगला, हम अपने मॉडल द्वारा भविष्यवाणी की गुणवत्ता का मूल्यांकन करते हैं।

  private static void Evaluate(MLContext mlContext, ITransformer model) { IDataView dataView = mlContext.Data.LoadFromTextFile<MayorAppel>(_testDataPath, hasHeader: true, separatorChar: ','); var predictions = model.Transform(dataView); var metrics = mlContext.Regression.Evaluate(predictions, "Label", "Score"); Console.WriteLine(); Console.WriteLine($"*************************************************"); Console.WriteLine($"* Model quality metrics evaluation "); Console.WriteLine($"*------------------------------------------------"); Console.WriteLine($"* RSquared Score: {metrics.RSquared:0.##}"); Console.WriteLine($"* Root Mean Squared Error: {metrics.RootMeanSquaredError:#.##}"); }

हम अपने परीक्षण नमूने (सेट से अंतिम 4 महीने) को लोड करते हैं, हम ट्रांसफ़ॉर्म () पद्धति का उपयोग करके प्रशिक्षित मॉडल पर अपने परीक्षण डेटा की भविष्यवाणी प्राप्त करते हैं। फिर हम मीट्रिक की गणना करते हैं और उन्हें प्रिंट करते हैं। इस मामले में, यह दृढ़ संकल्प और मानक विचलन का गुणांक है। पहला आदर्श रूप से 1 होना चाहिए, और दूसरा अनिवार्य रूप से शून्य होना चाहिए।

सिद्धांत रूप में, भविष्यवाणी करने के लिए हमें इस पद्धति की आवश्यकता नहीं थी, लेकिन यह समझना अच्छा है कि हमारा मॉडल किसी चीज की कितनी बुरी तरह से भविष्यवाणी करता है।

अंतिम विधि बनी हुई है - भविष्यवाणी ही।
हम इसे स्पॉइलर के नीचे भी छिपाएंगे।

भविष्यवाणी विधि और डेटा

 private static void TestSinglePrediction(MLContext mlContext, ITransformer model) { var predictionFunction = mlContext.Model.CreatePredictionEngine<MayorAppel, MayorAppelPrediction>(model); var MayorAppelSampleMinData = new MayorAppel() { Year = 2019, Month = "August", ResPositive = 0 }; var MayorAppelSampleMediumData = new MayorAppel() { Year = 2019, Month = "August", TotalAppeals = 111340, AppealsToMayor = 17932, ResExplained = 66858, ResNegative = 8945, ElFormToMayor = 14931, PapFormToMayor = 2967, ResPositive = 0 }; var MayorAppelSampleMaxData = new MayorAppel() { Year = 2019, Month = "August", TotalAppeals = 111340, AppealsToMayor = 17932, ResExplained = 66858, ResNegative = 8945, ElFormToMayor = 14931, PapFormToMayor = 2967, To10KTotalVAO = 67, To10KMayorVAO = 13, To10KTotalZAO = 57, To10KMayorZAO = 13, To10KTotalZelAO = 49, To10KMayorZelAO = 9, To10KTotalSAO = 71, To10KMayorSAO = 14, To10KTotalSVAO = 86, To10KMayorSVAO = 27, To10KTotalSZAO = 68, To10KMayorSZAO = 12, To10KTotalTiNAO = 93, To10KMayorTiNAO = 36, To10KTotalCAO = 104, To10KMayorCAO = 24, To10KTotalYUAO = 56, To10KMayorYUAO = 12, To10KTotalYUVAO = 59, To10KMayorYUVAO = 13, To10KTotalYUZAO = 78, To10KMayorYUZAO = 23, ResPositive = 0 }; var predictionMin = predictionFunction.Predict(MayorAppelSampleMinData); var predictionMed = predictionFunction.Predict(MayorAppelSampleMediumData); var predictionMax = predictionFunction.Predict(MayorAppelSampleMaxData); Console.WriteLine($"**********************************************************************"); Console.WriteLine($"Prediction for August 2019"); Console.WriteLine($"Predicted Positive decisions (Minimum Features): {predictionMin.ResPositive:0.####}, actual res_positive : 22313"); Console.WriteLine($"Predicted Positive decisions (Medium Features: {predictionMed.ResPositive:0.####}, actual res_positive : 22313"); Console.WriteLine($"Predicted Positive decisions (Maximum Features): {predictionMax.ResPositive:0.####}, actual res_positive : 22313"); Console.WriteLine($"**********************************************************************"); }

उदाहरण में, हमने प्रिडिक्शनबाइन क्लास का उपयोग किया, जो हमें प्रशिक्षित मॉडल और परीक्षण डेटा सेट के आधार पर एक ही भविष्यवाणी प्राप्त करने की अनुमति देता है।

हम भविष्यवाणी के लिए डेटा के साथ तीन "जांच" बनाएंगे।
डेटा के न्यूनतम सेट के साथ पहला (केवल एक महीना और एक वर्ष), दूसरा औसत के साथ और तीसरा क्रमशः विशेषताओं के एक पूर्ण सेट के साथ।

हम तीन अलग-अलग भविष्यवाणियां प्राप्त करते हैं और उन्हें प्रिंट करते हैं।

जैसा कि आप स्क्रीनशॉट (विंडोज 10 x64) में देख सकते हैं, जिलों में प्रति 10,000 निवासियों पर कॉल की संख्या में डेटा जोड़ना, इस मामले में, केवल सब कुछ खराब कर देता है, लेकिन बाकी डेटा को जोड़ने से भविष्यवाणी की सटीकता में थोड़ी वृद्धि होती है।

लिनक्स के तहत, मिंट 19 भी मोनो में शानदार ढंग से संकलित करता है।
यह पता चला है कि रूपरेखा काफी क्रॉस-प्लेटफॉर्म है।

अंत में, जैसा कि वादा किया गया है, मैं Accord.NET और पायथन मशीन लर्निंग लाइब्रेरी के साथ ML.NET का थोड़ा व्यक्तिपरक तुलनात्मक विश्लेषण दूंगा।

1. ऐसा लगता है कि डेवलपर्स मशीन लर्निंग के क्षेत्र में रुझानों का पालन करने की कोशिश कर रहे हैं। बेशक, एनाकोंडा में स्थापित पुस्तकालयों के एक समूह के साथ पायथन में, यह कार्य अधिक कॉम्पैक्ट रूप से हल किया जा सकता है और विकास के लिए कम समय खर्च कर सकता है। लेकिन सामान्य तौर पर, यह मुझे लगता है कि ML.NET के साथ समस्याओं को हल करने का दृष्टिकोण उन लोगों के अनुकूल है जो मशीन सीखने की समस्याओं को हल करने के लिए उपयोग किए जाते हैं।

2. Accord.NET फ्रेमवर्क की तुलना में, ML.NET उस व्यक्ति के लिए अधिक सुविधाजनक और आशाजनक लगता है, जिसने पायथन में मशीन सीखने की कोशिश की है। मुझे याद है कि जब मैंने दो साल पहले Accord.NET पर कुछ लिखने की कोशिश की थी, तो मुझे कुछ कक्षाओं और विधियों के लिए स्पष्टीकरण और उदाहरणों की बहुत कमी थी। इस संबंध में, प्रलेखन के साथ Ml.NET थोड़ा बेहतर कर रहा है, इस तथ्य के बावजूद कि फ्रेमवर्क Accord.NET की तुलना में बहुत छोटा है। एक अन्य महत्वपूर्ण कारक यह है कि ML.NET, GitHub पर गतिविधि को देखते हुए, Accord.NET की तुलना में अधिक गहन रूप से विकसित हो रहा है और इसमें रूसी-भाषा प्रशिक्षण सामग्री अधिक है।

परिणामस्वरूप, पहली नज़र में, ML.NET एक सुविधाजनक उपकरण की तरह दिखता है जो आपके शस्त्रागार को पूरक करता है यदि आप पायथन या आर का उपयोग नहीं कर सकते हैं (उदाहरण के लिए, जब .NET एपीआई निष्पादित .NET के साथ काम करते हैं)।
एक अच्छा काम सप्ताह है!

"लंबी सड़क आपका इंतजार कर रही है ..." या Ml.NET (DataScience) का उपयोग करके C # में पूर्वानुमान की समस्या को हल करना

More articles: