ऐसा होता है कि कुछ कार्य आपको कई वर्षों तक परेशान करते हैं। मेरे लिए, एक साथ ग्रंथों के वाक्यों को देखना, जिसमें एक नई लाइन के लिए संक्रमण, और अक्सर यह भी शब्द लपेटो, सख्ती से भरा हुआ है, ऐसा काम बन गया। व्यवहार में, यह पीडीएफ से निकाला गया पाठ है या ओसीआर का उपयोग कर रहा है। अक्सर ऑनलाइन पुस्तकालयों की साइटों पर ऐसे ग्रंथों को खोजना संभव था, पुराने दस्तावेजों के अभिलेखागार में जो डॉस संपादकों द्वारा संपादित किए गए थे। और इस तरह के स्वरूपण बाद के एनएलपी प्रसंस्करण के लिए वाक्यों में उचित विराम (और हाइफ़न के साथ, टोकन में) हस्तक्षेप करता है। और खोज परिणामों में इस तरह के एक दस्तावेज को दिखाने के लिए यह प्रतिबंध है - यह बदसूरत होगा।

मैंने इस समस्या को कई बार हल किया - डेल्फी में, सी #। तब यह एक कठिन एल्गोरिथ्म था, जहां मैंने अपने हाथों से लिखा था, उदाहरण के लिए, पाठ की चौड़ाई क्या हो सकती है, ताकि इस पाठ को "पुराने तरीके से" माना जाए। यह हमेशा पूरी तरह से काम नहीं करता था, लेकिन सामान्य तौर पर, यह पर्याप्त था।

फिलहाल, मैं पायथन में कुछ एमएल परियोजनाओं में रेंग रहा हूं। एक बिंदु पर, यह निकला कि दस्तावेजों के अगले कोष में वैज्ञानिक लेखों के पीडीएफ संस्करणों से निकाले गए ग्रंथ हैं। बेशक, पाठ को पैराग्राफ के अंत के पात्रों द्वारा हार्ड लाइन ब्रेक के साथ हाइफ़न के साथ निकाला गया था। यही है, आगे ऐसे ग्रंथों के साथ सामान्य रूप से काम करना असंभव था। अजगर आकर्षक है क्योंकि इसमें लगभग सब कुछ है! लेकिन कुछ घंटों की खोजों ने कुछ भी समझदार नहीं दिया (शायद, यह वही है जो मैं देख रहा था)। और फिर मैंने एक बार फिर से इस तरह के दस्तावेजों के लिए पोस्ट प्रोसेसर लिखने का फैसला किया। पसंद दो विकल्पों में से थी - अपना पिछला कोड C # के साथ पोर्ट करें, या कुछ ऐसा लिखें जो सिखाया जा सके। अंत में, दूसरे दृष्टिकोण को इस तथ्य से संकेत दिया गया कि वैज्ञानिक ग्रंथों को आंशिक रूप से दो-स्तंभ ग्रंथों से और आंशिक रूप से एकल-स्तंभ वाले लोगों से निर्यात किया गया था। साथ ही अलग-अलग फॉन्ट साइज। यह इस तथ्य के कारण था कि पुराने संस्करण, हार्ड-वायर्ड अनुमेय सीमाओं के साथ, अक्सर गलत तरीके से काम करते थे। मैन्युअल रूप से फिर से बैठने के लिए, विकल्प चुनें - ठीक है, जल्द ही विलक्षणता आ जाएगी , इसके लिए मेरे पास समय नहीं है! तो, यह तय है - हम मशीन लर्निंग का उपयोग करके एक पुस्तकालय लिख रहे हैं।

सभी कोड भंडार में पाए जा सकते हैं:

• नोटबंदी के कदमों के साथ
• उपयोगिताएँ (उसी समय और कोड पीढ़ी के लिए एक टेम्पलेट)
• उत्पन्न कोड
• चिह्नित-अप (और न केवल) दस्तावेजों का मामला

अंकन

मशीन लर्निंग की चर्चा और जटिलता क्या है - यदि एल्गोरिथ्म कहीं विफल हो जाता है, तो अक्सर आपको प्रोग्राम को स्वयं बदलने की आवश्यकता नहीं होती है। यह नया डेटा एकत्र करने के लिए पर्याप्त है (अक्सर उन्हें एक ही समय में एनोटेट करने की आवश्यकता होती है) और मॉडल का निर्माण फिर से शुरू करें। कंप्यूटर आपके लिए बाकी काम करेगा। बेशक, एक मौका है कि नए डेटा के लिए आपको नई सुविधाओं के साथ आना होगा, वास्तुकला को बदलना होगा, लेकिन ज्यादातर मामलों में यह पता चला है कि आपको केवल यह सत्यापित करने की आवश्यकता है कि सब कुछ अच्छी तरह से काम करना शुरू कर दिया। यह भी एक कठिनाई है - डेटा एकत्र करना और चिह्नित करना मुश्किल हो सकता है। या बहुत मुश्किल है। और यह भी - बहुत उबाऊ :-)

तो, सबसे उबाऊ चीज मार्कअप है। कॉर्पस फ़ोल्डर में वे दस्तावेज़ होते हैं, जिन्हें मैंने Krapivin2009 दस्तावेज़ निकाय से लिया था, जो मैं उस समय काम कर रहा था। 10 दस्तावेज हैं जो मुझे विशिष्ट लगे। मैंने केवल 3 को चिह्नित किया है, पहले से ही इस आधार पर प्रशिक्षण की शुरुआत में, "चिपकने" की पर्याप्त गुणवत्ता प्राप्त की गई थी। यदि भविष्य में यह पता चला कि सब कुछ इतना सरल नहीं है, तो मार्कअप के साथ नए दस्तावेज़ इस फ़ोल्डर में छोड़ दिए जाएंगे और सीखने की प्रक्रिया को दोहराया जाएगा।

इस मामले में, यह मेरे लिए सुविधाजनक था कि फाइलें पाठ बनी रहीं, इसलिए मार्कअप प्रारूप को लाइन की शुरुआत में एक संकेत जोड़ना था कि इस पंक्ति को पिछले एक ('+' वर्ण) या नहीं ('* "वर्ण) से चिपकाया जाना चाहिए। यहाँ एक स्निपेट (फ़ाइल 1005058.txt ) है:

*Introduction *Customers on the web are often overwhelmed with options and flooded with promotional messages for +products or services they neither need nor want. When users cannot find what they are searching for, the +e-commerce site struggles to maintain good customer relations. *Employing a recommender system as part of a site's Customer Relationship Management (CRM) activities +can overcome the problems associated with providing users with too little information, or too much of +the wrong information. Recommender systems are able to assist customers during catalog browsing and are +an effective way to cross-sell and improve customer loyalty. *In this paper, we will compare several recommender systems being used as an essential component of +CRM tools under development at Verizon. Our solutions are purposely for the current customers and current +products - recommendations for new customers and new products are out of the scope of this paper. 

23 घंटे के उदाहरण के साथ थकाऊ काम के 3 घंटे और 3 फाइलें (एक पंक्ति - एक नमूना) तैयार हैं। लॉजिस्टिक रिग्रेशन जैसे साधारण क्लासिफायर के लिए कई मामलों में यह पहले से ही पर्याप्त है, जिसे तब लागू किया गया था।

सुविधाओं

क्लासीफायर सीधे टेक्स्ट डेटा के साथ काम नहीं करते हैं। प्रविष्टियाँ सुविधाओं के साथ दी जाती हैं - या तो संख्याएँ या बूलियन संकेत (जो, फिर से, संख्या 0/1 में अनुवाद करते हैं) कि कोई विशेषता मौजूद है या नहीं। अच्छे डेटा से सही सुविधाओं का निर्माण मशीन सीखने की सफलता की कुंजी है। हमारे मामले की एक विशेषता यह है कि हमारा कोष अंग्रेजी ग्रंथ है। और मैं कम से कम न्यूनतम स्वतंत्रता प्राप्त करना चाहता हूं। कम से कम यूरोपीय भाषाओं के भीतर। इसलिए, पाठ सुविधाओं के लिए हम एक छोटी सी चाल का उपयोग करते हैं।

पाठ को सुविधाओं और लेबल की सूची में बदलना , चाहे पिछली पंक्ति के साथ गोंद करना हो, _featurize_text_with_annotation सहायक फ़ंक्शन द्वारा किया जाता है:

 x, y = pdf_lines_gluer._featurize_text_with_annotation(raw_text) 

नोट - यहाँ और आगे मुख्य रूप से अजगर में कोड के टुकड़े हैं, जिसे आप लैपटॉप में पूरी तरह से देख सकते हैं ।

उपयोग की गई विशेषताएं:

• 'this_len' - वर्णों में वर्तमान रेखा की लंबाई।
• 'mean_len' - श्रेणी -5 में लाइनों की औसत लंबाई ... + 5 लाइनें।
• 'prev_len' - वर्णों में पिछली पंक्ति की लंबाई।
• 'first_chars' - यहाँ हमारी मुश्किल विशेषता है। स्ट्रिंग के पहले 2 अक्षर यहां रखे गए हैं। लेकिन एक ही समय में, सभी लोअरकेस अक्षर (किसी वर्णमाला के) को अंग्रेजी वर्ण 'ए' से बदल दिया जाता है, कैपिटल अक्षरों को 'ए' से बदल दिया जाता है, संख्या को '0' से बदल दिया जाता है। यह उन्हें सारांशित करते हुए, संभावित संकेतों की संख्या को काफी कम कर देता है। क्या होता है इसके उदाहरण: 'आ', 'आ', 'एए', '0.', 'ए-' ...
• 'इसालफा ’- चाहे वह अक्षर पिछली पंक्ति का अंतिम वर्ण हो।
• 'isdigit' - क्या अंक पिछली पंक्ति का अंतिम वर्ण है।
• 'इज़्लोवर' - क्या लोअरकेस अक्षर पिछली पंक्ति का अंतिम वर्ण है।
• 'पंचर' - एक विराम चिह्न जो पिछली पंक्ति, या अन्य वर्णों के लिए एक स्थान के साथ समाप्त होता है।

एक पंक्ति के लिए सुविधाओं के समूह का एक उदाहरण:

 {'this_len': 12, 'mean_len': 75.0, 'prev_len': 0, 'first_chars': 'Aa', 'isalpha': False, 'isdigit': False, 'islower': False, 'punct': ' '} 

स्केलेर पैकेज से उनके साथ काम करने के लिए क्लासिफायरियर के लिए, हम डिक्टेविक्टराइज़र क्लास का उपयोग करते हैं, जिसकी मदद से स्ट्रिंग फीचर्स (हमारे पास यह 'फर्स्ट_चार्स') कई कॉलम में बदल दिए जाते हैं, जिनके नाम (get_feature_names () ) को 'first_chars = के रूप में प्राप्त किया जा सकता है। आ ’, a पहले_चर = ०’। बुलियन विशेषताएं शून्य और लोगों में बदल जाती हैं, जबकि संख्यात्मक मान संख्या में रहते हैं - फ़ील्ड नाम नहीं बदलते हैं। बाह्य रूप से, विधि लगभग इस प्रकार की numpy.array लौटाती है (केवल एक पंक्ति दिखाई जाती है):

 [[ 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 0. 0. 0. 39.1 30. 0. 1. 36. ]] 

क्लासिफायर ट्रेनिंग

फ्लोटिंग पॉइंट नंबरों की एक सरणी के रूप में सुविधाओं का एक सेट प्राप्त करने के बाद, हम अब सीखने की प्रक्रिया शुरू कर सकते हैं। ऐसा करने के लिए, हम एक वर्गीकरण के रूप में लॉजिस्टिक प्रतिगमन का उपयोग करते हैं। कक्षाएं असंतुलित हैं, इसलिए हमने class_weight = 'संतुलित' विकल्प सेट किया है, हम मामले के परीक्षण भाग पर परिणाम की जांच करते हैं:

 from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report clf = LogisticRegression(random_state=1974, solver='liblinear', max_iter=2000, class_weight='balanced') clf.fit(x_train, y_train) y_pred = clf.predict(x_test) print(classification_report(y_true=y_test, y_pred=y_pred)) 

हमें ऐसे गुणवत्ता संकेतक मिलते हैं:

  precision recall f1-score support False 0.82 0.92 0.86 207 True 0.96 0.91 0.94 483 accuracy 0.91 690 macro avg 0.89 0.91 0.90 690 weighted avg 0.92 0.91 0.91 690 

जैसा कि आप देख सकते हैं, लगभग 1/10 मामलों में, हमारे पास विभिन्न प्रकार की त्रुटियां हैं। लेकिन व्यवहार में, सब कुछ इतना डरावना नहीं है। तथ्य यह है कि आंख के मार्कअप के साथ भी, यह हमेशा स्पष्ट नहीं होता है कि पैराग्राफ का अंत कहां है, और जहां वाक्य का अंत है। इसलिए, यहां तक ​​कि मार्कअप में भी ऐसी त्रुटियां हो सकती हैं। लेकिन सबसे महत्वपूर्ण त्रुटियां वे नहीं हैं जहां वे प्रस्ताव की सीमा पर होती हैं, लेकिन जहां प्रस्ताव फटा हुआ है। और वास्तविकता में ऐसी बहुत कम त्रुटियां हैं।

पाठ पुनर्प्राप्त करें

पीडीएफ से निकासी द्वारा क्षतिग्रस्त पाठ को पुनर्स्थापित करने का समय आ गया है। हम पहले से ही निर्धारित कर सकते हैं कि पिछले एक के साथ लाइन को गोंद करना है या नहीं, लेकिन एक और बिंदु है - हायफ़नेशन। यहां सब कुछ काफी सीधा है, इसलिए मैंने इस हिस्से को कठिन कोडित किया (मैं खुद को छद्म कोड की अनुमति देता हूं):

      :         :       :      :        \n 

इस तरह की रणनीति के साथ, हम अंग्रेजी पाठ को पुनर्स्थापित करते हैं (मूल में "एफएफ" और "फाई" जैसी त्रुटियां हैं - यह केवल क्रैपिविन 200 के मामले से कॉपी किया गया था):

 text = """The rapid expansion of wireless services such as cellular voice, PCS (Personal Communications Services), mobile data and wireless LANs in recent years is an indication that signicant value is placed on accessibility and portability as key features of telecommunication (Salkintzis and Mathiopoulos (Guest Ed.), 2000). devices have maximum utility when they can be used any- where at anytime". One of the greatest limitations to that goal, how- ever, is nite power supplies. Since batteries provide limited power, a general constraint of wireless communication is the short continuous operation time of mobile terminals. Therefore, power management is y Corresponding Author: Dr. Krishna Sivalingam. Part of the research was supported by Air Force Oce of Scientic Research grants F-49620-97-1- 0471 and F-49620-99-1-0125; by Telcordia Technologies and by Intel. Part of the work was done while the rst author was at Washington State Univer- sity. The authors' can be reached at cej@bbn.com, krishna@eecs.wsu.edu, pagrawal@research.telcordia.com, jcchen@research.telcordia.com c 2001 Kluwer Academic Publishers. Printed in the Netherlands. Jones, Sivalingam, Agrawal and Chen one of the most challenging problems in wireless communication, and recent research has addressed this topic (Bambos, 1998). Examples include a collection of papers available in (Zorzi (Guest Ed.), 1998) and a recent conference tutorial (Srivastava, 2000), both devoted to energy ecient design of wireless networks. Studies show that the signicant consumers of power in a typical laptop are the microprocessor (CPU), liquid crystal display (LCD), hard disk, system memory (DRAM), keyboard/mouse, CDROM drive, oppy drive, I/O subsystem, and the wireless network interface card (Udani and Smith, 1996, Stemm and Katz, 1997). A typical example from a Toshiba 410 CDT mobile computer demonstrates that nearly 36% of power consumed is by the display, 21% by the CPU/memory, 18% by the wireless interface, and 18% by the hard drive. Consequently, energy conservation has been largely considered in the hardware design of the mobile terminal (Chandrakasan and Brodersen, 1995) and in components such as CPU, disks, displays, etc. Signicant additional power savings may result by incorporating low-power strategies into the design of network protocols used for data communication. This paper addresses the incorporation of energy conservation at all layers of the protocol stack for wireless networks. The remainder of this paper is organized as follows. Section 2 introduces the network architectures and wireless protocol stack considered in this paper. Low-power design within the physical layer is brie y discussed in Section 2.3. Sources of power consumption within mobile terminals and general guidelines for reducing the power consumed are presented in Section 3. Section 4 describes work dealing with energy ecient protocols within the MAC layer of wireless networks, and power conserving protocols within the LLC layer are addressed in Section 5. Section 6 discusses power aware protocols within the network layer. Opportunities for saving battery power within the transport layer are discussed in Section 7. Section 8 presents techniques at the OS/middleware and application layers for energy ecient operation. Finally, Section 9 summarizes and concludes the paper. 2. Background This section describes the wireless network architectures considered in this paper. Also, a discussion of the wireless protocol stack is included along with a brief description of each individual protocol layer. The physical layer is further discussed. """ corrected = pdf_lines_gluer._preprocess_pdf(text, clf, v) print(corrected) 

ठीक होने के बाद, हम प्राप्त करते हैं:

एक विवादास्पद जगह है, लेकिन सामान्य तौर पर, वाक्य बहाल किए गए हैं और ऐसे पाठ को पहले ही पूरे वाक्यों के रूप में संसाधित किया जा सकता है।

लेकिन हम एक भाषा-स्वतंत्र विकल्प बनाने की योजना बना रहे थे। और यह ठीक वैसा ही है जैसा हमारी सुविधाओं का सेट है। आइए रूसी पाठ में जांच करें (पीडीएफ से पाठ का एक टुकड़ा):

 ru_text = """       -       (. 1.10),    ,   - .       ,      , -   .       ,       .          : 1.        ,       -  (   ,   . 1.10,    ). 2.    ( )           ,     .      ,     .""" corrected = pdf_lines_gluer._preprocess_pdf(ru_text, clf, v) print(corrected) 

हम प्राप्त किया:

यहां सब कुछ सही है।

कैसे उपयोग करें (कोड पीढ़ी)

पहले, मेरे पास एक पैकेज बनाने की योजना थी जिसे पीआईपी का उपयोग करके वितरित किया जा सकता था, लेकिन फिर मैं एक सरल तरीका (मेरे लिए) लेकर आया। फीचर्स का सेट बहुत बड़ा नहीं है, लॉजिस्टिक रिग्रेशन ही और डिक्टेक्टाइज़र के पास एक सरल संरचना है:

• DictVectorizer के लिए, यह फीचर नाम और शब्दावली_ फ़ील्ड को बचाने के लिए पर्याप्त है
• LogisticRegression में coef , classes , intercept_ है

इसलिए, एक और विकल्प कोड पीढ़ी के साथ पैदा हुआ था (लैपटॉप में, यह "कोड के रूप में सीरियल करें" अनुभाग) में जाता है:

1. हम PDF_lines_gluer.py फ़ाइल को पढ़ते हैं, जिसमें एक प्रशिक्षित क्लासिफायरियर का उपयोग करके पाठ को वेक्टर करने और पुनर्स्थापित करने के लिए सहायक कोड है।
2. स्रोत में "# इंजेक्ट कोड # #" के रूप में निर्दिष्ट जगह में, हम उस कोड को सम्मिलित करते हैं जो राज्य में डिक्टेविक्टराइज़र और लॉजिस्टिकराइजेशन को आरंभ करता है जो हमें प्रशिक्षण के बाद हमारे लैपटॉप में मिला था। हम यहां केवल एकमात्र (जहां तक ​​संभव हो पायथन के लिए) preprocess_pdf फ़ंक्शन को इंजेक्ट करते हैं:
   

    def preprocess_pdf(text: str) -> str: return _preprocess_pdf(text, _clf, _v) 

3. परिणामी कोड pdf_preprocessor.py फ़ाइल को लिखा गया है

यह जेनरेट की गई pdf_preprocessor.py फ़ाइल है जिसमें वह सब कुछ है जो हमें चाहिए। इसका उपयोग करने के लिए, बस इस एक फ़ाइल को लें और इसे अपनी परियोजना में छोड़ दें। का उपयोग करें:

 from pdf_preprocessor import preprocess_pdf ... print(preprocess_pdf(text)) 

यदि आपको कुछ ग्रंथों पर कोई समस्या है, तो यहां आपको यह करना होगा:

1. अपने ग्रंथों को कॉर्पस फ़ोल्डर में रखें, उन्हें एनोटेट करें।
2. अपना लैपटॉप लॉन्च करें https://github.com/serge-sotnyk/pdf-lines-gluer/blob/master/pdf_gluer.ipynb - यह मुझे वर्तमान पाठ पर 5 सेकंड से कम समय लगता है।
3. PDF_preprocessor.py फ़ाइल का नया संस्करण लें और उसका परीक्षण करें

शायद कुछ गलत हो जाएगा और गुणवत्ता आपको संतुष्ट नहीं करेगी। तब यह थोड़ा और अधिक जटिल होगा - आपको नई विशेषताओं को जोड़ने की आवश्यकता होगी जब तक कि आपको उनका सही संयोजन न मिल जाए।

C # और ML.NET

हमारी कंपनी में, अधिकांश बैकएंड कोड .Net पर आधारित है। बेशक, पायथन के साथ बातचीत करना यहां असुविधा को जोड़ता है। और मैं C # में एक समान समाधान करना चाहूंगा। मैं लंबे समय से ML.NET फ्रेमवर्क के विकास का पालन कर रहा हूं। मैंने पिछले साल कुछ करने के छोटे प्रयास किए, लेकिन वे विभिन्न मामलों की अपर्याप्त कवरेज, थोड़ी मात्रा में प्रलेखन, और एपीआई की अस्थिरता से निराश थे। इस वर्ष के वसंत के बाद से, रूपरेखा एक रिलीज राज्य में बदल गई है और मैंने इसे फिर से आज़माने का फैसला किया है। इसके अलावा, शरीर के लेआउट के साथ सबसे थकाऊ काम पहले से ही किया गया है।

पहली नज़र में, ढांचे ने सुविधा को जोड़ा। अधिक बार मैंने आवश्यक दस्तावेज ढूंढना शुरू किया (हालांकि यह अभी भी स्केलेर में गुणवत्ता और मात्रा से बहुत दूर है)। लेकिन सबसे महत्वपूर्ण बात - एक साल पहले मैं अभी भी sklearn नहीं जानता था। और अब मैंने देखना शुरू किया कि ML.NET में बहुत सी चीजें छवि और समानता में करने की कोशिश कर रही थीं (जहाँ तक संभव हो, प्लेटफार्मों में अंतर को देखते हुए)। इन उपमाओं ने अभ्यास में ML.NET के सिद्धांतों को सीखना आसान बना दिया है।

इस प्लेटफ़ॉर्म पर एक कार्यशील परियोजना https://github.com/serge-sotnyk/pdf-postprocess.cs पर देखी जा सकती है।

सामान्य सिद्धांत समान बने रहे - कॉर्पस फ़ोल्डर में एनोटाइज्ड (और ऐसा नहीं) दस्तावेज़ स्थित हैं। मॉडलक्रीट प्रोजेक्ट लॉन्च करने के बाद, कॉर्पस फ़ोल्डर के बगल में, हम मॉडल फ़ोल्डर देखेंगे, जहां प्रशिक्षित मॉडल के साथ संग्रह रखा जाएगा। यह अभी भी समान विशेषताओं के साथ एक ही लॉजिस्टिक प्रतिगमन है।

लेकिन यहां मैंने कोड जेनरेशन के साथ कोई छेड़छाड़ नहीं की। प्रशिक्षित मॉडल का उपयोग करने के लिए, PdfPostprocessor प्रोजेक्ट लें (जिसमें आंतरिक रूप से PdfPostprocessModel.zip मॉडल संकलित किया गया है)। उसके बाद, मॉडल का उपयोग किया जा सकता है, जैसा कि न्यूनतम उदाहरण में दिखाया गया है - https://github.com/serge-sotnyk/pdf-postprocess.cs/blob/master/MinimalUsageExample/Program .cs :

 using PdfPostprocessor; ... static void Main(string[] args) { var postprocessor = new Postprocessor(); Console.WriteLine(); Console.WriteLine("Restored paragraphs in the English text:"); Console.WriteLine(postprocessor.RestoreText(EnText)); Console.WriteLine(); Console.WriteLine("Restored paragraphs in the Russian text:"); Console.WriteLine(postprocessor.RestoreText(RuText)); } 

मॉडल फ़ोल्डर से PdfPostprocessor प्रोजेक्ट में मॉडल कॉपी करते समय मैन्युअल रूप से किया जाता है - यह मेरे लिए बेहतर नियंत्रण के लिए अधिक सुविधाजनक था कि कौन सा मॉडल अंतिम प्रोजेक्ट में जाता है।

नगेट-पैकेज है - PdfPostprocessor। आपके द्वारा प्रशिक्षित पैकेज और मॉडल का उपयोग करने के लिए, अतिभारित पोस्टप्रोसेसर कंस्ट्रक्टर का उपयोग करें।

पायथन और सी # में विकल्पों की तुलना

जबकि दो प्लेटफार्मों पर विकास के अनुभव से ताजा, यह संक्षेप में उन्हें फिर से बेचना करने के लिए समझ में आ सकता है। मैं लंबे समय तक एक विशेष मंच का उग्रवादी समर्थक नहीं रहा हूं और विभिन्न धर्मों के विश्वासियों की भावनाओं के प्रति सहानुभूति रखता हूं। आपको यह भी समझने की आवश्यकता है कि मैं अभी भी अपने जीवन के अधिकांश समय के लिए स्थिर टाइपिंग वाली भाषाओं के साथ काम करता हूं, इसलिए वे मेरे लिए थोड़े करीब हैं।

C # पर स्विच करते समय मुझे क्या पसंद नहीं आया

• शब्दाडंबर। फिर भी, पायथन कोड अधिक कॉम्पैक्ट है। यह ऑपरेटर कोष्ठक, और कोष्ठक की अनुपस्थिति है अगर, के लिए। अंतहीन नए की कमी। खेतों का सक्रिय उपयोग क्योंकि वे आवश्यक होने पर गुणों में बदलना आसान है। इस तथ्य पर भी कि पायथन में गोपनीयता, जिसे पहचानकर्ता की शुरुआत में केवल एक अंडरस्कोर द्वारा इंगित किया गया है, आपको इसकी आदत है और व्यवहार में यह अन्य भाषाओं में गोपनीयता संशोधक के एक समूह की तुलना में बहुत सुविधाजनक, अधिक सुविधाजनक निकला। और निर्माणों की संक्षिप्तता विकास को गति देती है और कोड को पढ़ने की सुविधा प्रदान करती है।
• ज्यादातर मामलों में, पायथन कोड क्लीनर और अधिक सुरुचिपूर्ण दिखता है (यह सिर्फ व्यक्तिपरक है)। इससे पढ़ने और बनाए रखने में आसानी होती है।
• पायथन के लिए, लगभग हर चीज के लिए, किसी न किसी तरह के पैकेज में किसी न किसी प्रकार का फ़ंक्शन या डेकोरेटर होता है, लेकिन सी # में बहुत कुछ जोड़ना पड़ता है। यह आगे विभिन्न सहायक कार्यों, कक्षाओं के साथ कोड को फुलाता है। और इसमें और भी अधिक समय लगता है।
• पायथन के पारिस्थितिकी तंत्र की तुलना में C # और उसके ढाँचे के प्रलेखन की डिग्री काफी कम है।
• सर्वाहारी स्केलेर की तुलना में ML.NET के अधिक कड़े टाइपिंग ने हमें कुछ समय सही परिवर्तनों की तलाश में बिताने के लिए मजबूर किया, और पिछले पैराग्राफ ने इस मुद्दे को हल करने में योगदान नहीं दिया।

C # पर स्विच करते समय आपको क्या पसंद आया

• विश्वसनीयता की भावना। पहले से ही बहुत बार नहीं, लेकिन काफी नियमित रूप से, सर्वाहारी पायथन मुझे मायावी समस्याओं की ओर ले जाता है। और अब, कोड को C # में पोर्ट करते समय, एक त्रुटि हुई जिसने कुछ सुविधाओं को बेकार कर दिया। सुधार के बाद, सटीकता कुछ प्रतिशत बढ़ी।
• स्पीड। पायथन कोड में, मुझे उन विशेषताओं को छोड़ना पड़ा था, जो पिछले प्रस्तावों में ग्लूइंग निर्णय से बंधे थे - यदि आप एक समय में क्लासिफायरर के प्रस्तावों को प्रस्तुत करते हैं, तो समग्र गति बेसबोर्ड की तुलना में कम होगी। पायथन में डेटा प्रोसेसिंग तेज होने के लिए, इसे जितना संभव हो उतना वेक्टर करना आवश्यक है और कभी-कभी यह हमें संभावित उपयोगी विकल्पों से मना कर देता है, या उन्हें बनाना बहुत मुश्किल होता है।
• LINQ। वे पायथन में लिस्ट कॉम्प्रिहेंशन (एलसी) की तुलना में बहुत अधिक सुविधाजनक हैं। यहां तक ​​कि एक एलसी के लिए मुझे पहले लिखने के लिए मजबूर किया जाता है उसके बाद क्या होता है, फिर शुरुआत में वापस जाएं और इसके लिए आगे बढ़ें, और उसके बाद ही एलसी की शुरुआत में एक अभिव्यक्ति लिखें। यह सिर्फ इतना है कि, उस क्रम में, मुझे लगता है - रिकॉर्ड्स, आइटमों का स्रोत, क्या करना है। LINQ ( "" ) . LC ( for) . , , .
• Lambda. , . , C# .

— . , .Net , . - — REST C#.

C# . — , - . Microsoft Kotlin — .Net , . Python- — , Julia . .

निष्कर्ष

:

• , — , , - . , , - .
• . , ML.NET - . .
• , Python- .Net. , .