PHP \ Python में Fasttext। पहला कदम

क्यों?

लंबे समय तक, विभिन्न प्रकार के मशीन लर्निंग एल्गोरिदम ने लोकप्रियता हासिल की। इसके अलावा, बड़ी कंपनियों के लिए धन्यवाद जो तकनीकी प्रगति को चला रहे हैं, कई ओपनसोर्स उत्पाद दिखाई दिए हैं। उनमें से एक फास्टटेक्स है, जिसकी चर्चा नीचे की जाएगी।

Fasttext - फेसबुक से विकास। कार्यक्रम का मुख्य उद्देश्य पाठ का वर्गीकरण है। इसके लिए पाठ वर्गीकरण की आवश्यकता हो सकती है:

1. "समानता" समूहों (एक विषय पर समाचार) में पाठ्य सूचना का संयोजन
2. एक समूह में समान विषयों के साथ ग्रूपिंग ग्रूप (कारों के बारे में समाचार)
3. ऐसी जानकारी की खोज करें जो स्पैम हो सकती है
4. clickbait सर्च
5. ...

वास्तव में, बहुत सारे विकल्प हैं और सब कुछ सूचीबद्ध करने में कोई समझदारी नहीं है; विचार स्पष्ट होना चाहिए।

पहला प्रशिक्षण

लाइब्रेरी पेज पर चरण-दर-चरण इंस्टॉलेशन और पहला प्रशिक्षण निर्देश है । मैं उन पर नहीं बसूंगा।

लाइब्रेरी सेटअप

प्रशिक्षण की समस्या मापदंडों की व्यक्तिगतता है। ऐसे कोई पैरामीटर नहीं हैं जो गारंटीकृत उत्कृष्ट परिणाम देते हैं। आप मापदंडों के उदाहरणों के साथ इंटरनेट पर बहुत सारे ( या नहीं ) लेख पा सकते हैं और वे आपके लिए उपयुक्त नहीं हो सकते हैं, क्योंकि वे एक असंतोषजनक परिणाम देंगे।

केवल अनुभवजन्य रूप से आप उन मापदंडों को चुन सकते हैं जो आपके अनुरूप हैं। नीचे उन लोगों की एक सूची दी गई है जो परिणाम को महत्वपूर्ण रूप से प्रभावित करते हैं:

- मंद - आयाम वैक्टर ( मक्खन ) के आकार को नियंत्रित करता है: जितना अधिक वे होते हैं, उतनी ही अधिक जानकारी वे पकड़ सकते हैं, लेकिन इसके लिए अधिक डेटा की आवश्यकता होती है। लेकिन अगर बहुत अधिक डेटा है, तो प्रशिक्षण प्रक्रिया धीमी हो जाएगी। डिफ़ॉल्ट 100 माप है। 150 से शुरू करें और अपने लिए इष्टतम मूल्य चुनें।

- lr - सीखने की गति। यदि पैरामीटर बहुत छोटा है, तो मॉडल पाठ के प्रति अधिक संवेदनशील हो जाता है और समान ग्रंथों को अलग नहीं कर सकता है, लेकिन यदि पैरामीटर बहुत बड़ा है, तो इसके विपरीत, यह "कह सकता है" कि ग्रंथ समान हैं, हालांकि वास्तव में ऐसा नहीं होगा। 0.1 (डिफ़ॉल्ट 0.05) से शुरू करें।

- युग - युग की संख्या। यह आपके डेटा के अनुसार पास की संख्या है। अधिक - बेहतर (लेकिन, अफसोस, हमेशा नहीं)। इससे प्रशिक्षण का समय बढ़ता है। 150 से शुरू करें (डिफ़ॉल्ट 5 है)।

- लर्निंग मॉडल । फेसबुक से वर्णन पढ़ें। यह काफी स्पष्ट है।

- नुकसान - तुलना कैसे होगी। यहां सब कुछ बहुत ही व्यक्तिगत है और डेटा पर निर्भर करता है।

पाठ की तैयारी

इनपुट टेक्स्ट भी महत्वपूर्ण है। बेहतर पाठ, मॉडल से बेहतर जानकारी। प्रशिक्षण के लिए पाठ तैयार करने के मूल नियम:

• सभी टैग हटाएं
• लोअरकेस में डाली
• विराम चिह्न वर्ण हटाएं
• हैश टैग, लिंक को हटा दें
• स्टॉप शब्दों को बाहर रखें
• छोटे शब्दों को बाहर करें (1,2,3 वर्ण। यहाँ हर कोई अपने डेटा के लिए निर्णय लेता है)

कुछ लिखते हैं कि आप बस एक मॉडल और ट्रेन में पाठ चला सकते हैं। यह विकल्प मुझे पसंद नहीं आया। मुझे विश्वास है कि बिना किसी खराब गुणवत्ता वाले मॉडल को प्राप्त करने के लिए इच्छुक हूं।

वर्गीकरण के लिए पाठ की तैयारी

यहां भी वही नियम लागू होते हैं, लेकिन अनुभव से पता चला है कि इन नियमों को लेमेटेटाइजेशन या स्टैमिंग द्वारा पूरक किया जा सकता है। उनके साथ, परिणामों में काफी सुधार ( या बिगड़ ) हो सकता है इसके अलावा, जब आप पहले से ही क्लस्टर बना चुके हैं, तो यह मत भूलो कि क्लस्टरिंग एल्गोरिदम को इन समूहों पर भी लागू किया जाना चाहिए, लेकिन बहुत सावधानी से, जैसा कि आप एक क्लस्टर में इसी तरह के विषय को ध्वस्त कर सकते हैं। यह खेल में बहुत स्पष्ट है: मॉडल समझता है कि समाचार फुटबॉल से है। लेकिन इटली की चैम्पियनशिप से स्पेन की चैंपियनशिप को अलग पहचान देना बहुत मुश्किल है।

प्रोग्रामिंग भाषा

मॉडल को प्रशिक्षित करने के लिए, आप दोनों PHP चुन सकते हैं (इसे ले लिया, क्योंकि अधिकांश साइटें इस पर लिखी गई हैं) और पायथन (इसके लिए एक पुस्तकालय है)। लेकिन बहुत ही मजेदार पल है । यदि आपके लिए प्रशिक्षण का समय महंगा है, तो भी आपको कमांड लाइन से फास्टटेक्स चलाकर मॉडल को प्रशिक्षित करना होगा। तो, इससे कोई फर्क नहीं पड़ता कि प्रशिक्षण के लिए कोड क्या लिखना है (क्या सुविधाजनक है, उस पर लिखें)।

क्लस्टरिंग तंत्र के लिए, यह थोड़ा अधिक जटिल ( या सरल ) है। यदि आपको साइकिल पसंद है ( सभी प्रक्रियाओं को नियंत्रित करें और आपको एक लचीली नियंत्रण प्रणाली की आवश्यकता है ) php में लिखें (यदि साइट php में है)। यदि आप पुस्तकालयों को लिखना नहीं चाहते हैं और भाषा का विकल्प है, तो संभवतः पायथन को लेना बेहतर है। मैंने गति में महत्वपूर्ण अंतर नहीं देखा (कोड की गति में, और इसे लिखने की गति में नहीं)। यह आप पर निर्भर है।

एक निष्कर्ष के बजाय

मेरे पास एक मॉडल है जो पिछले कुछ दिनों में केवल समाचार सामग्री पर बनाया गया है। इसमें शब्दों का आकार लगभग 40,000 है । आप उसके साथ खेल सकते हैं । लेकिन, ध्यान रखें कि:

• यह एक सार्वभौमिक मॉडल नहीं है। वह केवल समाचार सामग्री पर प्रशिक्षण देती है।
• मॉडल में डेटाबेस से सभी समाचार शामिल नहीं हैं, लेकिन केवल एक संपादकीय (यह कार्य को हल करने के लिए पर्याप्त है)। इसका मतलब है कि मॉडल इसी तरह की खबरों पर कम प्रतिशत दे सकता है।