PHP में mb_detect_encoding के बजाय पाठ एन्कोडिंग को परिभाषित करना

सिरिलिक वर्णमाला के कई चरित्र एनकोडिंग हैं।

इंटरनेट पर साइट बनाते समय आमतौर पर उपयोग होता है:

• utf-8
• विंडोज़ -1251
• koi8-r

अधिक लोकप्रिय एनकोडिंग:

• आईएसओ-8859-5
• ibm866
• मैक-सिरिलिक

यह शायद पूरी सूची नहीं है, ये वे एनकोडिंग हैं जिनका मैं अक्सर सामना करता हूं।

कभी-कभी पाठ की एन्कोडिंग को निर्धारित करना आवश्यक हो जाता है। और PHP में इसके लिए एक फ़ंक्शन भी है:

mb_detect_encoding 

लेकिन, जैसा कि m00t ने आलेख में लिखा है PHP में Defining Text Encoding - मौजूदा समाधानों का अवलोकन और दूसरी बाइक

संक्षेप में, यह काम नहीं करता है।

M00t लेख पढ़ने के बाद , मैं इसकी विधि से प्रेरित नहीं था और इस समाधान को पाया: PHP और पायथन में पाठ एन्कोडिंग का निर्धारण
जैसा कि m00t ने कहा

फिर से चरित्र कोड

मैंने चरित्र कोड द्वारा एन्कोडिंग का निर्धारण करने के कार्य का परीक्षण किया, परिणाम ने मुझे संतुष्ट किया और मैंने कुछ वर्षों तक इस फ़ंक्शन का उपयोग किया।

हाल ही में मैंने उस परियोजना को फिर से लिखने का फैसला किया जहां मैंने इस फ़ंक्शन का उपयोग किया था, मुझे packagist.org cnpait / detect_encoding पर एक तैयार पैकेज मिला , जिसमें m00t विधि का उपयोग करके एन्कोडिंग निर्धारित की गई है

उसी समय, निर्दिष्ट पैकेज 1200 से अधिक बार स्थापित किया गया था, जिसका अर्थ है कि यह मेरे लिए अकेले नहीं है कि पाठ एन्कोडिंग को निर्धारित करने का कार्य समय-समय पर उठता है।

मैं इस पैकेज को स्थापित करूंगा और शांत हो जाऊंगा, लेकिन मैंने "भ्रमित होने" का फैसला किया।

सामान्य तौर पर, मैंने अपना पैकेज बनाया: ओनोव / डिटेक्ट-एन्कोडिंग ।

इसका उपयोग कैसे करें यह README.md में लिखा गया है

मैं इसे जांचने और cnpait / detect_encoding पैकेज के साथ तुलना करने के बारे में लिखूंगा ।

परीक्षण पद्धति

बड़ा पाठ लें: टॉल्स्टॉय - अन्ना करिनाना
कुल - 1'701'480 अक्षर

हम सभी अनावश्यक हटाते हैं, हम केवल सिरिलिक वर्णमाला छोड़ते हैं:

 $text = preg_replace('/[^--]/ui', '', $text); 

1'336'252 सिरिलिक संकेत बने रहे।

लूप में, हम पाठ (5, 15, 30, ... अक्षर) का हिस्सा लेते हैं, इसे एक ज्ञात एन्कोडिंग में परिवर्तित करते हैं और स्क्रिप्ट द्वारा एन्कोडिंग को निर्धारित करने का प्रयास करते हैं। फिर सही ढंग से तुलना करें या नहीं।

यहां वह तालिका है जिसमें एन्कोडिंग बाईं ओर है, वर्णों की संख्या जिसके द्वारा एन्कोडिंग शीर्ष पर निर्धारित की जाती है, तालिका %% में विश्वसनीयता परिणाम दिखाती है

मैक सिरिलिक के साथ सबसे खराब सटीकता, आपको 92.15% की सटीकता के साथ इस एन्कोडिंग को निर्धारित करने के लिए कम से कम 60 वर्णों की आवश्यकता है। Windows-1251 एन्कोडिंग में सटीकता भी बहुत कम है। यह इस तथ्य के कारण है कि तालिकाओं में उनके पात्रों की संख्या बहुत अधिक ओवरलैप करती है।

सौभाग्य से, मैक-सिरिलिक और ibm866 एन्कोडिंग का उपयोग वेब पृष्ठों को एन्कोड करने के लिए नहीं किया जाता है।

चलो उनके बिना कोशिश करते हैं:

5 से 10 अक्षरों के छोटे वाक्यों में भी निर्धारण की सटीकता अधिक है। और 60 अक्षरों के वाक्यांशों के लिए, निर्धारण की सटीकता 100% तक पहुंच जाती है। और फिर भी, एन्कोडिंग बहुत जल्दी से निर्धारित किया जाता है, उदाहरण के लिए, 1,300,000 सिरिलिक वर्णों की तुलना में लंबे समय तक पाठ 0.00096 सेकंड में जांचा जाता है। (मेरे कंप्यूटर पर)

और m00t शो द्वारा वर्णित सांख्यिकीय पद्धति क्या परिणाम देगी:

जैसा कि आप देख सकते हैं, एन्कोडिंग का निर्धारण करने के परिणाम अच्छे हैं। स्क्रिप्ट की गति अधिक है, विशेष रूप से छोटे ग्रंथों में, विशाल ग्रंथों में गति काफी कम है। 1,300,000 से अधिक लंबा पाठ सिरिलिक वर्णों को 0.32 सेकंड में जांचा जाता है। (मेरे कंप्यूटर पर)

मेरे निष्कर्ष

• दोनों ही तरीके अच्छे परिणाम देते हैं।
• तरीकों की सटीकता करीब है।
• चरित्र संहिताओं द्वारा निर्धारित करने की गति बड़े ग्रंथों में अधिक है, लेकिन यह शायद ही बहुत महत्वपूर्ण है, क्योंकि यह संभावना नहीं है कि कोई भी इस तरह के विशाल ग्रंथों की जांच करेगा।
• सांख्यिकीय पद्धति में अभी भी एन्कोडिंग निर्धारण की सटीकता को बढ़ाने की क्षमता है।

किस विधि का उपयोग करना है यह आपके ऊपर है। सिद्धांत रूप में, आप एक ही बार में दोनों का उपयोग कर सकते हैं।