जब "Zoë"! == "Zoë", या आपको यूनिकोड स्ट्रिंग्स को सामान्य करने की आवश्यकता क्यों है

कभी यूनिकोड के सामान्यीकरण के बारे में सुना है? आप अकेले नहीं हैं। लेकिन सभी को इस बारे में जानने की जरूरत है। सामान्यीकरण से आप बहुत सारी समस्याओं से बच सकते हैं। जितनी जल्दी या बाद में, निम्न आकृति में दिखाए गए कुछ के समान कुछ भी किसी भी डेवलपर के साथ होता है।
Zoë Zoë नहीं है

और यह, वैसे, एक और अजीब जावास्क्रिप्ट का उदाहरण नहीं है। सामग्री के लेखक, जिसका अनुवाद हम आज प्रकाशित करते हैं, का कहना है कि वह दिखा सकता है कि लगभग हर नई प्रोग्रामिंग भाषा का उपयोग करते समय एक ही समस्या कैसे प्रकट होती है। विशेष रूप से, हम पायथन, गो और यहां तक ​​कि शेल स्क्रिप्ट के बारे में बात कर रहे हैं। इससे कैसे निपटें?

प्रागितिहास

मैंने कई साल पहले यूनिकोड समस्या का सामना किया था जब मैंने एक एप्लिकेशन (ऑब्जेक्टिव-सी) लिखा था जो उपयोगकर्ता की पता पुस्तिका और उसके सामाजिक नेटवर्क से एक संपर्क सूची आयात करता था, जिसके बाद मैंने डुप्लिकेट को समाप्त कर दिया। कुछ स्थितियों में, यह पता चला कि कुछ लोग दो बार सूची में हैं। यह इस तथ्य के कारण हुआ कि कार्यक्रम के अनुसार उनके नाम, समान स्ट्रिंग नहीं थे।

यद्यपि उपरोक्त उदाहरण में दो रेखाएं समान दिखाई देती हैं, जिस तरह से उन्हें सिस्टम में प्रस्तुत किया जाता है, बाइट्स जिसमें वे डिस्क अंतर पर संग्रहीत होते हैं। पहले नाम में, "Zoë" ë (e umlaut के साथ) वर्ण एकल यूनिकोड कोड बिंदु का प्रतिनिधित्व करता है। दूसरे मामले में, हम कई वर्णों का उपयोग करके वर्णों का प्रतिनिधित्व करने के दृष्टिकोण के साथ, अपघटन से निपट रहे हैं। यदि आप, अपने आवेदन में, यूनिकोड स्ट्रिंग्स के साथ काम करते हैं, तो आपको इस तथ्य पर विचार करने की आवश्यकता है कि एक ही वर्ण को विभिन्न तरीकों से दर्शाया जा सकता है।

हम इमोजी में कैसे आए: संक्षेप में चरित्र एन्कोडिंग के बारे में

कंप्यूटर बाइट्स के साथ काम करते हैं, जो सिर्फ नंबर हैं। कंप्यूटर पर ग्रंथों को संसाधित करने में सक्षम होने के लिए, लोग पात्रों और संख्याओं के पत्राचार पर सहमत हुए, और समझौतों पर आए कि पात्रों के दृश्य प्रतिनिधित्व को कैसे देखना चाहिए।

इस तरह के पहले समझौते का प्रतिनिधित्व ASCII (सूचना मानक विनिमय के लिए अमेरिकी मानक कोड) एन्कोडिंग द्वारा किया गया था। इस एन्कोडिंग ने 7 बिट्स का उपयोग किया और 128 वर्णों का प्रतिनिधित्व कर सकता था, जिसमें लैटिन वर्णमाला (अपरकेस और लोअरकेस अक्षर), संख्या और मूल विराम चिह्न शामिल थे। ASCII में कई "गैर-मुद्रण योग्य" अक्षर भी शामिल थे, जैसे कि लाइन फीड, टैब, कैरिज रिटर्न, और अन्य। उदाहरण के लिए, ASCII में लैटिन अक्षर M (अपरकेस m) 77 (हेक्साडेसिमल नोटेशन में 4D) के रूप में एन्कोड किया गया है।

ASCII के साथ समस्या यह है कि हालांकि 128 वर्ण सभी वर्णों का प्रतिनिधित्व करने के लिए पर्याप्त हो सकते हैं जो लोग आमतौर पर अंग्रेजी भाषा के ग्रंथों का उपयोग करते हैं, यह संख्या वर्णों को अन्य भाषाओं में ग्रंथों और इमोजीस जैसे विभिन्न विशेष वर्णों का प्रतिनिधित्व करने के लिए पर्याप्त नहीं है।

इस समस्या का समाधान यूनिकोड मानक को अपनाना था, जिसका उद्देश्य सभी आधुनिक और प्राचीन ग्रंथों में इस्तेमाल होने वाले प्रत्येक चरित्र का प्रतिनिधित्व करने की संभावना के लिए किया गया था, जिसमें एमोजिस जैसे चरित्र भी शामिल थे। उदाहरण के लिए, सबसे हालिया यूनिकोड 12.0 मानक में, 137,000 से अधिक वर्ण हैं।

विभिन्न प्रकार के चरित्र एन्कोडिंग विधियों का उपयोग करके यूनिकोड मानक को लागू किया जा सकता है। सबसे आम यूटीएफ -8 और यूटीएफ -16 हैं। यह ध्यान दिया जाना चाहिए कि वेब स्पेस में सबसे आम कोडिंग यूटीएफ -8 के मानक हैं।

वर्णों का प्रतिनिधित्व करने के लिए UTF-8 मानक 1 से 4 बाइट्स का उपयोग करता है। UTF-8 ASCII का सुपरसेट है, इसलिए इसके पहले 128 अक्षर ASCII कोड तालिका में दर्शाए गए वर्णों से मेल खाते हैं। दूसरी ओर, UTF-16 मानक, 1 वर्ण का प्रतिनिधित्व करने के लिए 2 से 4 बाइट्स का उपयोग करता है।

दोनों मानक क्यों हैं? तथ्य यह है कि पश्चिमी भाषाओं के ग्रंथों को आमतौर पर UTF-8 मानक का उपयोग करके सबसे कुशलता से एन्कोड किया जाता है (क्योंकि ऐसे ग्रंथों में अधिकांश वर्णों को 1 बाइट आकार के कोड के रूप में दर्शाया जा सकता है)। यदि हम प्राच्य भाषाओं के बारे में बात करते हैं, तो हम कह सकते हैं कि इन भाषाओं में लिखी गई फ़ाइलों को संग्रहीत करने वाली फाइलें आमतौर पर UTF-16 का उपयोग करते समय कम मिलती हैं।

यूनिकोड कोड अंक और चरित्र एन्कोडिंग

यूनिकोड मानक में प्रत्येक वर्ण को एक पहचान संख्या दी गई है जिसे कोड बिंदु कहा जाता है। उदाहरण के लिए, एक कोड बिंदु इमोजी U + 1F436 है ।

इस आइकन को एन्कोडिंग करते समय, इसे बाइट्स के विभिन्न दृश्यों के रूप में दर्शाया जा सकता है:

• UTF-8: 4 बाइट्स, 0xF0 0x9F 0x90 0xB6
• UTF-16: 4 बाइट्स, 0xD83D 0xDC36

नीचे दिए गए जावास्क्रिप्ट कोड में, तीनों कमांड ब्राउजर कंसोल पर एक ही कैरेक्टर प्रिंट करते हैं।

//
console.log(' ') // =>
// Unicode (ES2015+)
console.log('\u{1F436}') // =>
// UTF-16
// ( 2 )
console.log('\uD83D\uDC36') // =>

अधिकांश जावास्क्रिप्ट दुभाषियों (Node.js और आधुनिक ब्राउज़रों सहित) के आंतरिक तंत्र UTF-16 का उपयोग करते हैं। इसका मतलब है कि जिस डॉग आइकन पर हम विचार कर रहे हैं, वह दो यूटीएफ -16 कोड इकाइयों (प्रत्येक 16 बिट्स) का उपयोग करके संग्रहीत किया गया है। इसलिए, निम्नलिखित कोड आउटपुट आपको क्या समझ से बाहर नहीं होने चाहिए:

console.log(' '.length) // => 2

चरित्र संयोजन

अब हम जहां से शुरू हुए थे, उस पर बात करते हैं, आइए इस बारे में बात करें कि किसी व्यक्ति के लिए समान दिखने वाले प्रतीकों का एक अलग आंतरिक प्रतिनिधित्व क्यों है।

कुछ यूनिकोड वर्णों को अन्य वर्णों को संशोधित करने के लिए डिज़ाइन किया गया है। उन्हें संयोजन वर्ण कहा जाता है। वे आधार वर्णों पर लागू होते हैं। उदाहरण के लिए:

• n + ˜ = ñ
• u + ¨ = ü
• e + ´ = é

जैसा कि आप पिछले उदाहरण से देख सकते हैं, दहनशील वर्ण आपको आधार वर्णों में डायक्रिटिक्स जोड़ने की अनुमति देते हैं। लेकिन यूनिकोड की चरित्र परिवर्तन की क्षमता इस तक सीमित नहीं है। उदाहरण के लिए, वर्णों के कुछ अनुक्रमों को लिगिंग्स के रूप में दर्शाया जा सकता है (इसलिए ऐ को ences में बदल सकते हैं)।

समस्या यह है कि विशेष वर्णों का विभिन्न तरीकों से प्रतिनिधित्व किया जा सकता है।

उदाहरण के लिए, पत्र को दो तरीकों से दर्शाया जा सकता है:

• एकल कोड बिंदु U + 00E9 का उपयोग करना।
• अक्षर ई और तीव्र संकेत के संयोजन का उपयोग करना, अर्थात, दो कोड बिंदुओं का उपयोग करना - U + 0065 और U + 0301 ।

अक्षर representing का प्रतिनिधित्व करने के इन तरीकों में से किसी का उपयोग करने के परिणामस्वरूप वर्ण समान दिखेंगे, लेकिन जब तुलना की जाती है, तो यह पता चलता है कि वर्ण अलग हैं। उनकी रेखाओं की लंबाई अलग-अलग होगी। आप ब्राउज़र कंसोल में निम्न कोड चलाकर इसे सत्यापित कर सकते हैं।

 console.log('\u00e9') // => é console.log('\u0065\u0301') // => é console.log('\u00e9' == '\u0065\u0301') // => false console.log('\u00e9'.length) // => 1 console.log('\u0065\u0301'.length) // => 2 

इससे अनपेक्षित त्रुटियां हो सकती हैं। उदाहरण के लिए, उन्हें इस तथ्य में व्यक्त किया जा सकता है कि अज्ञात कारणों से प्रोग्राम, डेटाबेस में कुछ प्रविष्टियां खोजने में सक्षम नहीं है, जिसमें उपयोगकर्ता, सही पासवर्ड दर्ज करके, सिस्टम में लॉग इन नहीं कर सकता है।

रेखा सामान्यीकरण

उपरोक्त समस्याओं का एक सरल समाधान है, जो स्ट्रिंग्स को सामान्य करने में शामिल है, उन्हें "कैनोनिकल प्रतिनिधित्व" में लाने में।

सामान्यीकरण के चार मानक रूप (एल्गोरिदम) हैं:

• एनएफसी: सामान्यीकरण फॉर्म कैननिकल रचना।
• एनएफडी: सामान्यीकरण प्रपत्र कैननिकल अपघटन।
• NFKC: सामान्यीकरण प्रपत्र संगतता संरचना।
• NFKD: सामान्यीकरण प्रपत्र संगतता अपघटन।

सामान्यीकरण का सबसे अधिक इस्तेमाल किया जाने वाला रूप एनएफसी है। इस एल्गोरिथ्म का उपयोग करते समय, सभी वर्ण पहले विघटित हो जाते हैं, जिसके बाद मानक द्वारा परिभाषित क्रम में सभी संयोजन अनुक्रमों को फिर से बनाया जाता है। व्यावहारिक उपयोग के लिए, आप किसी भी रूप को चुन सकते हैं। मुख्य बात यह है कि इसे लगातार लागू करें। परिणामस्वरूप, प्रोग्राम इनपुट पर समान डेटा की प्राप्ति हमेशा उसी परिणाम को जन्म देगी।

जावास्क्रिप्ट में, ES2015 (ES6) मानक के साथ शुरू, स्ट्रिंग्स को सामान्य बनाने के लिए एक अंतर्निहित पद्धति है - String.prototyp.normalize ([form]) । आप इसे Node.js परिवेश और लगभग सभी आधुनिक ब्राउज़रों में उपयोग कर सकते हैं। इस पद्धति का form तर्क सामान्यीकरण प्रपत्र का स्ट्रिंग पहचानकर्ता है। डिफ़ॉल्ट एनएफसी फॉर्म है।

हम इस बार पहले से लागू उदाहरण पर लौटते हैं, सामान्यीकरण लागू करते हैं:

 const str = '\u0065\u0301' console.log(str == '\u00e9') // => false const normalized = str.normalize('NFC') console.log(normalized == '\u00e9') // => true console.log(normalized.length) // => 1 

परिणाम

यदि आप एक वेब एप्लिकेशन विकसित कर रहे हैं और उपयोगकर्ता इसमें क्या दर्ज कर रहा है, तो हमेशा प्राप्त टेक्स्ट डेटा को सामान्य करें। जावास्क्रिप्ट में, आप सामान्य करने के लिए मानक स्ट्रिंग विधि को सामान्य बनाने () का उपयोग कर सकते हैं।

प्रिय पाठकों! क्या आपने स्ट्रिंग्स के साथ समस्याओं का सामना किया है जिन्हें सामान्यीकरण के साथ हल किया जा सकता है?