Mojibakes कहाँ से आते हैं? एनकोडिंग की अनिवार्यता

यह आलेख वर्ण एन्कोडिंग के पीछे मूल अवधारणाओं की पड़ताल करता है और फिर एन्कोडिंग सिस्टम के तकनीकी विवरण में गहराई से प्रवेश करता है।

यदि आपके पास वर्ण एन्कोडिंग का सिर्फ एक बुनियादी ज्ञान है और एन्कोडिंग सिस्टम के बीच के अंतर, आवश्यकताओं को बेहतर ढंग से समझना चाहते हैं, तो हम कभी-कभी निरर्थक पाठ और विभिन्न एन्कोडिंग सिस्टम आर्किटेक्चर के पीछे के सिद्धांतों को समाप्त करते हैं, फिर पढ़ें।

वर्ण एन्कोडिंग को विस्तार से समझने के लिए कुछ व्यापक पढ़ने और समय का एक अच्छा हिस्सा चाहिए। मैंने आपको उस प्रयास में से कुछ को एक स्थान पर एक साथ लाकर आपको बचाने की कोशिश की है, जबकि मैं इस विषय की पूरी तरह से पृष्ठभूमि को मानता हूं।

मैं यह जानने जा रहा हूँ कि सिंगल-बाइट एन्कोडिंग (ASCII, Windows-1251 आदि) कैसे काम करते हैं, यूनिकोड कैसे आया, यूनिकोड-आधारित एनकोडिंग UTF-8, UTF-16 का इतिहास और वे कैसे भिन्न हैं, विभिन्न एन्कोडिंग, चरित्र एन्कोडिंग सिद्धांतों, और कैसे अक्षर एन्कोड और डिकोड किए गए हैं के लिए एक व्यावहारिक गाइड के बीच विशिष्ट विशेषताएं, संगतता और उसके अभाव।

जबकि चरित्र एन्कोडिंग एक अत्याधुनिक विषय नहीं हो सकता है, यह समझने में उपयोगी है कि यह अब कैसे काम करता है और बहुत समय बिताने के बिना अतीत में कैसे काम किया।

यूनिकोड का इतिहास

मुझे लगता है कि हमारी कहानी को उस समय से शुरू करना सबसे अच्छा है जब कंप्यूटर कहीं उन्नत नहीं थे और न ही हमारे जीवन का एक हिस्सा जैसा कि वे अब हैं। समय पर मानकों के साथ आने की कोशिश करने वाले डेवलपर्स और इंजीनियरों को यह अंदाजा नहीं था कि कंप्यूटर और इंटरनेट बेहद लोकप्रिय और व्यापक रूप में होंगे जैसा उन्होंने किया था। जब ऐसा हुआ, तो दुनिया को चरित्र निर्माण की आवश्यकता थी

लेकिन आपके पास एक कंप्यूटर स्टोर वर्ण या पत्र कैसे हो सकता है जब यह केवल लोगों और शून्य को समझे? इस आवश्यकता में से पहला 1-बाइट ASCII एन्कोडिंग उभरा, जबकि जरूरी नहीं कि पहला एन्कोडिंग, सबसे व्यापक रूप से इस्तेमाल किया गया था और बेंचमार्क सेट किया गया था। तो यह उपयोग करने के लिए एक अच्छा मानक है।

लेकिन ASCII क्या है? ASCII कोड में 8 बिट्स होते हैं। कुछ आसान अंकगणित से पता चलता है कि इस वर्ण सेट में 256 चिह्न (आठ बिट, शून्य और 2ith = 256) हैं।

सेट में पहले 7-बिट्स - 128 प्रतीकों (2⁷ = 128) का उपयोग लैटिन अक्षरों, नियंत्रण वर्णों (जैसे हार्ड लाइन ब्रेक, टैब और इतने पर) और व्याकरणिक प्रतीकों के लिए किया गया था। अन्य बिट्स राष्ट्रीय भाषाओं के लिए थे। इस तरह से पहले 128 अक्षर हमेशा समान होते हैं, और यदि आप अपनी मूल भाषा को एनकोड करना चाहते हैं तो अपने आप को शेष प्रतीकों की मदद करें।

इसने राष्ट्रीय एनकोडिंगों के एक विशाल भाग को जन्म दिया। आप इस तरह की स्थिति के साथ समाप्त होते हैं: कहते हैं कि आप रूस में एक पाठ फ़ाइल बना रहे हैं, जो डिफ़ॉल्ट रूप से विंडोज -1251 (विंडोज़ में उपयोग किया जाने वाला रूसी एन्कोडिंग) का उपयोग करेगा। और आप अपने दस्तावेज़ को रूस के बाहर किसी को भेजें, यूएस में कहें। यहां तक ​​कि अगर प्राप्तकर्ता रूसी जानता है कि वे भाग्य से बाहर होने जा रहे हैं जब वे अपने कंप्यूटर पर दस्तावेज़ खोलते हैं (वर्ड प्रोसेसिंग सॉफ्टवेयर के साथ डिफ़ॉल्ट कोड के रूप में एएससीआईआई का उपयोग करते हुए) क्योंकि वे रूसी अक्षरों के बजाय विचित्र रूप से विकृत वर्ण (मोज़िबेक) देखेंगे। । अधिक सटीक रूप से, कोई भी अंग्रेजी अक्षर ठीक दिखाई देगा, क्योंकि विंडोज -1251 और एएससीआईआई में पहले 128 प्रतीक समान हैं, लेकिन जहां भी रूसी पाठ है हमारे प्राप्तकर्ता का वर्ड प्रोसेसिंग सॉफ्टवेयर गलत एन्कोडिंग का उपयोग करेगा जब तक कि उपयोगकर्ता ने सही चरित्र को मैन्युअल रूप से सेट नहीं किया है। एन्कोडिंग।

राष्ट्रीय चरित्र कोड मानकों के साथ समस्या स्पष्ट है। और अंत में, इन राष्ट्रीय कोडों का गुणा करना शुरू हो गया, इंटरनेट का विस्फोट होना शुरू हो गया, और हर कोई इन अशोभनीय मोज़िबेक का उत्पादन किए बिना अपनी राष्ट्रीय भाषा में लिखना चाहता था।

इस बिंदु पर दो विकल्प थे - प्रत्येक देश के लिए एन्कोडिंग का उपयोग करें या ग्रह पर सभी पात्रों का प्रतिनिधित्व करने के लिए एक सार्वभौमिक चरित्र मानचित्र बनाएं।

ASCII पर एक छोटा प्राइमर

यह अत्यधिक लग सकता है, लेकिन अगर हम पूरी तरह से जा रहे हैं तो हमें सभी आधारों को कवर करना होगा।

ASCII तालिका में कॉलम के 3 समूह हैं:

• वर्ण का दशमलव मान
• चरित्र का षोडश आधारी मूल्य
• चरित्र के लिए ग्लिफ़ ही

मान लीजिए कि हम ASCII में "ओके" शब्द को एनकोड करना चाहते हैं। हेक्साडेसिमल में "ओ" अक्षर का दशमलव मान 111 और 6F है। बाइनरी में वह होगा - 01101111। "k" अक्षर दशमलव में 107 और हेक्स में 6B है, या - बाइनरी में 01101011 है। इसलिए ASCII में "ओके" शब्द 01101111 01101011 की तरह दिखेगा। डिकोडिंग प्रक्रिया इसके विपरीत होगी। हम 8 बिट्स से शुरू करते हैं, उन्हें दशमलव एन्कोडिंग में अनुवाद करते हैं और वर्ण संख्या के साथ समाप्त करते हैं, और संबंधित प्रतीक के लिए तालिका खोजते हैं।

यूनिकोड

ऊपर से, यह बहुत स्पष्ट होना चाहिए कि एक एकल सामान्य चरित्र मानचित्र की आवश्यकता क्यों थी। लेकिन यह कैसा दिखेगा? इसका उत्तर यूनिकोड है जो वास्तव में एन्कोडिंग नहीं है, बल्कि एक चरित्र सेट है। इसमें 1,114,112 पद या कोड पॉइंट शामिल हैं, जिनमें से अधिकांश अभी भी खाली हैं, इसलिए यह संभव नहीं है कि सेट को विस्तारित करने की आवश्यकता होगी।

यूनीकोड ​​मानक में 17 विमान शामिल हैं जिनमें 65,536 कोड अंक हैं। प्रत्येक विमान में प्रतीकों का एक समूह होता है। विमान शून्य मूल बहुभाषी विमान है जहां हम सभी आधुनिक वर्णमाला में सबसे अधिक उपयोग किए जाने वाले वर्ण पाते हैं। दूसरे विमान में मृत भाषाओं के पात्र हैं। यहां तक ​​कि दो विमान भी निजी उपयोग के लिए आरक्षित हैं। अधिकांश विमान अभी भी खाली हैं।

यूनिकोड के पास 10FFFF (हेक्साडेसिमल में) के माध्यम से 0 के कोड अंक हैं।

अक्षर "U +" से पहले हेक्साडेसिमल प्रारूप में एन्कोड किए गए हैं। इसलिए, उदाहरण के लिए, पहले मूल विमान में U + 0000 से U + FFFF (0 से 65,535) अक्षर शामिल हैं, और ब्लॉक 17 में U + 10FFFF (1,048,576 से 1,114,111) के माध्यम से U + 100000 शामिल हैं।

इसलिए अब कई एन्कोडिंग के एक menagerie के बजाय, हमारे पास एक सर्वव्यापी तालिका है जो सभी प्रतीकों और वर्णों को एन्कोड करता है जिसकी हमें कभी आवश्यकता हो सकती है। लेकिन यह इसके दोषों के बिना नहीं है। जबकि प्रत्येक वर्ण पहले एक बाइट द्वारा एन्कोड किया गया था, अब इसे बाइट्स के विभिन्न नंबरों का उपयोग करके एन्कोड किया जा सकता है। उदाहरण के लिए, आपको अंग्रेजी वर्णमाला के सभी अक्षरों को एनकोड करने के लिए केवल एक बाइट की आवश्यकता होती थी। उदाहरण के लिए, यूनिकोड में लैटिन अक्षर "ओ" यू + 006 एफ है। दूसरे शब्दों में, ASCII में समान संख्या - हेक्साडेसिमल में 6F और बाइनरी में 111। लेकिन प्रतीक "यू + 103 डी 5" (फारसी संख्या "100") को एनकोड करने के लिए, हमें हेक्स में 103 डी 5 और दशमलव में 66,517 की आवश्यकता है, और अब हमें तीन बाइट्स की आवश्यकता है।

इस जटिलता को यूटीएफ -8 और यूटीएफ -16 जैसे यूनिकोड एनकोडिंग द्वारा संबोधित किया जाना चाहिए। और आगे हम उन पर एक नज़र डालेंगे।

UTF-8

यूटीएफ -8 चर-चौड़ाई एन्कोडिंग प्रणाली का एक यूनिकोड एन्कोडिंग है जिसका उपयोग किसी भी यूनिकोड प्रतीक को प्रदर्शित करने के लिए किया जा सकता है।

जब हम चर-चौड़ाई के बारे में बात करते हैं, तो हमारा क्या मतलब है? सबसे पहले, हमें यह समझने की आवश्यकता है कि एन्कोडिंग में संरचनात्मक (परमाणु) इकाई एक बाइट है। चर-चौड़ाई एन्कोडिंग का मतलब है कि विभिन्न वर्णों की इकाइयों, या बाइट्स का उपयोग करके एक वर्ण को एन्कोड किया जा सकता है। उदाहरण के लिए, लैटिन अक्षरों को एक बाइट के साथ एन्कोड किया गया है, और दो के साथ सिरिलिक पत्र।

इससे पहले कि हम आगे बढ़ें, ASCII और UTF के बीच संगतता के बारे में थोड़ा अलग।

तथ्य यह है कि लैटिन अक्षर और मुख्य नियंत्रण वर्ण जैसे कि लाइन ब्रेक, टैब स्टॉप आदि। इसमें एक बाइट होता है जो यूटीएफ-एन्कोडिंग को ASCII के साथ संगत बनाता है। दूसरे शब्दों में, लैटिन लिपि और नियंत्रण वर्ण ASCII और UTF में समान कोड बिंदुओं में पाए जाते हैं और दोनों में एक बाइट का उपयोग करके एन्कोड किया जाता है, और इसलिए पिछड़े संगत हैं।

चलो पहले से हमारे ASCII उदाहरण से अक्षर "ओ" का उपयोग करें। याद रखें कि ASCII तालिका में इसकी स्थिति 111 या 01101111 बाइनरी में है। यूनिकोड तालिका में, यह U + 006F या 01101111 है। और अब चूंकि UTF एक चर-चौड़ाई एन्कोडिंग प्रणाली है "ओ" एक बाइट होगा। दूसरे शब्दों में, "ओ" को दोनों में समान रूप से दर्शाया जाएगा। और वर्ण 0 - 128 के लिए भी यही है। यदि आपके दस्तावेज़ में अंग्रेजी अक्षर हैं, तो आपको यूटीएफ -8, यूटीएफ -16, या एएससीआईआई का उपयोग करके इसे खोलने पर अंतर दिखाई नहीं देगा और केवल तभी अंतर दिखाई देगा जब आपने काम करना शुरू किया हो। राष्ट्रीय आवासों के साथ।

आइए देखें कि मिश्रित अंग्रेजी / रूसी वाक्यांश "हैलो वर्ल्ड" तीन अलग-अलग एन्कोडिंग सिस्टम में कैसे दिखाई देगा: विंडोज -1251 (रूसी एन्कोडिंग), आईएसओ-8859-1 (पश्चिमी यूरोपीय भाषाओं के लिए एन्कोडिंग सिस्टम), यूटीएफ -8 (यूनिकोड) । यह उदाहरण बता रहा है क्योंकि हमारे पास दो अलग-अलग भाषाओं में एक वाक्यांश है।

अब आइए विचार करें कि ये एन्कोडिंग सिस्टम कैसे काम करते हैं और कैसे हम एक एन्कोडिंग से दूसरे में टेक्स्ट की एक लाइन का अनुवाद कर सकते हैं, और क्या होता है यदि अक्षर अनुचित तरीके से प्रदर्शित किए जाते हैं, या यदि हम सिस्टम में अंतर के कारण ऐसा नहीं कर सकते हैं।

मान लेते हैं कि हमारा मूल वाक्यांश Windows-1251 एन्कोडिंग के साथ लिखा गया था। जब हम ऊपर दी गई तालिका को देखते हैं तो हम दशमलव या हेक्स से दशमलव में अनुवाद करके देख सकते हैं कि हमें विंडोज -1251 का उपयोग करके बाइनरी में नीचे कोडिंग मिलती है।

01001000 01100101 01101100 01101100 01101111 00100000 11101100 11101000 11110000

इसलिए अब हमारे पास विंडोज -१२१ एन्कोडिंग में "हैलो वर्ल्ड" वाक्यांश है।

अब कल्पना करें कि हमारे पास एक टेक्स्ट फाइल है लेकिन हमें नहीं पता कि टेक्स्ट को किस एन्कोडिंग सिस्टम में सहेजा गया था। हम मान लेते हैं कि यह ISO-8859-1 में इनकोडेड है और इस एन्कोडिंग सिस्टम का उपयोग करके इसे हमारे वर्ड प्रोसेसर में खोलें। जैसा कि हमने पहले देखा, कुछ अक्षर ठीक दिखाई देते हैं, क्योंकि वे इस एन्कोडिंग सिस्टम में मौजूद हैं, और यहां तक ​​कि समान कोड बिंदुओं में भी हैं, लेकिन रूसी शब्द "दुनिया" में वर्ण बहुत अच्छी तरह से काम नहीं करते हैं। ये वर्ण एन्कोडिंग सिस्टम में मौजूद नहीं हैं, और उनके स्थानों, या कोड बिंदुओं में, ISO-8859-1 में हम पूरी तरह से अलग अक्षर पाते हैं। तो "m" कोड बिंदु 236, "और" 232 है, और "p" 240 है। लेकिन ISO-8859-1 में ये कोड बिंदु "ì" (236), "è" (232) और " ð ”(240)।

इसलिए, हमारी मिश्रित भाषा का वाक्यांश "हैलो वर्ल्ड" विंडोज -1251 में इनकोड किया गया है और ISO-8859-1 में पढ़ा गया है, "हैलो “èð" जैसा दिखेगा। हमारे पास आंशिक संगतता है और हम एक वाक्यांश को दूसरे में ठीक से सिस्टम में एनकोडेड प्रदर्शित नहीं कर सकते, क्योंकि हमें जिन प्रतीकों की आवश्यकता है, वे दूसरे एन्कोडिंग में मौजूद नहीं हैं।

हमें एक यूनिकोड एन्कोडिंग की आवश्यकता है - हमारे मामले में, हम एक उदाहरण के रूप में UTF-8 का उपयोग करेंगे। हमने पहले ही चर्चा की है कि UTF-8 में वर्ण 1 से 4 बाइट्स के बीच ले जा सकते हैं, लेकिन एक अन्य लाभ यह है कि UTF, दो पूर्व एन्कोडिंग सिस्टमों के विपरीत, 256 प्रतीकों तक सीमित नहीं है, लेकिन इसमें यूनिकोड वर्ण सेट में सभी प्रतीक सम्‍मिलित हैं ।

यह कुछ इस तरह से काम करता है: प्रत्येक एन्कोडेड वर्ण का पहला बिट ग्लिफ़ या प्रतीक का नहीं, बल्कि एक विशिष्ट बाइट से मेल खाता है। इसलिए, यदि पहला बिट शून्य है, तो हम जानते हैं कि एन्कोडेड प्रतीक केवल एक बाइट का उपयोग करता है - जो सेट को DCII के साथ संगत बनाता है। यदि हम ASCII प्रतीक तालिका को करीब से देखते हैं, तो हम देखते हैं कि पहले 128 प्रतीकों (अंग्रेजी वर्णमाला, नियंत्रण वर्ण और विराम चिह्न) को बाइनरी में व्यक्त किया गया है, वे सभी 0 के एक बिट मान से शुरू होते हैं (ध्यान दें कि यदि आप वर्णों का अनुवाद करते हैं एक ऑनलाइन कनवर्टर या पहले शून्य उच्च-क्रम बिट के समान कुछ का उपयोग करके बाइनरी को त्याग दिया जा सकता है, जो थोड़ा भ्रमित हो सकता है)।

01001000 - पहला-बिट मान 0 है, इसलिए 1 बाइट 1 वर्ण एन्कोड करता है -> "एच"।

01100101 - पहला-बिट मान 0 है, इसलिए 1 बाइट 1 वर्ण एनकोड करता है-> "ई"।

यदि पहले बिट का मान शून्य नहीं है, तो प्रतीक को कई बाइट्स में एन्कोड किया जाएगा।

दो-बाइट एन्कोडिंग में पहले तीन बिट मूल्यों के लिए 110 होंगे।

11010000 10111100 - मार्कर बिट्स 110 और 10 हैं, इसलिए हम 1 वर्ण को एन्कोड करने के लिए 2 बाइट्स का उपयोग करते हैं। इस मामले में दूसरा बाइट हमेशा "10." से शुरू होता है, इसलिए हम नियंत्रण बिट्स (लीड बिट्स जो लाल और हरे रंग में हाइलाइट किए जाते हैं) को छोड़ देते हैं और शेष कोड (10000111100) को देखते हैं, और हेक्स में परिवर्तित करते हैं (043) -> यू + 043 सी जो हमें यूनिकोड में रूसी "एम" देता है।

तीन-बाइट चरित्र के लिए प्रारंभिक बिट्स 1110 हैं।

11101000 10000111 101010101 - हम नियंत्रण बिट्स को छोड़कर सभी बिट्स को जोड़ते हैं और हम पाते हैं कि हेक्स में हमारे पास 103B5, U + 103D5 - प्राचीन फारसी नंबर एक सौ (10000001111010101) है।

चार-बाइट चरित्र एन्कोडिंग सीसा बिट्स 11110 से शुरू होता है।

11110100 10001111 10111111 10111111 - U + 10FFFF जो यूनिकोड सेट (10000111111111111111111) में अंतिम उपलब्ध चरित्र है।

अब, हम आसानी से UTF-8 एन्कोडिंग में अपनी बहु-भाषा वाक्यांश लिख सकते हैं।

UTF-16

UTF-16 एक अन्य चर-चौड़ाई एन्कोडिंग है। UTF-16 और UTF-8 के बीच मुख्य अंतर यह है कि UTF-16 1 बाइट (8 बिट्स) के बजाय प्रति कोड यूनिट 2 बाइट्स (16 बिट्स) का उपयोग करता है। दूसरे शब्दों में, यूटीएफ -16 में एन्कोड किए गए किसी भी यूनिकोड चरित्र को दो या चार बाइट्स हो सकते हैं। चीजों को सरल रखने के लिए, मैं इन दो बाइट्स को एक कोड इकाई के रूप में संदर्भित करूंगा। इसलिए, UTF-16 में किसी एक वर्ण को एक या दो कोड इकाइयों का उपयोग करके दिखाया जा सकता है।

आइए एक कोड यूनिट का उपयोग करके एन्कोड किए गए प्रतीकों से शुरू करें। हम आसानी से गणना कर सकते हैं कि एक कोड इकाई के साथ 65,535 (216) वर्ण हैं, जो यूनिकोड के बुनियादी बहुभाषी विमान के साथ पूरी तरह से रेखाएं हैं। इस विमान के सभी पात्रों को UTF-16 में एक कोड यूनिट (दो बाइट्स) द्वारा दर्शाया जाएगा।

लैटिन अक्षर "ओ" - 00000000 01101111।

सिरिलिक पत्र "एम" - 00000100 00011100।

अब आइए बुनियादी बहुभाषी विमान के बाहर के पात्रों पर विचार करें। इन्हें दो कोड इकाइयों (4 बाइट्स) की आवश्यकता होती है और ये थोड़े अधिक जटिल तरीके से एन्कोडेड होते हैं।

सबसे पहले, हमें एक सरोगेट जोड़ी की अवधारणा को परिभाषित करने की आवश्यकता है। एक सरोगेट जोड़ी दो कोड इकाइयाँ होती हैं जिनका उपयोग किसी एकल वर्ण (कुल 4 बाइट्स) को एन्कोड करने के लिए किया जाता है। यूनिकोड चरित्र सेट में सरोगेट जोड़े के लिए डीएफएफएफ के लिए एक विशेष रेंज डी 800 है। इसका मतलब यह है कि हेक्साडेसिमल में एक सरोगेट जोड़ी को बाइट्स में परिवर्तित करते समय, हम इस सीमा में एक कोड बिंदु के साथ समाप्त होते हैं जो एक अलग चरित्र के बजाय एक सरोगेट जोड़ी है।

10000 - 10FFFF (यानी, एक से अधिक कोड यूनिट के लिए जिन वर्णों की आवश्यकता होती है) में एक प्रतीक को एनकोड करने के लिए हम निम्न कार्य करते हैं:

1. कोड बिंदु से 10000 (हेक्स) घटाएं (यह 10000 - 10FFFF में सबसे कम कोड बिंदु है)।

   
   

2. हम FFFF से अधिक नहीं, एक 20-बिट संख्या के साथ समाप्त होते हैं।

   
   

3. उच्च-क्रम वाले 10 बिट्स जो हम समाप्त करते हैं, उन्हें D800 (यूनिकोड में सरोगेट जोड़ी रेंज में सबसे कम कोड बिंदु) में जोड़ा जाता है।

   
   

4. अगले 10 बिट DC00 (सरोगेट पेयर रेंज से भी) में जोड़े जाते हैं।

   
   

5. अगला, हम 2 सरोगेट 16-बिट कोड इकाइयों के साथ समाप्त होते हैं, जिनमें से पहले 6 बिट्स एक सरोगेट जोड़ी के हिस्से के रूप में इकाई को परिभाषित करते हैं।

   
   

6. प्रत्येक सरोगेट में दसवीं बिट जोड़ी के क्रम को परिभाषित करता है। यदि हमारे पास "1" है तो यह अग्रणी या उच्च सरोगेट है, और यदि हमारे पास "0" है तो यह अनुगामी या निम्न पूछताछ है।

   
   

नीचे दिए गए उदाहरण के साथ चित्रित करने पर यह थोड़ा अधिक समझ में आएगा।

चलो सांकेतिक शब्दों में बदलना और फिर फारसी संख्या एक सौ (U + 103D5) को डिकोड करें:

1. 103D5 - 10000 = 3 डी 5।

   
   

2. 3D5 = 0000000000 1111010101 (उच्च 10 बिट्स शून्य हैं, और जब हेक्साडेसिमल में परिवर्तित होते हैं तो हम "0" (पहले दस), और 3 डी 5 (दूसरे दस) के साथ समाप्त हो जाते हैं।

   
   

3. 0 + D800 = D800 (1101100000000000) पहले 6 बिट्स हमें बताते हैं कि यह कोड बिंदु सरोगेट जोड़ी श्रेणी में आता है, दसवें बिट (दाएं से) का "0" मान है, इसलिए यह उच्च सरोगेट है।

   
   

4. 3D5 + DC00 = DFD5 (1101111111010101) पहले 6 बिट्स हमें बताते हैं कि यह कोड प्वाइंट सरोगेट पेयर रेंज में आता है, दसवां बिट (दाएं से) एक "1" है, इसलिए हम जानते हैं कि यह कम सरोगेट है।

   
   

5. परिणामी वर्ण UTF-16 में एन्कोड किया गया - 1101100000000000 1101111111010101 - जैसा दिखता है।

   
   

अब चलो चरित्र को डिकोड करते हैं। मान लें कि हमारे पास निम्नलिखित कोड बिंदु हैं - 1101100000100010 1101111010001000:

1. हम हेक्साडेसिमल = D822 DE88 में परिवर्तित होते हैं (दोनों कोड अंक सरोगेट जोड़ी रेंज में आते हैं, इसलिए हम जानते हैं कि हम एक सरोगेट जोड़ी के साथ काम कर रहे हैं)।

   
   

2. 1101100000100010 - दसवां बिट (दाईं ओर से) एक "0" है, इसलिए यह उच्च सरोगेट है।

   
   

3. 1101111010001000 - दसवां बिट (दाईं ओर से) एक "1" है, इसलिए यह कम सरोगेट है।

   
   

4. हम पहचानने वाले 6 बिट्स को सरोगेट के रूप में अनदेखा करते हैं और 0000100010 1010001000 (8A88) के साथ छोड़ दिया जाता है।

   
   

5. हम 10000 (सरोगेट रेंज में सबसे कम कोड बिंदु) 8A88 + 10000 = 18A88 जोड़ते हैं।

   
   

6. हम यू + 18 ए 88 = तांगुत घटक -649 के लिए यूनिकोड तालिका को देखते हैं।

   
   

कुडोस सभी के लिए जो इसे पढ़ते हैं!

मुझे आशा है कि यह आपको बहुत ऊब गए बिना जानकारीपूर्ण हो गया है।

आप उपयोगी भी पा सकते हैं:

यूनिकोड वर्ण सेट

सामग्री स्थानीयकरण के लिए रणनीतियाँ: आईपी- या ब्राउज़र-आधारित

अनुवादक के बारे में

Alconost 70+ भाषाओं में ऐप्स , गेम्स , वीडियो और वेबसाइटों के लिए स्थानीयकरण सेवाओं का वैश्विक प्रदाता है। हम मूल-भाषी भाषाविदों, भाषाई परीक्षण, क्लाउड-आधारित वर्कफ़्लो, निरंतर स्थानीयकरण, परियोजना प्रबंधन 24/7, और स्ट्रिंग संसाधनों के किसी भी प्रारूप के साथ काम करते हैं। हम Google Play और App Store के लिए विज्ञापन और शैक्षिक वीडियो और चित्र, टीज़र, व्याख्याकार और ट्रेलर भी बनाते हैं।