टेक्स्ट एनकोडिंग कैसे काम करती है। "मगरमच्छ" कहाँ से आते हैं। कोडिंग के सिद्धांत। सामान्यीकरण और विस्तृत विश्लेषण

इस लेख का उद्देश्य एक साथ पाठ एन्कोडिंग के सिद्धांतों और तंत्र को इकट्ठा करना, इस तंत्र को अलग करना और समझाना है। यह उन लोगों के लिए उपयोगी होगा जो केवल मोटे तौर पर कल्पना करते हैं कि पाठ एन्कोडिंग क्या हैं और वे कैसे काम करते हैं, वे एक दूसरे से कैसे भिन्न होते हैं, कभी-कभी अपठनीय वर्ण क्यों दिखाई देते हैं, जो एन्कोडिंग सिद्धांत अलग-अलग एन्कोडिंग हैं।

इस मुद्दे की विस्तृत जानकारी प्राप्त करने के लिए, आपको एक से अधिक लेखों को पढ़ना और लाना होगा और इस पर काफी समय देना होगा। इस सामग्री में, यह सब एक साथ रखा गया है और, सिद्धांत रूप में, समय बचाना चाहिए और मेरी राय में विश्लेषण काफी विस्तृत हो गया है।

कट के तहत क्या होगा: एकल बाइट एनकोडिंग (एएससीआईआई, विंडोज -1251, आदि) के संचालन का सिद्धांत, यूनिकोड की उपस्थिति के लिए आवश्यक शर्तें, यूनिकोड क्या है, यूनिकोड एनकोडर यूटीएफ -8, यूटीएफ -16, उनके अंतर, प्रमुख विशेषताएं, संगतता और विभिन्न एन्कोडिंग की असंगति, चरित्र एन्कोडिंग के सिद्धांत, एन्कोडिंग और डिकोडिंग का व्यावहारिक विश्लेषण।

एन्कोडिंग के साथ मुद्दा अब निश्चित रूप से प्रासंगिकता खो चुका है, लेकिन फिर भी मुझे लगता है कि यह जानना अतिश्योक्तिपूर्ण नहीं होगा कि वे अब कैसे काम करते हैं और उन्होंने पहले कैसे काम किया।

यूनिकोड पूर्वापेक्षाएँ

मुझे लगता है कि यह उस समय से शुरू होने लायक है जब कम्प्यूटरीकरण अभी तक विकसित नहीं हुआ था और केवल गति प्राप्त कर रहा था। तब डेवलपर्स और मानककर्ताओं ने यह नहीं सोचा था कि कंप्यूटर और इंटरनेट इतनी बड़ी लोकप्रियता और व्यापकता प्राप्त करेंगे। दरअसल तब पाठ को एनकोड करने की जरूरत पड़ी। कंप्यूटर में अक्षरों को किस रूप में संग्रहीत करना आवश्यक था, और वह (कंप्यूटर) केवल और शून्य को समझता है। इसलिए एक-बाइट ASCII एन्कोडिंग विकसित किया गया था (सबसे अधिक संभावना है कि यह पहली एन्कोडिंग नहीं है, लेकिन यह सबसे आम और सांकेतिक है, इसलिए हम इसे एक संदर्भ के रूप में मानेंगे)। वह क्या है? इस एन्कोडिंग में प्रत्येक वर्ण 8 बिट्स के साथ एन्कोडेड है। यह गणना करना आसान है कि, इसके आधार पर, एन्कोडिंग में 256 वर्ण (आठ बिट्स, शून्य या 2 2 ⁸ = 256) हो सकते हैं।

इस एन्कोडिंग में पहले 7 बिट्स (128 वर्ण 2 ⁷ = 128) लैटिन वर्ण, नियंत्रण वर्ण (जैसे लाइन ब्रेक, टैब, आदि) और व्याकरण वर्ण को दिए गए थे। बाकी राष्ट्रीय भाषाओं के लिए आरक्षित थे। यही है, यह पता चला है कि पहले 128 अक्षर हमेशा समान होते हैं, और यदि आप अपनी मूल भाषा को सांकेतिक शब्दों में बदलना चाहते हैं, तो कृपया शेष क्षमता का उपयोग करें। दरअसल, राष्ट्रीय कोडिंग का एक बड़ा चिड़ियाघर दिखाई दिया। और अब आप स्वयं कल्पना कर सकते हैं, उदाहरण के लिए, जब मैं रूस में होता हूं, तो मैं एक टेक्स्ट डॉक्यूमेंट लेता हूं और बनाता हूं, डिफ़ॉल्ट रूप से इसे विंडोज -1251 एन्कोडिंग (विंडोज में इस्तेमाल होने वाली रूसी एन्कोडिंग) में बनाया जाता है और किसी को भेजा जाता है, उदाहरण के लिए, यूएसए में। यहां तक ​​कि तथ्य यह है कि मेरा वार्ताकार जानता है कि रूसी उसकी मदद नहीं करेगा, क्योंकि जब वह अपने कंप्यूटर पर मेरे दस्तावेज़ खोलता है (उसी ASCII के डिफ़ॉल्ट एन्कोडिंग के साथ संपादक में), वह रूसी पत्र नहीं, बल्कि क्रैकोज़ैब्री देखेंगे। अधिक सटीक होने के लिए, दस्तावेज़ में वे स्थान जो मैं अंग्रेजी में लिखता हूं, बिना समस्याओं के प्रदर्शित होंगे, क्योंकि विंडोज -1251 और एएससीआईआई एन्कोडिंग के पहले 128 अक्षर समान हैं, लेकिन जहां मैंने रूसी पाठ लिखा है, अगर यह अपने संपादक में सही एन्कोडिंग का संकेत नहीं देता है, एक मगरमच्छ के रूप में।

मुझे लगता है कि राष्ट्रीय एन्कोडिंग के साथ समस्या समझ में आती है। वास्तव में, इन राष्ट्रीय राशियों के बहुत सारे समूह हैं, और इंटरनेट बहुत विस्तृत हो गया है, और इसमें हर कोई अपनी भाषा में लिखना चाहता था और अपनी भाषा को टेढ़े बालों की तरह नहीं देखना चाहता था। एन्कोडिंग के प्रत्येक पृष्ठ के लिए संकेत करने के लिए, या दुनिया के सभी पात्रों के लिए आम पात्रों की एक तालिका बनाने के लिए दो तरीके थे। दूसरा विकल्प जीता, इसलिए हमने एक यूनिकोड चरित्र तालिका बनाई।

ASCII छोटी कार्यशाला

यह प्राथमिक लग सकता है, लेकिन जब से मैंने सब कुछ विस्तार से समझाने का फैसला किया है, तब यह आवश्यक है।

यहाँ ASCII वर्ण तालिका है:



यहाँ हमारे 3 कॉलम हैं:

• दशमलव वर्ण संख्या
• हेक्साडेसिमल प्रारूप में वर्ण संख्या
• प्रतीक का ही प्रतिनिधित्व।

इसलिए, स्ट्रिंग को "ओके" (ASCII) एनकोड करें। चरित्र "ओ" (संलग्न) दशमलव में 111 की स्थिति और हेक्साडेसिमल में 6F है। 01101111 इसे एक बाइनरी सिस्टम में अनुवाद करें - 01101111 । प्रतीक "के" ( 01101011 ) - दशमलव में स्थिति 107 और हेक्साडेसिमल में 6B , बाइनरी में अनुवाद - 01101011 । ASCII में एन्कोडेड कुल स्ट्रिंग "ओके" इस तरह दिखेगा - 01101111 01101011 डिकोडिंग प्रक्रिया रिवर्स होगी। हम 8 बिट्स लेते हैं, उन्हें 10-दशमलव एन्कोडिंग में अनुवाद करते हैं, वर्ण संख्या प्राप्त करते हैं, तालिका को देखें कि यह किस प्रकार का चरित्र है।

यूनिकोड

वर्णों की दुनिया में सभी के लिए एक समान तालिका बनाने के लिए आवश्यक शर्तें के साथ। अब, वास्तव में, मेज पर ही। यूनिकोड - यह वह तालिका है जो (यह एन्कोडिंग नहीं है, बल्कि प्रतीक तालिका है)। इसमें 1,114,112 पद शामिल हैं। इन पदों में से अधिकांश अभी तक प्रतीकों से भरे नहीं हैं, इसलिए यह संभावना नहीं है कि इस स्थान को विस्तारित करने की आवश्यकता होगी।

यह कुल स्थान 17 ब्लॉकों, 65,536 वर्णों में विभाजित है। प्रत्येक ब्लॉक में पात्रों का अपना समूह होता है। शून्य ब्लॉक मूल एक है, इसमें सभी आधुनिक वर्णमाला के सबसे अधिक उपयोग किए जाने वाले वर्ण हैं। दूसरे खंड में विलुप्त भाषाओं के पात्र हैं। निजी उपयोग के लिए दो ब्लॉक आरक्षित हैं। अधिकांश ब्लॉक अभी तक भरे नहीं गए हैं।

यूनिकोड वर्णों की कुल क्षमता 0 से 10FFFF (हेक्साडेसिमल में) से है।

हेक्साडेसिमल अक्षर उपसर्ग "यू +" के साथ लिखे गए हैं। उदाहरण के लिए, पहले बेस ब्लॉक में U + 0000 से U + FFFF (0 से 65,535 तक) और अंतिम सत्रहवें ब्लॉक में U + 100,000 से U + 10FFFF (1,048,576 से 1,114-1111 तक) वर्ण शामिल हैं।

खैर अब, राष्ट्रीय एन्कोडिंग के चिड़ियाघर के बजाय, हमारे पास एक व्यापक तालिका है जिसमें सभी वर्ण जो हमारे लिए उपयोगी हो सकते हैं एन्क्रिप्टेड हैं। लेकिन कमियां भी हैं। यदि पहले प्रत्येक वर्ण को एक बाइट के साथ एन्कोड किया गया था, तो अब उसे अलग-अलग संख्या के बाइट्स के साथ एन्कोड किया जा सकता है। उदाहरण के लिए, अंग्रेजी वर्णमाला के सभी वर्णों को एनकोड करने के लिए, एक बाइट अभी भी पर्याप्त है, उदाहरण के लिए, अंग्रेजी में समान "ओ" वर्ण यूनिकोड U + 006F है, अर्थात्, ASCII के समान संख्या हेक्साडेसिमल में 6F और दशमलव में 111 है। लेकिन " यू + 103 डी 5 " चरित्र को एनकोड करने के लिए (यह प्राचीन फारसी नंबर एक सौ है) - हेक्साडेसिमल में 103 डी 5 और दशमलव में 66,517, यहां हमें तीन बाइट्स की आवश्यकता है।

यूटीएफ -8 और यूटीएफ -16 जैसे यूनिकोड एनकोडिंग को पहले से ही इस समस्या को हल करना चाहिए। आगे हम उनके बारे में बात करेंगे।

UTF-8

यूटीएफ -8 एक चर लंबाई यूनिकोड एन्कोडिंग है जिसका उपयोग किसी भी यूनिकोड चरित्र का प्रतिनिधित्व करने के लिए किया जा सकता है।

चर लंबाई के बारे में अधिक बात करते हैं, इसका क्या मतलब है? पहली बात यह है कि इस एन्कोडिंग की संरचनात्मक (परमाणु) इकाई एक बाइट है। तथ्य यह है कि एक चर का एन्कोडिंग लंबा है इसका मतलब है कि एक वर्ण एन्कोडिंग की संरचनात्मक इकाइयों की एक अलग संख्या के साथ एन्कोड किया जा सकता है, अर्थात्, एक अलग संख्या के बाइट्स के साथ। उदाहरण के लिए, लैटिन एक बाइट में एन्कोडेड है, और दो बाइट्स में सिरिलिक।

विषय से थोड़ा सा पीछे हटना, एएससीआईआई और यूटीएफ की संगतता के बारे में लिखना आवश्यक है

तथ्य यह है कि लैटिन अक्षर और बुनियादी नियंत्रण संरचनाएं, जैसे कि लाइन ब्रेक, टैब आदि। एक बाइट के साथ एन्कोडेड utf एनकोडिंग को ASCII एनकोडिंग के साथ संगत बनाता है। यही है, वास्तव में, लैटिन और नियंत्रण संरचना ASCII और UTF दोनों में एक ही स्थान पर स्थित हैं, और तथ्य यह है कि वे वहां और एक बाइट द्वारा एन्कोड किए गए हैं यह संगतता सुनिश्चित करता है।

चलो ऊपर ASCII उदाहरण से "ओ" चरित्र लेते हैं। याद रखें कि ASCII वर्णों की तालिका में यह 111 पदों पर है, थोड़ा रूप में यह 01101111 होगा। यूनिकोड तालिका में, यह वर्ण U + 006F है, जो कि बिट रूप में 01101111 भी होगा। और अब, चूंकि यूटीएफ एक चर-लंबाई वाली एन्कोडिंग है, इसलिए यह चरित्र इसमें एक बाइट में एन्कोड किया जाएगा। यही है, दोनों सांकेतिक शब्दों में इस प्रतीक का प्रतिनिधित्व समान होगा। और इसलिए 0 से 128 तक वर्णों की पूरी श्रृंखला के लिए। अर्थात, यदि आपके दस्तावेज़ में अंग्रेजी पाठ है, तो आप अंतर नहीं देखेंगे यदि आप इसे UTF-8 और UTF-16 और ASCII एन्कोडिंग में खोलते हैं (उदाहरण के लिए, UTF-16 में ऐसे पात्र सभी हैं समान रूप से दो बाइट्स में एन्कोड किया जाएगा, इसलिए आप अंतर नहीं देखेंगे यदि आपका संपादक शून्य बाइट्स को अनदेखा करता है), और इसी तरह जब तक आप राष्ट्रीय वर्णमाला के साथ काम करना शुरू नहीं करते।

चलिए तुलना करते हैं कि "हैलो वर्ल्ड" वाक्यांश तीन अलग-अलग एन्कोडिंग में कैसा दिखेगा: Windows-1251 (रूसी एन्कोडिंग), ISO-8859-1 (पश्चिमी यूरोपीय भाषाओं का एन्कोडिंग), UTF-8 (यूनिकोड एन्कोडिंग)। इस उदाहरण का सार यह है कि वाक्यांश दो भाषाओं में लिखा गया है। आइए देखें कि यह अलग-अलग एन्कोडिंग में कैसे दिखेगा।


एन्कोडिंग ISO-8859-1 में ऐसे कोई अक्षर "m", "और" और "p" नहीं हैं।

अब एनकोडिंग के साथ काम करते हैं और देखते हैं कि एक स्ट्रिंग को एक एन्कोडिंग से दूसरे में कैसे परिवर्तित किया जाए और क्या होगा यदि रूपांतरण गलत है, या यह एन्कोडिंग के अंतर के कारण नहीं किया जा सकता है।

हम मानते हैं कि वाक्यांश मूल रूप से विंडोज -1251 में एन्कोडेड था। ऊपर दी गई तालिका के आधार पर, हम इस वाक्यांश को बाइनरी रूप में लिखते हैं, जो विंडोज़ -1251 में एन्कोडेड है। ऐसा करने के लिए, हमें केवल प्रतीकों को बाइनरी से दशमलव या हेक्साडेसिमल (उपरोक्त तालिका से) का अनुवाद करना होगा।

01001000 01100101 01101100 01101100 01101111 00100000 11101100 11101000 11110000
खैर, यह वाक्यांश है "हैलो वर्ल्ड" विंडोज -1251 में एन्कोड किया गया है।

अब कल्पना करें कि आपके पास पाठ के साथ एक फ़ाइल है, लेकिन पता नहीं है कि यह पाठ किस एन्कोडिंग में है। आप मान लेते हैं कि यह ISO-8859-1 में इनकोडेड है और इसे उस एन्कोडिंग में अपने संपादक में खोलें। जैसा कि ऊपर कहा गया है, प्रतीकों के एक हिस्से के साथ सब कुछ क्रम में है, वे इस एन्कोडिंग में हैं, और यहां तक ​​कि समान स्थानों में भी हैं, लेकिन "दुनिया" शब्द के प्रतीकों के साथ सब कुछ अधिक जटिल है। ये वर्ण इस एन्कोडिंग में नहीं हैं, और एन्कोडिंग ISO-8859-1 में उनके स्थान पूरी तरह से अलग वर्ण हैं। विशेष रूप से, "एम" स्थिति 236, "और" 232 है। "पी" 240 है। और ISO-8859-1 एन्कोडिंग में इन पदों पर निम्न वर्ण स्थिति 236 हैं - चरित्र "ì", 232 - "è", 240 - "ð"

इसलिए वाक्यांश "हैलो वर्ल्ड" विंडोज -1251 में एन्कोड किया गया और आईएसओ-8859-1 एन्कोडिंग में खोला गया, इस तरह दिखेगा: "हैलो :è Hello"। तो यह पता चला है कि ये दो एन्कोडिंग केवल आंशिक रूप से संगत हैं, और यह एक स्ट्रिंग को एक एन्कोडिंग से दूसरे में एन्कोड करने के लिए सही ढंग से काम नहीं करेगा, क्योंकि बस ऐसे कोई वर्ण नहीं हैं।

यहां यूनिकोड एनकोडिंग की आवश्यकता होगी, और विशेष रूप से इस मामले में, यूटीएफ -8 पर विचार करें। तथ्य यह है कि इसमें वर्ण 1 से 4 तक अलग-अलग बाइट्स के साथ एन्कोड किया जा सकता है जो हमने पहले ही पता लगा लिया है। अब यह कहने योग्य है कि UTF का उपयोग करके न केवल 256 वर्णों को एन्कोड किया जा सकता है, जैसा कि पिछले दो में है, लेकिन सभी यूनिकोड वर्णों को बस करें

यह निम्नानुसार काम करता है। एन्कोडिंग चरित्र के प्रत्येक बाइट का पहला बिट चरित्र के लिए स्वयं जिम्मेदार नहीं है, लेकिन बाइट का निर्धारण करने के लिए। यही है, उदाहरण के लिए, यदि अग्रणी (पहला) बिट शून्य है, तो इसका मतलब है कि एक चरित्र को एन्कोड करने के लिए केवल एक बाइट का उपयोग किया जाता है। जो ASCII के साथ संगतता प्रदान करता है। यदि आप ASCII वर्ण तालिका को ध्यान से देखते हैं, तो आप देखेंगे कि पहले 128 वर्ण (अंग्रेजी वर्णमाला, नियंत्रण वर्ण और विराम चिह्न) यदि उन्हें बाइनरी में परिवर्तित किया जाता है, तो सब कुछ एक शून्य बिट से शुरू होता है (सावधान रहें यदि आप वर्णों को द्विआधारी में अनुवाद करते हैं उदाहरण के लिए ऑनलाइन का उपयोग करके। कनवर्टर, फिर पहले शून्य अग्रणी बिट को त्याग दिया जा सकता है, जो भ्रामक हो सकता है)।

01001000 - पहला बिट शून्य है, फिर 1 बाइट 1 वर्ण एन्कोड करता है -> "एच"

01100101 - पहला बिट शून्य है, जिसका अर्थ है 1 बाइट 1 वर्ण एन्कोड करता है -> "ई"

यदि पहला बिट शून्य नहीं है, तो चरित्र कई बाइट्स में एन्कोडेड है।

डबल-बाइट वर्णों के लिए, पहले तीन बिट्स - 110 होना चाहिए

110 10000 10 111100 - 110 की शुरुआत में, फिर 2 बाइट्स 1 वर्ण को एनकोड करते हैं। इस मामले में दूसरा बाइट हमेशा 10 से शुरू होता है। कुल में, नियंत्रण बिट्स (प्रारंभिक वाले, जो लाल और हरे रंग में हाइलाइट किए जाते हैं) को छोड़ दें और शेष सभी 10000111100 ( 10000111100 ) ले लें, उन्हें हेक्साडेसिमल (043 - -> यू + 043 सी में यूनिकोड, प्रतीक "एम" में अनुवाद करें। "।

पहले बाइट में तीन-बाइट पात्रों के लिए, प्रमुख बिट्स 1110 हैं

1110 1000 10 000111 10 1010101 - हम नियंत्रण बिट्स को छोड़कर सब कुछ योग करते हैं और हमें लगता है कि हेक्साडेसिमल में यह 103V5 है, U + 103D5 प्राचीन फारसी अंक एक सौ ( 10000001111010101 ) है

पहली बाइट में चार-बाइट वाले पात्रों के लिए, प्रमुख बिट्स 11110 हैं

11110 100 10 001111 10 111111 10 111111 - यू + 11110 100 10 001111 10 111111 10 111111 एफएफएफ यूनिकोड तालिका में अंतिम वैध चरित्र है ( 100001111111111111111 )

अब, यदि वांछित है, तो हम अपने वाक्यांश को UTF-8 एन्कोडिंग में रिकॉर्ड कर सकते हैं।

UTF-16

UTF-16 भी एक चर लंबाई एन्कोडिंग है। UTF-8 से इसका मुख्य अंतर यह है कि इसमें संरचनात्मक इकाई एक नहीं बल्कि दो बाइट्स हैं। यही है, UTF-16 एन्कोडिंग में, किसी भी यूनिकोड वर्ण को दो या चार बाइट्स के साथ एन्कोड किया जा सकता है। स्पष्टता के लिए, मुझे इस तरह के बाइट्स की एक जोड़ी को एक कोड जोड़ी कहते हैं। इसके आधार पर, यूटीएफ -16 में एनकोड किए गए किसी भी यूनिकोड चरित्र को एक या दो जोड़ी के साथ एनकोड किया जा सकता है।

आइए उन पात्रों से शुरू करें जो एक कोड जोड़ी द्वारा एन्कोड किए गए हैं। यह गणना करना आसान है कि 65,535 ऐसे वर्ण (2v16) हो सकते हैं, जो पूरी तरह से बेस यूनिकोड ब्लॉक के साथ मेल खाते हैं। सभी वर्ण जो यूटीएफ -16 एन्कोडिंग में इस यूनिकोड ब्लॉक में हैं, उन्हें एक कोड जोड़ी (दो बाइट्स) के साथ एन्कोड किया जाएगा, यहां सब कुछ सरल है।

प्रतीक "ओ" (लैटिन) - 00000000 01101111
प्रतीक "एम" (सिरिलिक) - 00000100 00011100

अब बेस यूनिकोड रेंज के बाहर के पात्रों पर विचार करें। उनके एन्कोडिंग के लिए, दो कोड जोड़े (4 बाइट्स) की आवश्यकता होती है। और उन्हें कोड करने के लिए तंत्र थोड़ा अधिक जटिल है, चलो क्रम में चलते हैं।

शुरू करने के लिए, हम एक सरोगेट जोड़ी की अवधारणाओं को पेश करते हैं। एक सरोगेट जोड़ी दो कोड जोड़े होते हैं जिनका उपयोग एक वर्ण (कुल 4 बाइट) को एन्कोड करने के लिए किया जाता है। ऐसे सरोगेट जोड़े के लिए, D800 से DFFF तक की एक विशेष रेंज यूनिकोड तालिका में दी गई है। इसका मतलब यह है कि जब एक कोड जोड़ी को बाइट फॉर्म से हेक्साडेसिमल में परिवर्तित करते हैं, तो आपको इस सीमा से एक संख्या मिलती है, तो यह एक स्वतंत्र चरित्र नहीं है, बल्कि एक सरोगेट जोड़ी है।

10000 - 10FFFF (जो एक ऐसा चरित्र है जिसके लिए आपको एक से अधिक कोड जोड़ी का उपयोग करने की आवश्यकता है) से किसी वर्ण को एनकोड करने के लिए:

1. वर्ण कोड से 10000 (हेक्साडेसिमल) घटाएँ (यह 10000 की छोटी संख्या है - 10FFFF )
2. पहले बिंदु के परिणामस्वरूप, FFFFF से अधिक कोई संख्या प्राप्त नहीं की जाएगी, जिसमें 20 बिट्स होंगे
3. प्राप्त संख्या के प्रमुख 10 बिट्स को D800 (यूनिकोड में सरोगेट जोड़े की सीमा की शुरुआत) के साथ सम्‍मिलित किया गया है।
4. अगले 10 बिट DC00 के साथ सम्‍मिलित हैं (सरोगेट जोड़े की सीमा से एक नंबर भी)
5. उसके बाद हमें 16 बिट्स में से 2 सरोगेट जोड़े मिलते हैं, प्रत्येक जोड़ी में पहले 6 बिट्स यह निर्धारित करने के लिए जिम्मेदार हैं कि यह एक सरोगेट है,
6. प्रत्येक स्थान पर दसवां बिट अपने आदेश के लिए जिम्मेदार है; यदि यह 1 है, तो यह पहला विकल्प है, यदि 0 है, तो दूसरा है

हम व्यवहार में इसका विश्लेषण करेंगे, मुझे लगता है कि यह स्पष्ट हो जाएगा।

उदाहरण के लिए, हम प्रतीक को एन्क्रिप्ट करते हैं, और फिर इसे डिक्रिप्ट करते हैं। प्राचीन फ़ारसी संख्या एक सौ (U + 103D5) लें:

1. 103D5 - 10000 = 3 डी 5
2. 3D5 = 0000000000 1111010101 (अग्रणी 10 बिट शून्य हो गए, हम इसे हेक्साडेसिमल नंबर पर लाते हैं, हमें 0 (पहले दस), 3 डी 5 (दूसरा दस) मिलता है)
3. 0 + D800 = D800 ( 110110 0 000000000 ) पहले 6 बिट्स निर्धारित करते हैं कि सरोगेट जोड़े की सीमा से दसवें बिट (दाईं ओर) की संख्या शून्य है, फिर यह पहला सरोगेट है
4. 3D5 + DC00 = DFD5 ( 110111 1 111010101 ) पहले 6 बिट्स निर्धारित करते हैं कि सरोगेट जोड़े की सीमा में संख्या दसवीं बिट है (दाईं ओर) एक है, फिर यह दूसरा सरोगेट है
5. UTF-16 में यह वर्ण 1101100000000000 1101111111010101

अब विपरीत को डिकोड करें। मान लीजिए कि हमारे पास ऐसा कोड है - 1101100000100010 1101111010001000:

1. हेक्साडेसिमल रूप में अनुवाद करें = D822 DE88 (दोनों मूल्य सरोगेट जोड़े की सीमा से हैं, इसलिए हमारे पास एक सरोगेट जोड़ी है)
2. 110110 0 000100010 - दसवां बिट (दाईं ओर) शून्य है, फिर पहला विकल्प
3. 110111 1 010001000 - दसवां बिट (दाईं ओर) एक है, फिर दूसरा स्थानापन्न
4. हम सरोगेट का निर्धारण करने के लिए जिम्मेदार लोगों के 6 बिट्स को त्याग देते हैं, हमें 0000100010 1010001000 ( 8A88 ) मिलते हैं
5. 10,000 (कम सरोगेट रेंज) जोड़ें 8A88 + 10000 = 18A88
6. यूनिकोड तालिका में वर्ण U + 18A88 = स्पर्शुत घटक -649 देखें। टंगुट लिपि के घटक।

उन लोगों के लिए धन्यवाद जो अंत तक पढ़ने में सक्षम थे, मुझे आशा है कि यह उपयोगी था और बहुत उबाऊ नहीं था।

इस विषय पर कुछ रोचक लिंक इस प्रकार हैं:
habr.com/en/post/158895 - एन्कोडिंग पर उपयोगी सामान्य जानकारी
habr.com/en/post/312642 - यूनिकोड के बारे में
unicode-table.com/ru - यूनिकोड वर्ण तालिका ही

खैर, वास्तव में आप उसके बिना कहाँ होंगे
en.wikipedia.org/wiki/%D0%AE%D0%BD%D0%B8%D0%BA%D0%BE%D0%B4 - यूनिकोड
en.wikipedia.org/wiki/ASCII - ASCII
en.wikipedia.org/wiki/UTF-8 - UTF-8
en.wikipedia.org/wiki/UTF-16 - UTF-16