👼🏻 ⛹🏿 👇🏿 ऑटो टेक्स्ट एन्कोडिंग का पता लगाता है 🌯 ↪️ 🏦

परिचय

मुझे वास्तव में प्रोग्रामिंग पसंद है, मैं एक शौकिया हूं और पहली बार और आखिरी बार मैंने 1996 में प्रोग्रामिंग पर पैसा कमाया था। लेकिन कभी-कभी मैं रोजमर्रा के कार्यों को स्वचालित करने के लिए कुछ लिखता हूं। लगभग एक साल पहले, गोलंग की खोज की गई थी। उपयोगिताओं के निर्माण के लिए एक उपकरण के रूप में, गोलंग बहुत सुविधाजनक निकला। So.

विशेष भूभौतिकीय जानकारी के साथ संग्रह फ़ाइलों की एक बड़ी संख्या (एक हजार से अधिक, और मुझे एक समर्थक की मुस्कुराहट देखनी है) को संसाधित करने की आवश्यकता थी। फ़ाइल प्रारूप पाठ, सरल है। यदि आप अचानक रुचि रखते हैं तो यह एक LAS प्रारूप है ।
LAS फ़ाइल में हेडर और डेटा होता है।

डेटा व्यावहारिक रूप से CSV, केवल टैब सीमांकक या रिक्त स्थान है।

और हेडिंग में डेटा का विवरण होता है और यहां आमतौर पर रूसी टेक्स्ट होता है। यह फ़ील्ड का नाम, फ़ाइल में दर्ज किए गए अध्ययन का नाम आदि हो सकता है।

इन फ़ाइलों को अलग-अलग समय पर और विभिन्न कार्यक्रमों में बनाया गया था, यह इस तथ्य पर आता है कि एक फ़ाइल भाग में CP1251, और CP866 में भाग सम्मिलित है। मुझे इन फ़ाइलों को संसाधित करने की आवश्यकता है, जिसका अर्थ समझना है। इसलिए फ़ाइल एन्कोडिंग को स्वचालित रूप से निर्धारित करना आवश्यक था।

नतीजतन, उन्होंने गोलंग पर एक साइकिल का आविष्कार किया और, तदनुसार, एक कोड कोड का पता लगाने की क्षमता के साथ एक छोटे पुस्तकालय का जन्म हुआ।

एनकोडिंग के बारे में। बहुत समय पहले हब्र पर एनकोडिंग के बारे में एक अच्छा लेख नहीं था कि टेक्स्ट एनकोडिंग कैसे काम करती है। "मगरमच्छ" कहाँ से आते हैं। कोडिंग के सिद्धांत। सामान्यीकरण और विस्तृत विश्लेषण। यदि आप समझना चाहते हैं कि "हड्डियां" या "हड्डियां" क्या हैं, तो यह पढ़ने योग्य है।

शुरुआत में मैंने अपना फैसला फेंक दिया। फिर मैंने गोलंग पर एक तैयार किए गए काम के समाधान को खोजने की कोशिश की, लेकिन असफल रहा। दो समाधान थे, लेकिन दोनों काम नहीं करते।

पहला "बॉक्स से बाहर" है golang.org/x/net/html/charset फ़ंक्शन निर्धारक एन्कोडिंग ()
दूसरा पुस्तकालय - जीथब पर संतफ़िश / चारडेट

दोनों निश्चित रूप से कुछ एनकोडिंग पर गलत हैं। मानक फ़ाइल पाठ फ़ाइलों से लगभग कुछ भी निर्धारित नहीं कर सकता है, यह समझने योग्य है, यह HTML पृष्ठों के लिए किया गया था।

खोज करते समय, मैं अक्सर लाइनक्स की दुनिया से तैयार उपयोगिताओं में आया - एंका । इसके संस्करण को Win32, संस्करण 1.12 के लिए संकलित पाया। मैं इस पर भी विचार करूंगा, वहां मजेदार चीजें हैं। मैं अपनी पूरी अज्ञानता के लिए तुरंत माफी मांगता हूं, जिसका अर्थ है कि शायद अधिक समाधान हैं कि आप गोलंग कोड को भी पेंच करने की कोशिश कर सकते हैं, मैंने अब और नहीं देखा।

ऑटो-डिटेक्शन एन्कोडिंग के लिए पाए गए समाधानों की तुलना

विभिन्न एन्कोडिंग में फ़ाइलों के साथ एक कैटलॉग सॉफ्टलैंडिया \ cpd परीक्षण डेटा तैयार किया। फ़ाइलों की सामग्री बहुत कम है और समान है। एक लाइन "कोडिंग कोडनेम में रूसी"। मैंने एनकोडिंग और कुछ जटिल मामलों के मिश्रण के साथ फाइलें जोड़ीं और निर्धारित करने की कोशिश की।

मुझे लगता है कि यह मजाकिया निकला।

#	एन्कोडिंग	html / चारसेट	saintfish / chardet	सॉफ्टलैंडिया / सीपीडी	ENCA
1	CP1251	windows-1252	CP1251	CP1251	CP1251
2	CP866	windows-1252	windows-1252	CP866	CP866
3	केओआई8-आर	windows-1252	केओआई8-आर	केओआई8-आर	केओआई8-आर
4	आईएसओ-8859-5	windows-1252	आईएसओ-8859-5	आईएसओ-8859-5	आईएसओ-8859-5
5	बीओएम के साथ यूटीएफ -8	utf-8	utf-8	utf-8	utf-8
6	यूटीएफ -8 बिना बीओएम के	utf-8	utf-8	utf-8	utf-8
7	BOM के साथ UTF-16LE	UTF-16LE	UTF-16LE	UTF-16LE	आईएसओ 10646-यूसीएस -2
8	UTF-16LE बिना BOM के	windows-1252	ISO-8859-1	UTF-16LE	अज्ञात
9	BOM के साथ UTF-16BE	UTF-16LE	utf-16be	utf-16be	आईएसओ 10646-यूसीएस -2
10	बिना BOM के UTF-16BE	windows-1252	ISO-8859-1	utf-16be	आईएसओ 10646-यूसीएस -2
11	BOM के साथ UTF-32LE	UTF-16LE	utf-32le	utf-32le	आईएसओ 10646-यूसीएस -4
12	बिना BOM के UTF-32LE	windows-1252	utf-32le	utf-32le	आईएसओ 10646-यूसीएस -4
13	BOM के साथ UTF-32BE	windows-1252	utf-32be	utf-32be	आईएसओ 10646-यूसीएस -4
14	बिना BOM के UTF-32BE	windows-1252	utf-32be	utf-32be	आईएसओ 10646-यूसीएस -4
15	KOI8-R (UPPER)	windows-1252	केओआई8-आर	केओआई8-आर	CP1251
16	CP1251 (UPPER)	windows-1252	CP1251	CP1251	केओआई8-आर
17	CP866 और CP1251	windows-1252	CP1251	CP1251	अज्ञात

अवलोकन १

enca ने बिना BOM के UTF-16LE फ़ाइल के एन्कोडिंग का निर्धारण नहीं किया - यह अजीब है, ठीक है। मैंने अधिक पाठ जोड़ने की कोशिश की, लेकिन परिणाम नहीं मिला।

अवलोकन 2. कोडिंग CP1251 और KOI8-R की समस्याएं

लाइनें 15 और 16. enca कमांड में समस्याएं हैं।
यहां मैं एक स्पष्टीकरण करूंगा, तथ्य यह है कि एनकोडिंग CP1251 (उर्फ विंडोज 1251) और कोए 8-आर बहुत करीब हैं अगर हम केवल वर्णमाला वर्णों पर विचार करते हैं।

टेबल सीपी 1251

KOI8-r तालिका

दोनों एन्कोडिंग्स में, वर्णमाला 0xC0 से 0xFF तक स्थित है, लेकिन जहां एक एन्कोडिंग में अपरकेस अक्षर हैं, तो दूसरे में लोअरकेस है। जाहिरा तौर पर एना लोअरकेस अक्षरों में काम करता है। तो यह पता चला है, यदि आप CP1251 में एन्का प्रोग्राम में एन्कोडेड स्ट्रिंग "STP" भेजते हैं, तो यह तय करेगा कि यह KOI8-r में एन्कोड किया गया स्ट्रिंग "vehemently" है, जो रिपोर्ट किया जाएगा। उल्टा भी काम करता है।

अवलोकन ३

Html / चारसेट मानक पुस्तकालय को केवल UTF-8 परिभाषा के साथ ही भरोसा किया जा सकता है, लेकिन सावधान रहें! यह बिल्कुल charset.DetermineEncoding () का उपयोग किया जाना चाहिए, क्योंकि utf8.Valid (b [] बाइट) utf-16be एन्कोडेड फ़ाइलों पर विधि सही है ।

खुद की बाइक

एन्कोडिंग का ऑटो-डिटेक्शन केवल हेयुरिस्टिक विधियों, गलत तरीके से संभव है। यदि हमें पता नहीं है कि किस भाषा में और टेक्स्ट फाइल को किस एन्कोडिंग में लिखा गया है, तो उच्च सटीकता के साथ एन्कोडिंग को निर्धारित करना संभव है, लेकिन यह मुश्किल होगा ... और आपको बहुत सारे पाठ की आवश्यकता होगी।

मेरे लिए, यह लक्ष्य निर्धारित नहीं था। मेरे लिए इस धारणा के तहत एनकोडिंग को निर्धारित करना पर्याप्त है कि रूसी है। और दूसरी बात, आपको कम संख्या में वर्णों को निर्धारित करने की आवश्यकता है - 10 वर्णों में काफी आत्मविश्वास की परिभाषा होनी चाहिए, और सामान्य रूप से 5-6 वर्ण।

एल्गोरिथ्म

जब मैंने एनकोडिंग KOI8-r और CP1251 के संयोग को वर्णमाला के स्थान से खोजा, तो मैं कुछ दिनों के लिए उदास था ... यह स्पष्ट हो गया कि मुझे थोड़ा सोचना होगा। यह इस तरह निकला।

मुख्य निर्णय:

हम बाइट्स के एक स्लाइस के साथ काम करेंगे, charset.DetermineEncoding के साथ संगतता के लिए ()
UTF-8 एन्कोडिंग और BOM मामलों की अलग से जाँच की जाती है
इनपुट डेटा को प्रत्येक एन्कोडिंग के बदले में पास किया जाता है। प्रत्येक स्वयं दो पूर्णांक मानदंड की गणना करता है। जिसका दो मापदंड अधिक है, वह जीता।

अनुपालन मानदंड

पहली कसौटी

पहला मानदंड रूसी वर्णमाला के सबसे लोकप्रिय अक्षरों की संख्या है।

सबसे आम अक्षर हैं: ओ, ई, ए, और, एन, टी, एस, पी, बी, एल, के, एम, डी, पी, वाई । ये पत्र 82% कवरेज देते हैं। KOI8-r और CP1251 को छोड़कर सभी एन्कोडिंग के लिए, मैंने केवल पहले 9 अक्षरों का उपयोग किया: ओ, ई, ए, और, एन, टी, एस, पी, सी। यह एक विश्वसनीय निर्धारण के लिए पर्याप्त है।

लेकिन KOI8-r और CP1251 के लिए मुझे फाइल को संशोधित करना पड़ा। इनमें से कुछ पत्रों के कोड मेल खाते हैं, उदाहरण के लिए, पत्र o में CP1251 में कोड 0xEE है, जबकि KOI8-r में इस कोड में अक्षर n है । इन एनकोडिंग के लिए निम्नलिखित लोकप्रिय पत्र लिए गए थे। CP1251 के लिए मैंने a, and, n, c, p, b, l, k, i का उपयोग किया। कोइ 8-आर के लिए - ओ, ए, यू, टी, एस, बी, एल, के, एम।

दूसरी कसौटी

दुर्भाग्य से, बहुत कम मामलों के लिए (रूसी पाठ की कुल लंबाई 5-6 अक्षर है), लोकप्रिय पत्रों की घटना 1-3 पीसी के स्तर पर है और कोओ 8-आर और सीपी 1251 एनकोडिंग का ओवरलैप है। मुझे एक दूसरी कसौटी का परिचय देना था। व्यंजन + स्वर गिनती ।
इस तरह के संयोजन रूसी भाषा में सबसे अधिक बार होने की उम्मीद है और, तदनुसार, उस एन्कोडिंग में जिसमें ऐसे जोड़े की संख्या अधिक है, उस एन्कोडिंग की एक बड़ी कसौटी है।

दोनों मानदंडों की गणना की जाती है, जोड़ी जाती है और प्राप्त राशि अंतिम मानदंड है।
परिणाम ऊपर तालिका में दिखाया गया है।

जिन विशेषताओं का मैंने सामना किया

गोलमोल और गोलंग से जुड़ी समस्याओं पर थोड़ा सा स्पर्श। यह खंड केवल शुरुआती लोगों के लिए गोलंग में लिखने के लिए दिलचस्प हो सकता है।

समस्याओं

व्यक्तिगत रूप से गो के 50 रंगों में से कुछ पानी के नीचे के कंकड़ के आसपास चले गए : जाल, नुकसान और सामान्य शुरुआत की गलतियाँ ।
अत्यधिक चिंता और पानी में उड़ने की कोशिश करना, दूध से भयानक जलने के बारे में दूसरों से सुनना, io.Reader प्रकार के इनपुट पैरामीटर की जांच के साथ बहुत दूर चला गया। मैंने प्रतिबिंब के साथ io.Reader जैसे एक चर की जाँच की।

//CodePageDetect - detect code page of ascii data from reader 'r' func CodePageDetect(r io.Reader, stopStr ...string) (IDCodePage, error) { if !reflect.ValueOf(r).IsValid() { return ASCII, fmt.Errorf("input reader is nil") } ...

लेकिन जैसा कि यह मेरे मामले में निकला, यह शून्य पर जांच करने के लिए पर्याप्त है। अब सब कुछ आसान हो गया है

 func CodePageDetect(r io.Reader, stopStr ...string) (IDCodePage, error) { //test input interfase if r == nil { return ASCII, nil } //make slice of byte from input reader buf, err := bufio.NewReader(r).Peek(ReadBufSize) if (err != nil) && (err != io.EOF) { return ASCII, err } ...

bufio.NewReader (r) के लिए एक कॉल .Peek (ReadBufSize) चुपचाप निम्नलिखित परीक्षा पास करता है:

  var data *os.File res, err := CodePageDetect(data)

इस स्थिति में, Peek () एक त्रुटि देता है।

एक बार मूल्य द्वारा सरणियों के हस्तांतरण के साथ एक रेक पर कदम रखा। नक्शे में संग्रहीत तत्वों को बदलने की कोशिश करने पर थोड़ा बेवकूफ, रेंज में उनके माध्यम से चल रहा है ...

आकर्षण

यह ठीक से कहना मुश्किल है कि क्या लिंटर और कंपाइलर से लगातार मिलाते हुए हाथ या रेंज का सक्रिय उपयोग, या सभी एक साथ हैं, लेकिन सूचकांक को सीमा से बाहर करने के लिए व्यावहारिक रूप से कोई चीरा नहीं है।

बेशक, कचरा संग्रहकर्ता के साथ रहना बहुत अच्छा है। मुझे लगता है कि मुझे अभी भी स्मृति के आवंटन / रिलीज को स्वचालित करने के लिए महारत हासिल करनी है, लेकिन अभी तक नैतिक मुस्कान उनके चेहरे को नहीं छोड़ती है।
मजबूत टाइपिंग भी खुशी का एक टुकड़ा है।

एक प्रकार के फ़ंक्शन वाले चर, तदनुसार, एक ही प्रकार की वस्तुओं के लिए विभिन्न व्यवहारों का एक आसान कार्यान्वयन है।

डिबगर में बैठने के लिए अजीब बात है, कोड को फिर से पढ़ना आमतौर पर परिणाम देता है।

बॉक्स से बाहर बहुत सारे उपकरण होने से खुश, कंपाइलर, भाषा, पुस्तकालय और आईडीई विज़ुअल स्टूडियो कोड जब आप एक साथ काम करते हैं, तो यह एक अद्भुत एहसास होता है।

रचनात्मक और उपयोगी सुझावों के लिए धन्यवाद बाज़ ।
उसके लिए धन्यवाद

गवाही पर अनुवादित परीक्षण और वे वास्तव में अधिक पठनीय बन गए
लिनक्स के साथ संगतता के लिए डेटा फ़ाइल पथ के लिए निश्चित परीक्षण
एक लिंटर द्वारा चला गया - फिर भी उसे एक असली गलती मिली (लानत / अतीत)

मैं परीक्षण जोड़ना जारी रखता हूं, UTF16 को परिभाषित नहीं करने का मामला सामने आया था। अपडेट किया गया। अब रूसी अक्षरों की अनुपस्थिति में भी UTF16 और LE और BE का पता लगाया जाता है

ऑटो टेक्स्ट एन्कोडिंग का पता लगाता है