चालान को समझने और उनसे डेटा निकालने के लिए मशीन को कैसे सिखाना है

नमस्कार, हेब्र! मेरा नाम स्टेनिस्लाव सेमेनोव है, मैं आर एंड डी एबीबीवाई में दस्तावेजों से डेटा निकालने के लिए प्रौद्योगिकियों पर काम कर रहा हूं। इस लेख में मैं अर्ध-संरचित दस्तावेजों (चालान, नकद प्राप्तियां, आदि) के प्रसंस्करण के लिए बुनियादी तरीकों के बारे में बात करूंगा जो हमने हाल ही में उपयोग किए थे और जिनका हम अभी उपयोग कर रहे हैं। और हम इस समस्या को हल करने के लिए मशीन सीखने के तरीके कैसे लागू होते हैं, इस बारे में बात करेंगे।

हम चालान को दस्तावेजों के रूप में मानेंगे, क्योंकि दुनिया में वे बहुत व्यापक हैं और डेटा निष्कर्षण के मामले में सबसे अधिक मांग में हैं। वैसे, चालान का स्वचालित प्रसंस्करण हमारे विदेशी ग्राहकों के बीच सबसे लोकप्रिय परिदृश्यों में से एक है। उदाहरण के लिए, ABBYY FlexiCapture की मदद से, अमेरिकन पेप्सिको इमेजिंग टेक्नोलॉजी ने इनवॉइस प्रोसेसिंग के लिए समय और मैनुअल एंट्री के कारण त्रुटियों की संख्या को कम किया और यूरोपीय रिटेलर स्पोर्टिना ने अकाउंटिंग सिस्टम के खातों से डेटा को 2 गुना तेजी से दर्ज करना शुरू किया ।

चालान ऐसे दस्तावेज होते हैं जो अंतर्राष्ट्रीय वाणिज्यिक अभ्यास में उपयोग किए जाते हैं और व्यापार के लिए बहुत महत्व रखते हैं। उदाहरण के लिए, रूस में एक चालान के समान कुछ है। ऐसे दस्तावेजों के डेटा विभिन्न लेखा प्रणालियों में आते हैं, और वहां त्रुटियां, इसे हल्के ढंग से रखने के लिए, स्वागत योग्य नहीं हैं।

एक साधारण इनवॉइस को काफी संरचित माना जा सकता है, इसमें दो मुख्य वर्ग हैं:

• हेडर (दस्तावेज़ संख्या, दिनांक, प्रेषक, प्राप्तकर्ता, कुल, आदि) से विभिन्न क्षेत्र,
• सारणीबद्ध डेटा माल और सेवाओं (मात्रा, मूल्य, विवरण, आदि) की एक सूची है।

यह ऐसा दिखता है:



लाखों मानव-घंटे प्रतिवर्ष प्रसंस्करण चालान पर खर्च किए जाते हैं। और यह बहुत महंगा है। विभिन्न अनुमानों के अनुसार, एक कंपनी के लिए एक पेपर इनवॉइस की लागत $ 10 से $ 40 तक होती है, जहां इन लागतों का एक महत्वपूर्ण हिस्सा डेटा दर्ज करने और सामंजस्य करने के लिए मैन्युअल श्रम है।

ऐसी कंपनियां हैं जो प्रति माह लाखों चालान की प्रक्रिया करती हैं। ऐसा करने के लिए, उनके पास सैकड़ों और कभी-कभी हजारों लोग होते हैं। यह अनुमान लगाना आसान है कि केवल 1% की मान्यता सटीकता या डेटा निष्कर्षण दक्षता में वृद्धि से बड़ी कंपनियों की लागत हजारों और यहां तक ​​कि सालाना लाखों डॉलर तक कम हो सकती है।

दूसरी ओर, बहुत से दस्तावेज हैं। 2017 में, Billentis ने अनुमान लगाया कि दुनिया में प्रति वर्ष उत्पन्न चालान / चालान की कुल संख्या 400 बिलियन है। इनमें से, केवल 10% इलेक्ट्रॉनिक थे, और बाकी को पूरी तरह से मैनुअल प्रविष्टि या गहन मानव भागीदारी की आवश्यकता थी। यदि आप मानक A4 पेपर पर 400 बिलियन दस्तावेज प्रिंट करते हैं, तो यह प्रति दिन हजारों पेपर ट्रक, या हर सेकंड एक मानव ऊंचाई के बारे में कागज का एक ढेर है!

तकनीक कैसे विकसित हुई, इसके बारे में कुछ शब्द

कई कंपनियां विशेष सॉफ़्टवेयर विकसित कर रही हैं जो दस्तावेजों को पहचान सकती हैं और उनसे डेटा निकाल सकती हैं। लेकिन इनवॉइस प्रोसेसिंग की गुणवत्ता अभी भी सही नहीं है। "क्या समस्या है?" - आप पूछें।

यह सभी तरह के चालान के बारे में है। चालान के लिए कोई मानक नहीं हैं, और प्रत्येक कंपनी दस्तावेज़ का अपना संस्करण बनाने के लिए स्वतंत्र है: खेतों का प्रकार, संरचना और स्थान।

कीवर्ड द्वारा फ़ील्ड खोजें

डेटा निकालने का पहला प्रयास सभी मान्यता प्राप्त शब्दों के बीच विशेष कुंजी शब्दों को खोजने के लिए नीचे आया, जैसे, उदाहरण के लिए, इनवॉइस नंबर या कुल, और फिर, इन शब्दों के एक छोटे से पड़ोस में, उदाहरण के लिए, दाईं ओर या नीचे, स्वयं अर्थ खोजने के लिए।

विभिन्न चालान में चालान संख्या का स्थान (क्लिक करने योग्य):



पूरे तर्क को प्रोग्राम किया गया था, कि ऐसे और ऐसे क्षेत्र हैं, वे दस्तावेज़ के ऐसे और ऐसे स्थान पर हैं, उनके आसपास कुछ दूरी पर अन्य क्षेत्र हैं। और यह किसी तरह से तब तक काम करता रहा जब तक कि कोई दूसरी कंपनी सामने न आए, जिसने अपने दस्तावेजों को पूरी तरह से अलग रूप में भेजना शुरू कर दिया। या पिछली कंपनी ने अचानक प्रारूप बदल दिया, और सब कुछ काम करना बंद कर दिया।

टेम्पलेट्स

इससे लड़ते हुए, हर बार किसी बात को दोहराते हुए, तर्कहीन था। इसलिए, एक नया प्रतिमान बचाव के लिए आया - टेम्पलेट्स का उपयोग। टेम्प्लेट उन फ़ील्ड्स का एक सेट है, जिन्हें किसी दस्तावेज़ में ढूंढने की आवश्यकता होती है, और इन फ़ील्ड्स को खोजने के लिए नियमों का एक सेट। यहां मुख्य लाभ यह है कि टेम्पलेट नेत्रहीन बनाए जाते हैं। उदाहरण के लिए, हम इनवॉइस नंबर और कुल की खोज करना चाहते हैं, इन फ़ील्ड्स का चयन करें और उन मापदंडों को कॉन्फ़िगर करें जो इस तरह के और इस तरह के एक कीवर्ड के तुरंत बाद जाते हैं, यह दस्तावेज़ के शीर्ष पर स्थित है और इसमें नंबर और विराम चिह्न शामिल हैं।

विशेष उपकरण विकसित किए गए थे, तथाकथित टेम्पलेट संपादक, जहां पहले से ही प्रोग्रामर की मदद के बिना उन्नत उपयोगकर्ता जल्दी से मैन्युअल रूप से कुछ प्रकार के तर्क सेट कर सकते थे। जैसे ही एक नए फॉर्म का एक दस्तावेज़ आया, उसके लिए एक टेम्प्लेट बनाया गया और सब कुछ कम या ज्यादा काम करने लगा।

नमूना टेम्पलेट (क्लिक करने योग्य):


लेकिन एक टेम्पलेट बनाने के लिए पर्याप्त नहीं है, उन्हें सैकड़ों और यहां तक ​​कि हजारों बनाने की आवश्यकता है। और इसलिए, प्रत्येक ग्राहक के लिए एक उत्पाद स्थापित करना कभी-कभी बहुत समय ले सकता है। अग्रिम में "सार्वभौमिक" टेम्प्लेट बनाना असंभव है, जो पूरी तरह से चालान को कवर करेगा।

टेम्प्लेट का उपयोग करके, आप तालिका पुनर्प्राप्ति की गुणवत्ता में काफी सुधार कर सकते हैं। लेकिन अक्सर गैर-मानक डेटा प्रतिनिधित्व के साथ जटिल तालिका संरचनाएं पाई जाती हैं, इन मामलों में कई स्तर के घोंसले के शिकार और टेम्पलेट हमेशा अच्छा नहीं करते हैं। तो फिर, आपको कुछ स्क्रिप्ट्स लिखनी होंगी, जिनमें कई मैन्युअल रूप से चयनित पैरामीटर, स्थितियाँ, अपवाद इत्यादि शामिल होंगे।

मशीन लर्निंग का उपयोग करना

प्रौद्योगिकी आज भी स्थिर नहीं है, और मशीन सीखने के विकास के साथ, दस्तावेज़ों से डेटा निकालने के कार्य को तंत्रिका नेटवर्क में स्थानांतरित करना संभव हो गया।

आज, कई बुनियादी दृष्टिकोण हैं जो व्यवहार में उपयोग किए जाते हैं:

• पहला दृष्टिकोण दस्तावेज़ की इनपुट छवि के साथ सीधे काम करना है। यही है, एक छवि (चित्र) या टुकड़ा नेटवर्क इनपुट को खिलाया जाता है, और नेटवर्क छोटे क्षेत्रों को खोजने के लिए सीखता है जहां आवश्यक फ़ील्ड स्थित हैं, और फिर इन क्षेत्रों में पाठ को क्लासिक ओसीआर (ऑप्टिकल कैरेक्टर रिकॉग्निशन) प्रौद्योगिकियों का उपयोग करके पहचाना जाता है। यह एक एंड-टू-एंड समाधान है जिसे जल्दी से लागू किया जा सकता है। आप छवियों में वस्तुओं की खोज के लिए तैयार नेटवर्क ले सकते हैं, उदाहरण के लिए, योलो या फास्टर आर-सीएनएन और इसे दस्तावेजों के चिह्नित चित्रों में प्रशिक्षित करें।
  
  इस दृष्टिकोण का नुकसान निष्कर्षित डेटा की सर्वोत्तम गुणवत्ता और तालिकाओं को निकालने की कठिनाई नहीं है। वास्तव में, यह दृष्टिकोण किसी तरह से छवि में सही शब्दों (शब्द स्पॉटिंग) को खोजने के कार्य के समान है, कंप्यूटर दृष्टि के क्षेत्र से एक मूलभूत समस्या है, लेकिन यहां हम शब्दों के लिए नहीं, बल्कि आवश्यक क्षेत्रों के लिए देख रहे हैं।
• दूसरा दृष्टिकोण दस्तावेज़ से निकाले गए पाठ को संसाधित करना है। यह या तो एक पीडीएफ से पाठ हो सकता है, या एक पूर्ण पृष्ठ ओसीआर दस्तावेज़ हो सकता है। यह प्राकृतिक भाषा प्रसंस्करण (एनएलपी) तकनीक का उपयोग करता है। लाइनों को अलग-अलग शब्दों से इकट्ठा किया जाता है, लाइनों से पाठ, पैराग्राफ या कॉलम के विभिन्न टुकड़े बनाए जाते हैं, और उनमें नेटवर्क पहले से ही विभिन्न नामित संस्थाओं एनईआर (नामांकित-एंटिटी मान्यता) को भेद करना सीख रहा है।
  
  पाठ के टुकड़े बनाने के विभिन्न तरीके संभव हैं। आप पहले और दूसरे दृष्टिकोण को जोड़ सकते हैं, छवियों में कुछ जानकारी के साथ बड़े ब्लॉकों को खोजने के लिए एक नेटवर्क को प्रशिक्षित कर सकते हैं, उदाहरण के लिए, प्राप्तकर्ता के बारे में डेटा या प्राप्तकर्ता के बारे में डेटा, जिसमें तुरंत नाम, पता, विवरण आदि शामिल हैं, और फिर ऐसे प्रत्येक ब्लॉक का पाठ स्थानांतरित करें। दूसरे एनईआर नेटवर्क के लिए।
  
  इस दृष्टिकोण की गुणवत्ता केवल पहले दृष्टिकोण की तुलना में अधिक हो सकती है, लेकिन एक प्रभावी मॉडल का निर्माण करना मुश्किल है। आज, काफी उन्नत मॉडल हैं, उदाहरण के लिए, एनईआर के लिए एलएसटीएम-सीआरएफ, जो पाठ में शब्दों को टैग कर सकते हैं और संस्थाओं को परिभाषित कर सकते हैं।
• तीसरा दृष्टिकोण दस्तावेज़ के प्रकार के संदर्भ के बिना दस्तावेज़ के शब्दार्थ प्रतिनिधित्व का निर्माण करना है, अर्थात। जब हम नहीं जानते कि दस्तावेज हमारे सामने क्या है, लेकिन हम प्रसंस्करण के दौरान इसे समझने की कोशिश करते हैं। अपनी विभिन्न विशेषताओं के साथ दस्तावेज़ शब्दों का एक सेट (उदाहरण के लिए, शब्द में केवल अक्षर होते हैं या यह एक संख्या है), शब्दों की ज्यामितीय व्यवस्था (निर्देशांक, संकेतक) और छवि विश्लेषण के दौरान पहचाने गए विभिन्न सीमांकक और कनेक्शन के साथ, नेटवर्क इनपुट को खिलाया जाता है और आउटपुट प्राप्त होता है। प्रत्येक शब्द की अपनी विशिष्ट विशेषताएं होती हैं। प्राप्त विशेषताओं के आधार पर, संभावित क्षेत्रों या तालिकाओं के परिकल्पनाओं के विभिन्न सेट बनते हैं, जिन्हें एक अतिरिक्त क्लासिफायरियर द्वारा क्रमबद्ध और मूल्यांकन किया जाता है। फिर दस्तावेज़ की संरचना और सामग्री की सबसे विश्वसनीय परिकल्पना का चयन किया जाता है।
  
  यह पहले से ही तकनीकी रूप से सबसे मुश्किल समाधान है, लेकिन आप दस्तावेजों को सामान्य तरीके से डेटा निकालने की समस्या को हल कर सकते हैं।

हम तंत्रिका नेटवर्क का उपयोग कैसे करते हैं

हम एबीबीवाई में न केवल विज्ञान और प्रौद्योगिकी की उपलब्धियों की बारीकी से निगरानी करते हैं, बल्कि अपनी खुद की उन्नत तकनीक भी बनाते हैं और उन्हें विभिन्न उत्पादों में लागू करते हैं।

नीचे दिया गया आंकड़ा तंत्रिका नेटवर्क का उपयोग करके हमारे समाधान की सामान्य वास्तुकला को दर्शाता है।

क्लिक करने योग्य छवि


संपूर्ण दस्तावेज़ पृष्ठ नेटवर्क इनपुट को खिलाया जाता है। दृढ़ परतों (CNN) का उपयोग करते हुए, विभिन्न ज्यामितीय विशेषताएं बनती हैं, उदाहरण के लिए, एक दूसरे के सापेक्ष शब्दों की स्थिति। इसके अलावा, इन संकेतों को मान्यता प्राप्त शब्दों (शब्द एम्बेडिंग) के वेक्टर प्रतिनिधित्व के साथ जोड़ दिया जाता है और आवर्तक (एलएसटीएम) और पूरी तरह से परतों पर कार्य किया जाता है। कई अलग-अलग आउटपुट लेयर्स (मल्टी-टास्क लर्निंग) हैं, प्रत्येक आउटपुट अपनी समस्या हल करता है:

• फ़ील्ड के प्रकार का निर्धारण जिसमें शब्द मेल कर सकता है,
• तालिका सीमाओं की परिकल्पना,
• तालिका पंक्तियों, स्तंभ सीमाओं आदि की परिकल्पना।

यदि दस्तावेज़ बहु-पृष्ठ है, तो नेटवर्क प्रत्येक व्यक्तिगत पृष्ठ के लिए अपनी भविष्यवाणी करता है, फिर परिणाम संयुक्त होते हैं।

अगला, परिकल्पनाओं को खेतों और तालिकाओं की संभावित व्यवस्था से बनाया जाता है, एक अलग से प्रशिक्षित प्रतिगमन समारोह की मदद से, उनका मूल्यांकन किया जाता है, और सबसे अधिक आत्मविश्वास परिकल्पना जीतती है।
डेटा निष्कर्षण की सटीकता बढ़ाने के लिए, प्रकार (चेक, चालान, अनुबंध, आदि) द्वारा दस्तावेजों को अलग करने के अलावा, अतिरिक्त विशेषताओं के अनुसार इसके प्रकार के अंदर अतिरिक्त क्लस्टरिंग होती है।

उदाहरण के लिए, इनवॉइस के लिए यह एक विक्रेता या सिर्फ एक उपस्थिति हो सकती है (खेतों के स्थान की समानता की डिग्री के अनुसार)। और फिर, एक विशेष समूह (क्लस्टर) के आधार पर, विशिष्ट एल्गोरिथ्म सेटिंग्स लागू की जाती हैं। तकनीकी रूप से, विभिन्न समूहों के लिए सही ढंग से चिह्नित चालानों के उदाहरण होने से, उपयोगकर्ता की ओर से सही परिकल्पनाओं के मूल्यांकन और चयन के लिए तंत्र को फिर से बनाना संभव है।

हमारे एल्गोरिदम और तंत्रिका नेटवर्क के सभी प्रकार के मापदंडों को कॉन्फ़िगर करने के लिए, हम विभेदक विकास पद्धति का उपयोग करते हैं, जिसने व्यवहार में खुद को बहुत अच्छी तरह से साबित कर दिया है।

हमारे मशीन लर्निंग परिणाम

• कई मामलों में मशीन लर्निंग का उपयोग करके संरचित दस्तावेजों से डेटा निकालने के लिए विकसित विधि हेयुरेटिक्स के आधार पर प्रोग्राम किए गए समाधानों की तुलना में बेहतर परिणाम दिखाती है। विभिन्न मेट्रिक्स में गुणवत्ता का लाभ कई इकाइयों से लेकर दसियों प्रतिशत तक विभिन्न निकालने योग्य संस्थाओं पर होता है।
• शास्त्रीय दृष्टिकोण पर एक निर्विवाद लाभ है - नए डेटा पर नेटवर्क को पुनः प्राप्त करने की क्षमता। दस्तावेजों के विभिन्न रूपों के मामले में, अब यह एक समस्या नहीं है, बल्कि एक आवश्यकता है। उनमें से अधिक, बेहतर; नेटवर्क की क्षमता को सामान्य बनाने और गुणवत्ता को मजबूत करने के लिए।
• तथाकथित समाधान "बॉक्स से बाहर" जारी करने का एक अवसर था, जब उपयोगकर्ता केवल उत्पाद स्थापित करता है (वास्तव में, एक प्रशिक्षित नेटवर्क), और सब कुछ तुरंत एक स्वीकार्य परिणाम के साथ काम करना शुरू कर देता है। कुछ भी प्रोग्राम करने की आवश्यकता नहीं है, लंबे और दर्दनाक तरीके से टेम्पलेट्स को अनुकूलित करें, सभी प्रकार के मापदंडों का चयन करें।

एक महत्वपूर्ण विवरण जिसका मैं उल्लेख करना चाहूंगा वह है डेटा। बिना गुणवत्ता डेटा के कोई भी मशीन सीखना नहीं हो सकता है। मशीन लर्निंग, ज्ञान इंजीनियरिंग की तुलना में बेहतर परिणाम देता है, केवल तभी जब पर्याप्त मात्रा में टैग किया गया डेटा हो। इनवॉइस के मामले में, ये मैन्युअल रूप से लेबल किए गए दस्तावेजों के हजारों हैं, और यह आंकड़ा लगातार बढ़ रहा है।

इसके अतिरिक्त, हम उन्नत डेटा संवर्द्धन तंत्र का उपयोग करते हैं, तालिकाओं, तिथियों, विभिन्न मात्रात्मक विशेषताओं, जैसे मूल्य, मात्रा, लागत, आदि में संगठनों के नाम, पते, माल की सूची और सेवाओं के नाम बदलते हैं। हम दस्तावेजों में विभिन्न संस्थाओं के अनुक्रम को भी बदलते हैं, जो हमें अंततः प्रशिक्षण के लिए लाखों पूरी तरह से विभिन्न दस्तावेजों को उत्पन्न करने की अनुमति देता है।

एक निष्कर्ष के बजाय

निष्कर्ष में, हम कह सकते हैं कि प्रोग्रामिंग बेशक गायब नहीं हुई है, लेकिन धीरे-धीरे अपनी भूमिका बदल रही है। प्रत्येक नए दिन के साथ, मशीन लर्निंग विभिन्न प्रकार के उद्योगों में बेहतर और बेहतर तरीके से सौंपे गए कार्यों का सामना करना शुरू कर देता है, शास्त्रीय दृष्टिकोणों को भीड़ देता है। दक्षता में मशीन सीखने का निर्विवाद लाभ: बौद्धिक कार्य के दर्जनों मानव-वर्ष अब सीखने के मशीन-घंटे के दर्जनों खर्च करते हैं। इसलिए, निकट भविष्य में हम अपने सभी विकासों में नेटवर्क के अधिक विकास और प्रयोज्यता को देखते हैं। और यदि आप रुचि रखते हैं, तो हम हमेशा सुझाव और सहयोग के लिए खुले हैं।