मुझे, RoboLoyer, या दस्तावेजों में विसंगतियों की तलाश कैसे करें

क्या आप सोच सकते हैं कि एक कॉर्पोरेट वकील को प्रति घंटे कितने नियामक दस्तावेज देखने पड़ते हैं और उसकी लापरवाही के क्या परिणाम हो सकते हैं? एक गरीब साथी वकील को हर अनुबंध को पढ़ना चाहिए, खासकर अगर उसके लिए कोई मानक टेम्पलेट नहीं है, जो अक्सर होता है।

हमारे कॉरपोरेट वकील की थकी हुई आँखों को देखते हुए, हमने एक ऐसी सेवा बनाने का फैसला किया, जो दस्तावेजों में समस्याओं को ढूंढे और उन्हें दर्जन वकील को संकेत दे। नतीजतन, हमने वकीलों और अनुबंधों के सुझावों के एक निश्चित आधार पर ज्ञान के एकत्रीकरण के साथ एक समाधान बनाया, जिस पर विशेष ध्यान दिया जाना चाहिए। बेशक, जादू के बिना नहीं। गणितीय जादू जिसे एनोमली डिटेक्शन कहा जाता है।

मूल रूप से, विसंगति का पता लगाने के तरीकों का उपयोग विफलताओं का पता लगाने के लिए या धोखाधड़ी का निर्धारण करने के लिए बैंकिंग क्षेत्र में विभिन्न प्रकार के उपकरणों के व्यवहार का विश्लेषण करने के लिए किया जाता है। और हमने इन एल्गोरिदम को कानूनी दस्तावेजों के विश्लेषण के लिए लागू करने का प्रयास किया। हमने यह कैसे किया, यह जानने के लिए कट का पालन करें।

1. हम संरचित जानकारी से निपटते हैं

हम भाग्यशाली हैं क्योंकि अनुबंधों के ग्रंथों को कुछ खाकों के अनुसार पर्याप्त रूप से संरचित, सूखा और संकलित किया गया है। परियोजना पर काम करने के लिए, साइट zakupki.gov.ru (हमें 200,000 दस्तावेज मिले) से अनुबंधों और अनुबंधों के आधार पर एक प्रोटोटाइप को लागू करने का विचार प्रस्तावित किया गया था। 170,000 अनुबंधों के लिए, हम संरचना की पहचान करने में सक्षम थे: प्रस्तावना, अध्याय, पैराग्राफ और अनुलग्नक अनुबंध, कीवर्ड, पाठ और नंबरिंग में स्थिति को ध्यान में रखते हुए।

2. विभिन्न प्रकार के अनुबंध

इस तथ्य को ध्यान में रखना आवश्यक है कि अनुबंध विभिन्न प्रकार के हो सकते हैं। उनमें से सभी सामग्री, अनुबंध के विषय, मुख्य अध्यायों आदि में बहुत भिन्न हैं। प्रत्येक प्रकार के अनुबंध के विश्लेषण का अनुकूलन करने के लिए, उनके वर्गीकरण या क्लस्टरिंग पर काम करना आवश्यक है।
शायद आप पहले से ही जानते हैं कि आपके डेटाबेस में किस प्रकार के अनुबंध मौजूद हैं, और आप उन संकेतों को जानते हैं जिनके द्वारा वे निर्धारित किए जा सकते हैं। हमारे मामले में, हमारे पास प्रत्येक अनुबंध के बारे में कोई अतिरिक्त जानकारी के बिना और खरीद अनुबंधों के वर्गीकरण के बारे में किसी भी धारणा के बिना अनुबंधों का एक कच्चा शरीर है। इसलिए, हमें अपने अनुबंधों के आधार को हटाने के लिए मजबूर होना पड़ा।

आप tf-idf डॉक्यूमेंट प्रेजेंटेशन वेक्टर का उपयोग करके क्लस्टरिंग को मानकीकृत कर सकते हैं, लेकिन हमने Doc2Vec एल्गोरिथम की कोशिश की, सिर्फ मनोरंजन के लिए। Doc2Vec एल्गोरिथ्म का उपयोग करते हुए, अनुबंधों को वैक्टर में परिवर्तित किया गया था, और परिणामस्वरूप अनुबंध वैक्टर को क्लस्टर एल्गोरिथ्म के इनपुट पर भेजा गया था। हम क्लस्टर वैक्टर के लिए K- साधन एल्गोरिथ्म का इस्तेमाल किया। चूँकि समानता को आमतौर पर कोसाइन दूरी का उपयोग करके मापा जाता है, इसलिए हमने यूक्लिडियन दूरी के बजाय इसका उपयोग किया।

दस्तावेजों के 20 समूहों को प्राप्त करने के बाद, क्लस्टरिंग की गुणवत्ता की जांच करना आवश्यक था। चूंकि हमारे पास अनुबंधों का कोई वर्गीकरण नहीं है, इसलिए हम मौजूदा विभाजन के परिणामी समूहों की तुलना नहीं कर सकते हैं। फिर हमने क्लस्टर का वर्णन करने वाले शब्दों को देखने का फैसला किया। ऐसा करने के लिए, हमने प्रत्येक क्लस्टर के लिए आइटम "समझौते का विषय" लिया, अधिकांश समूहों में पाए जाने वाले शब्दों, संख्याओं और शब्दों को हटा दिया। फिर हमने प्रत्येक क्लस्टर के लिए 5 सबसे सामान्य शब्दों को कीवर्ड के रूप में चुना। ऐसे सीधे तरीके से, कोई व्यक्ति क्लस्टरिंग की गुणवत्ता का आकलन कर सकता है।

समूहों का वर्णन करने वाले शब्दों के उदाहरण:

• किरायेदार, मकान मालिक, अपार्टमेंट, किराये, डेवलपर
• क्षमता, शिक्षण, शैक्षिक, शैक्षणिक, पूर्णकालिक
• सामान्य ठेकेदार, उपठेकेदार, सामान्य निर्माण, डिजाइनर, शहरी नियोजन
• फार्मेसी, संगरोध, व्यय, फाइटोसैनेटिक, वायुरोधी
• जासूसी, सुरक्षा गार्ड, दमन, चिंता, अपराध
• लाइसेंसधारी, अधीन, फिल्म, लाइसेंस, रिले
• उधारकर्ता, एस्क्रो, लेनदार, ऋण, वचनदाता
• केंद्रीकृत, ऊर्जा आपूर्ति, इंट्राजोन, प्लंबिंग, सीवर

3. हम अनुबंधों में किन विसंगतियों का सामना कर सकते हैं

आइए निर्धारित करें कि हम किन मामलों को असामान्य मानेंगे और हम उनके साथ क्या कर सकते हैं। हमने निम्नलिखित परिदृश्यों की पहचान की:

1. अनुबंध में एक अतिरिक्त खंड जोड़ा गया है जो इस संदर्भ में पहले कभी नहीं देखा गया है। उसके लिए एक वकील का ध्यान आकर्षित करना आवश्यक है।
2. अनुबंध में कोई खंड नहीं है जो पहले इस तरह के अनुबंधों में सामना किया गया था। हमें वकील को इसे जोड़ने की सलाह देनी चाहिए।
3. एक पैराग्राफ कहानी से कुछ बिंदु के समान है, लेकिन इसे किसी तरह से रीफ़्रेश किया जाता है, कुछ शब्द जोड़े या हटाए जाते हैं। आप वकील को बता सकते हैं और आपको संपादित करने की सलाह दे सकते हैं।

4. अनुबंध किस रूप में जमा करना है

जैसा कि पहले ही उल्लेख किया गया है, अनुबंध में अध्याय हैं, अध्याय पैराग्राफ में विभाजित हैं, प्रत्येक पैराग्राफ में उप-अनुच्छेद आदि हो सकते हैं। अध्याय और पैराग्राफ में अनुबंध को तोड़ने के लिए, हमने नंबरिंग, ट्रांसफ़र, कीवर्ड: "अध्याय", "आर्टिकल" आदि को ध्यान में रखा। प्रत्येक आइटम में एक या अधिक वाक्य होते हैं। किसी आइटम को वाक्यों में तोड़ने के लिए, nltk.tokenize मॉड्यूल से sent_tokenize का उपयोग किया गया था।

अनुबंध में कई वैश्विक अध्याय शामिल हैं, जिनमें से सार और सामग्री शीर्षकों द्वारा पाई जा सकती है: पार्टियों के अनुबंध, अधिकार और दायित्वों का विषय, मूल्य और निपटान प्रक्रिया ... हमने समान शीर्षकों के साथ अध्यायों को संयोजित करने और स्वतंत्र रूप से विभिन्न अध्यायों पर काम करने की कोशिश की। अध्यायों के शीर्षकों को अक्सर दोहराया जाता है, टाइपो या अतिरिक्त विराम चिह्न होते हैं। अध्यायों के समूहों को काफी बड़ा बनाने के लिए, हमने उन शीर्षकों को संयोजित किया जो एक समूह में लेवेंसहाइट दूरी के करीब थे।

समस्याओं में से एक जो हम निश्चित रूप से सामना कर सकते हैं, अनुबंधों में नामित संस्थाओं की बड़ी मात्रा है, जो अक्सर अद्वितीय होते हैं और एक विसंगति के लिए गलत हो सकते हैं। अनुबंधों में कई संस्थाएं हैं, जैसे नाम, कंपनी के नाम, दिनांक, पते, आदि, जो अनुबंध से अनुबंध तक भिन्न होते हैं। अनुबंध से ऐसी संस्थाओं को खोजने और समाप्त करने के लिए आवश्यक है, अर्थात्। अनुबंध को कुछ टेम्पलेट फॉर्म में लाएं। हम डेटासेट के साथ भाग्यशाली थे, क्योंकि अनुबंधों की अनलोडिंग में टेम्प्लेट कॉन्ट्रैक्ट्स का एक बड़ा हिस्सा था, नामित इकाइयाँ जिन्हें अंडरस्कोर द्वारा प्रतिस्थापित किया जाता है। हमने इस बात की पहचान की है कि कौन से वाक्यांश अंडरस्कोर होते हैं जो आमतौर पर पूर्ण दस्तावेजों में इन वाक्यांशों को खोजने और उनसे नामित संस्थाओं को हटाने के लिए होते हैं। यह स्पष्ट है कि इस तरह हमने सभी नामित संस्थाओं को नहीं हटाया। इसलिए, हम एक बार फिर नताशा पुस्तकालय के साथ पतवार के माध्यम से चले गए और उन संस्थाओं को हटा दिया जो उसे मिलीं।

5. अनुबंध में असामान्य खंडों की परिभाषा

हम पहले से ही क्लस्टरिंग का उपयोग करके अनुबंधों को अलग करने में सक्षम हैं और समान अध्यायों के समूहों की पहचान करने में सक्षम थे। अब, एक निश्चित प्रकार के अनुबंध के एक निश्चित खंड के बारे में संचित ज्ञान का उपयोग करके, हम समझ सकते हैं कि वर्तमान एक में क्या तय करने की आवश्यकता है। अध्याय के प्रत्येक वाक्य के लिए इसके विसंगति की संभावना की गणना करें।

अध्यायों के प्रत्येक समूह के लिए, हम उन सभी प्रस्तावों को संग्रहीत करते हैं जो हमने राज्य खरीद से दस्तावेजों के हमारे प्रशिक्षण सेट में प्राप्त किए थे। क्योंकि उनमें से काफी सारे हैं, अध्यायों के प्रत्येक समूह के लिए Word2Vec मॉडल को प्रशिक्षित किया गया था, और प्रत्येक वाक्य इसमें शामिल शब्दों के वैक्टर के भारित (tf-idf) योग के वेक्टर के साथ जुड़ा हुआ है। इसके अलावा, वाक्य वैक्टर को दस्तावेजों के लिए वैक्टर के विभाजन के समान समूहों में विभाजित किया गया था।

अब, जब कोई प्रस्ताव हमारे पास आता है, तो हम यह निर्धारित करते हैं कि यह अनुबंध के किस समूह से है, अध्यायों के किस समूह से है, प्रस्तावों के किस समूह में यह निकटतम है और इस क्लस्टर में हम सबसे निकटतम पाते हैं। निकटतम ऑफ़र की दूरी को इस बात का एक उपाय माना जा सकता है कि यह ऑफ़र कितना असामान्य है। यदि निकटतम प्रस्ताव की दूरी शून्य है, तो हमारा प्रस्ताव असामान्य नहीं है। इस दूरी को बढ़ाने के साथ, हमें यह संदेह है कि प्रस्ताव में विसंगतियाँ नहीं हैं। सबसे अधिक संभावना है कि उसके साथ कुछ गलत है।

6. उन वस्तुओं का क्या करें जो गायब हैं

हमें लगा कि अनुबंध में विसंगतियों को कैसे खोजना है, लेकिन यह नहीं सीखा कि लापता वाक्यों या बिंदुओं के रूप में विसंगतियों को कैसे खोजा जाए। इस तरह की विसंगति को आसानी से पाया जा सकता है अगर हमारे हाथ में इस प्रकार के समझौते के लिए एक टेम्पलेट हो, लेकिन, उदाहरण के लिए, कई बार ऐसा होता है जब किसी अन्य कंपनी ने हमें अपने स्वयं के टेम्प्लेट के अनुसार एक अनुबंध भेजा है।
इस तरह की विसंगतियों का पता लगाने के लिए, हमें अपने अनुबंधों के आधार पर, अनिवार्य ऑफ़र / क्लॉज़ के सेट के साथ अनुबंध के लिए एक टेम्पलेट बनाने की आवश्यकता है, फिर से।

हम साथ आए और टेम्प्लेट के निर्माण के लिए एल्गोरिथ्म का परीक्षण किया। यह एल्गोरिथ्म मानता है कि अनुबंध के हमारे डेटाबेस में वस्तुओं के सही सेट के साथ एक समान अध्याय है, जिसे हम टेम्पलेट के रूप में पहचानना और संकेत करना चाहते हैं।

एल्गोरिथ्म:

1. अध्यायों के प्रत्येक समूह के लिए, मिनहाश एल्गोरिथ्म पर आधारित एक मॉडल को पूर्व-प्रशिक्षित करें, जो आपको करीबी ग्रंथों को जल्दी से खोजने की अनुमति देता है।
2. डाउनलोड किए गए अनुबंध के प्रत्येक अध्याय के लिए, डेटाबेस से इसके करीब पैराग्राफ की एक सूची खोजें।
3. प्राप्त करीबी पैराग्राफ के आधार पर, भाषा मॉडल का निर्माण करें और भाषा मॉडल द्वारा अनुमानित उच्चतम संभावना वाले टेम्पलेट पैराग्राफ के रूप में चयन करें।

प्रत्येक अध्याय के लिए एक टेम्प्लेट प्राप्त करने के बाद, हम उन अनुपलब्ध वस्तुओं को पहचान सकते हैं जो टेम्प्लेट में मौजूद हैं, लेकिन वर्तमान अनुबंध में नहीं हैं, और उन्हें जोड़ने के लिए वकील को सलाह दें।

7. पूर्ण पाइपलाइन

संक्षेप में और सभी चरणों को एक साथ इकट्ठा करने के लिए:

8. गुणवत्ता का आकलन

समस्या के समाधान की गुणवत्ता का आकलन करने के लिए, अनुबंधों का एक परीक्षण सेट बनाया गया था। विसंगतियों को शब्दों के भाग को हटाने, शब्दों / वाक्यांशों को वाक्यों में सम्मिलित करने, अन्य अध्यायों से वाक्य सम्मिलित करने, वाक्यों को हटाने के रूप में अनुबंधों में कृत्रिम रूप से जोड़ा गया था। हमने प्रत्येक प्रकार के विसंगति के लिए गुणवत्ता का मूल्यांकन किया और निर्धारण त्रुटियों के निम्नलिखित वितरण प्राप्त किए:


यही है, प्रस्तावित एल्गोरिथ्म हमें 5 में से 4 मामलों में गलत समावेशन निर्धारित करने की अनुमति देता है। यह ध्यान दिया जाना चाहिए कि प्रशिक्षण के नमूने की मात्रा में वृद्धि और विभिन्न प्रकारों के लिए अनुबंधों की क्लस्टरिंग के साथ, हम इस मूल्यांकन में सुधार प्राप्त कर सकते हैं।

9. दृश्य

समस्या के ऐसे समाधान की कल्पना करने के लिए, एक वेब इंटरफ़ेस लागू किया गया था जिसमें एक नया अनुबंध लोड किया जा सकता है, जिसके पाठ को पृष्ठ पर प्रदर्शित किया जाएगा और असामान्य ऑफ़र हाइलाइट किए जाएंगे। वाक्य का रंग जितना गहरा होगा, हम उतने ही पक्के होंगे कि यह विसंगतिपूर्ण है। क्योंकि हमें निकटतम प्रस्ताव मिला, हम इस अगले प्रस्ताव के रूप में उपयोगकर्ता के लिए संपादन की सलाह देते हैं, या हम प्रस्ताव के विशिष्ट भाग को बदलने की सलाह देते हैं यदि अगले में मूल के साथ थोड़ा अंतर है।

10. लागू कहां?

परिणामी सेवा का व्यावहारिक अनुप्रयोग उन मामलों में सबसे उपयुक्त है जहां एक ही प्रकार के दस्तावेजों की एक बड़ी संख्या की कानूनी शुद्धता की "स्ट्रीम" परीक्षा आवश्यक है: उदाहरण के लिए, जब जनता को जमानत ऋण जारी करना (बंधक, कार ऋण और बीमा)। उदाहरण के लिए, एक बंधक के मामले में, ये अचल संपत्ति, अचल संपत्ति और उधारकर्ता बीमा अनुबंध, संपत्ति बीमा अनुबंध आदि की बिक्री के लिए अनुबंध हैं। - प्रत्येक ग्राहक के डोजियर में पाठ के सैकड़ों पृष्ठ, जो लगभग तुरंत विश्लेषण किया जा सकता है, और असामान्य स्थानों पर जोखिम या धोखाधड़ी के विश्लेषण के लिए वकील को "हाइलाइट" किया जाएगा।

तो, मांस और रक्त से वकील पूरी तरह से नहीं कर सकते, लेकिन आधुनिक प्रौद्योगिकियां उन्हें जीवन को आसान बनाने की अनुमति देती हैं।

ऐलेना साननिकोवा ( हेलन_सुनी ) द्वारा तैयार सामग्री।