ओके गूगल: मैं कैप्चा के माध्यम से कैसे प्राप्त करूं?

नमस्ते मेरा नाम इबादोव इल्किन है, मैं यूराल संघीय विश्वविद्यालय का छात्र हूं।

इस लेख में मैं Google के कैप्चा के स्वचालित समाधान के साथ अपने अनुभव के बारे में बात करना चाहता हूं - "reCAPTCHA"। मैं पहले से ही पाठक को चेतावनी देना चाहूंगा कि लेख लिखते समय, प्रोटोटाइप उतनी कुशलता से काम नहीं करता है जितना कि शीर्षक से लग सकता है, हालाँकि, परिणाम दर्शाता है कि लागू किया जा रहा दृष्टिकोण समस्या को हल करने में सक्षम है।

संभवतः उनके जीवन में हर कोई एक कैप्चा भर में आया है: एक तस्वीर से पाठ दर्ज करें, एक सरल अभिव्यक्ति या एक जटिल समीकरण को हल करें, कारों, फायर हाइड्रेंट, पैदल यात्री क्रॉसिंग का चयन करें ... स्वचालित सिस्टम से संसाधनों की रक्षा करना आवश्यक है और सुरक्षा में एक महत्वपूर्ण भूमिका निभाता है - कैप्चा डीडीओएस हमलों से बचाता है। , स्वचालित पंजीकरण और पोस्टिंग, पार्सिंग, खातों के लिए स्पैम और पासवर्ड चयन को रोकता है।


"हैबे" पर पंजीकरण फॉर्म ऐसे कैप्चा के साथ हो सकता है।

मशीन लर्निंग प्रौद्योगिकियों के विकास के साथ, कैप्चा का प्रदर्शन जोखिम में हो सकता है। इस लेख में, मैं एक कार्यक्रम के प्रमुख बिंदुओं का वर्णन करता हूं जो Google reCAPTCHA (सौभाग्य से, हमेशा अब तक नहीं) में मैन्युअल रूप से छवियों का चयन करने की समस्या को हल कर सकते हैं।

कैप्चा के माध्यम से प्राप्त करने के लिए, इस तरह की समस्याओं को हल करना आवश्यक है: आवश्यक कैप्चा वर्ग का निर्धारण करना, वस्तुओं का पता लगाना और वर्गीकरण करना, कैप्चा कोशिकाओं का पता लगाना, कैप्चा (कर्सर आंदोलन, क्लिक) को हल करने में मानव गतिविधियों की नकल करना।

एक छवि में वस्तुओं की खोज करने के लिए, प्रशिक्षित तंत्रिका नेटवर्क का उपयोग किया जाता है जो कंप्यूटर पर डाउनलोड किया जा सकता है और छवियों या वीडियो में वस्तुओं को पहचान सकता है। लेकिन कैप्चा को हल करने के लिए, बस वस्तुओं का पता लगाना पर्याप्त नहीं है: आपको कोशिकाओं की स्थिति निर्धारित करने और यह पता लगाने की आवश्यकता है कि आप किन कोशिकाओं का चयन करना चाहते हैं (या बिल्कुल भी कोशिकाओं का चयन नहीं करना चाहते हैं)। इसके लिए, कंप्यूटर विज़न टूल्स का उपयोग किया जाता है: इस कार्य में, यह प्रसिद्ध OpenCV लाइब्रेरी है ।

छवि में वस्तुओं को खोजने के लिए, सबसे पहले, छवि को स्वयं की आवश्यकता होती है। मुझे स्क्रीन के एक हिस्से का स्क्रीनशॉट मिलता है जो PyAutoGUI मॉड्यूल का उपयोग करके वस्तुओं का पता लगाने के लिए पर्याप्त आयामों के साथ करता है। स्क्रीन के बाकी हिस्सों में, मैं डिबगिंग और मॉनिटरिंग प्रोग्राम प्रक्रियाओं के लिए विंडो प्रदर्शित करता हूं।

ऑब्जेक्ट डिटेक्शन

वस्तुओं का पता लगाना और वर्गीकरण करना तंत्रिका नेटवर्क क्या करता है। पुस्तकालय जो हमें तंत्रिका नेटवर्क के साथ काम करने की अनुमति देता है, उसे " टेंसरफ़्लो " (Google द्वारा विकसित) कहा जाता है। आज, विभिन्न डेटा पर आपकी पसंद के लिए कई अलग-अलग प्रशिक्षित मॉडल हैं , जिसका अर्थ है कि वे सभी एक अलग पहचान परिणाम लौटा सकते हैं: कुछ मॉडल वस्तुओं का बेहतर पता लगा पाएंगे, और कुछ बदतर।

इस पत्र में, मैं ssd_mobilenet_v1_coco मॉडल का उपयोग कर रहा हूं। चयनित मॉडल को COCO डेटासेट पर प्रशिक्षित किया गया था, जिसमें 90 अलग-अलग वर्गों (लोगों और कारों से लेकर टूथब्रश और कंघी) पर प्रकाश डाला गया था। अब ऐसे अन्य मॉडल हैं जो एक ही डेटा पर प्रशिक्षित हैं, लेकिन विभिन्न मापदंडों के साथ। इसके अलावा, इस मॉडल में इष्टतम प्रदर्शन और सटीकता पैरामीटर हैं, जो एक डेस्कटॉप कंप्यूटर के लिए महत्वपूर्ण है। सूत्र का कहना है कि 300 x 300 पिक्सल के एक फ्रेम के लिए प्रसंस्करण समय 30 मिली सेकेंड है। "Nvidia GeForce GTX TITAN X" पर।

तंत्रिका नेटवर्क का परिणाम सरणियों का एक सेट है:

• का पता चला वस्तुओं की कक्षाओं की सूची के साथ (उनके पहचानकर्ता);
• ज्ञात वस्तुओं की रेटिंग की सूची के साथ (प्रतिशत में);
• ज्ञात वस्तुओं ("बक्से") के निर्देशांक की एक सूची के साथ।

इन सरणियों में तत्वों के सूचकांक एक-दूसरे के अनुरूप हैं, अर्थात्: ऑब्जेक्ट कक्षाओं के सरणी में तीसरा तत्व ज्ञात वस्तुओं के "बक्से" के सरणी में तीसरे तत्व और ऑब्जेक्ट रेटिंग के सरणी में तीसरे तत्व से मेल खाता है।


चयनित मॉडल आपको वास्तविक समय में 90 वर्गों की वस्तुओं का पता लगाने की अनुमति देता है।

सेल का पता लगाना

"OpenCV" हमें " सर्किट " नामक संस्थाओं के साथ काम करने की क्षमता प्रदान करता है: उन्हें "OpenCV" लाइब्रेरी से "findContours ()" फ़ंक्शन द्वारा ही पता लगाया जा सकता है। ऐसे फ़ंक्शन के इनपुट के लिए एक द्विआधारी छवि प्रस्तुत करना आवश्यक है, जिसे थ्रेशोल्ड ट्रांसफ़ॉर्मेशन फ़ंक्शन द्वारा प्राप्त किया जा सकता है:

_retval, binImage = cv2.threshold(image,254,255,cv2.THRESH_BINARY) contours = cv2.findContours(binImage, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0] 

दहलीज परिवर्तन समारोह के मापदंडों के चरम मूल्यों को निर्धारित करने के बाद, हम विभिन्न प्रकार के शोर से भी छुटकारा पा लेते हैं। इसके अलावा, अनावश्यक छोटे तत्वों और शोर की मात्रा को कम करने के लिए, रूपात्मक परिवर्तनों को लागू किया जा सकता है: कटाव (संपीड़न) और बिल्ड-अप (विस्तार) कार्य। ये फ़ंक्शन भी OpenCV का हिस्सा हैं। परिवर्तनों के बाद, समोच्चों का चयन किया जाता है, जिनकी संख्याओं की संख्या चार होती है (पूर्ववर्ती समतुल्य कार्य को समकोण पर किया जाता है)।


पहली विंडो में, थ्रेशोल्ड परिवर्तन का परिणाम है। दूसरा रूपात्मक परिवर्तन का एक उदाहरण है। तीसरी विंडो में, सेल और कैप्चा कैप पहले से ही चुने गए हैं: रंगीन रूप से प्रकाश डाला।

सभी परिवर्तनों के बाद, जो कंट्रोल्स सेल नहीं होते हैं, वे अभी भी सेल के साथ अंतिम सरणी में आते हैं। अनावश्यक शोरों को छानने के लिए, मैं लंबाई (परिधि) और आकृति के क्षेत्र के मूल्यों के अनुसार चयन करता हूं।

यह प्रायोगिक रूप से पता चला था कि ब्याज के सर्किट के मूल्य 360 से 900 इकाइयों तक हैं। यह मान स्क्रीन पर 15.6 इंच के विकर्ण और 1366 x 768 पिक्सेल के रिज़ॉल्यूशन के साथ चुना गया है। इसके अलावा, आकृति के संकेतित मानों की गणना उपयोगकर्ता की स्क्रीन के आकार के आधार पर की जा सकती है, लेकिन बनाए गए प्रोटोटाइप में ऐसा कोई लिंक नहीं है।

कोशिकाओं का पता लगाने के लिए चुने गए दृष्टिकोण का मुख्य लाभ यह है कि हम इस बात की परवाह नहीं करते हैं कि ग्रिड कैसा दिखेगा और कैप्चा पृष्ठ पर कितनी कोशिकाएँ प्रदर्शित होंगी: 8, 9 या 16।


छवि विभिन्न प्रकार के कैप्चा जाल दिखाती है। कृपया ध्यान दें कि कोशिकाओं के बीच की दूरी अलग है। एक दूसरे से कोशिकाओं को अलग करने के लिए रूपात्मक संपीड़न की अनुमति देता है।

आकृति का पता लगाने का एक अतिरिक्त लाभ यह है कि ओपनसीवी हमें अपने केंद्रों का पता लगाने की अनुमति देता है (हमें आंदोलन और माउस क्लिक के निर्देशांक निर्धारित करने के लिए उनकी आवश्यकता है)।

चयन करने के लिए कोशिकाओं का चयन

अनावश्यक शोर सर्किट के बिना कैप्चा कोशिकाओं के स्वच्छ आकृति के साथ एक सरणी होने के बाद, हम प्रत्येक कैप्चा सेल ("सर्किट" शब्दावली "ओपनसीवी") के माध्यम से चक्र कर सकते हैं और यह जांच सकते हैं कि यह तंत्रिका नेटवर्क से प्राप्त वस्तु के "बॉक्स" के साथ अंतर करता है या नहीं।

इस तथ्य को स्थापित करने के लिए, कोशिकाओं के समान सर्किट में "बॉक्स" का पता लगाया गया था। लेकिन यह दृष्टिकोण गलत हो गया, क्योंकि जब वस्तु कोशिका के अंदर स्थित होती है, तो इसे एक प्रतिच्छेदन नहीं माना जाता है। स्वाभाविक रूप से, ऐसी कोशिकाएं कैप्चा में बाहर नहीं खड़ी थीं।

काली चादर पर प्रत्येक सेल (सफेद भरण के साथ) की रूपरेखा को पुनः हल करके समस्या का समाधान किया गया। इसी तरह से, एक वस्तु के साथ एक फ्रेम की एक द्विआधारी छवि प्राप्त की गई थी। सवाल उठता है - अब ऑब्जेक्ट के छायांकित फ्रेम के साथ सेल के चौराहे के तथ्य को कैसे स्थापित किया जाए? कोशिकाओं के साथ एक सरणी के प्रत्येक पुनरावृत्ति में, दो बाइनरी छवियों पर एक डिसंक्शन ऑपरेशन (तार्किक या) किया जाता है। नतीजतन, हमें एक नई बाइनरी इमेज मिलती है जिसमें इंटरसेक्ट किए गए क्षेत्रों को हाइलाइट किया जाएगा। यही है, अगर ऐसे क्षेत्र हैं, तो सेल और ऑब्जेक्ट के फ्रेम को प्रतिच्छेद करते हैं। प्रोग्रामेटिक रूप से, इस तरह के चेक को " .any () " विधि का उपयोग करके किया जा सकता है: यदि कोई इकाइयाँ नहीं हैं, तो सरणी में एक या "गलत" के बराबर कम से कम एक तत्व होने पर यह "सही" वापस आ जाएगा।


इस मामले में छवि "लॉजिकल या" के लिए "कोई भी ()" फ़ंक्शन सही वापस आ जाएगा और इस तरह से पता चला वस्तु के फ्रेम क्षेत्र के साथ सेल के प्रतिच्छेदन के तथ्य को स्थापित करेगा।

प्रबंध

"पायथन" में कर्सर नियंत्रण "win32api" मॉड्यूल के लिए उपलब्ध कराया गया है (हालांकि, बाद में यह पता चला कि "PyAutoGUI" परियोजना में पहले से ही आयात किया गया है, यह भी जानता है कि यह कैसे करना है)। बाईं माउस बटन को दबाने और जारी करने के साथ-साथ कर्सर को वांछित निर्देशांक तक ले जाना, win32api मॉड्यूल के संबंधित कार्यों द्वारा किया जाता है। लेकिन प्रोटोटाइप में, कर्सर आंदोलन के दृश्य अवलोकन प्रदान करने के लिए उन्हें उपयोगकर्ता-परिभाषित कार्यों में लपेटा गया था। यह प्रदर्शन को नकारात्मक रूप से प्रभावित करता है और केवल प्रदर्शन के लिए लागू किया गया था।

विकास प्रक्रिया के दौरान, एक यादृच्छिक क्रम में कोशिकाओं को चुनने का विचार उत्पन्न हुआ। यह संभव है कि यह व्यावहारिक अर्थ नहीं रखता है (स्पष्ट कारणों के लिए, Google हमें कैप्चा ऑपरेशन के तंत्र की टिप्पणी और विवरण नहीं देता है), लेकिन अराजक तरीके से कोशिकाओं के माध्यम से कर्सर को स्थानांतरित करना अधिक मजेदार लगता है।


एनीमेशन पर, परिणाम "random.shuffle (boxForSelect)" है।

पाठ मान्यता

सभी उपलब्ध विकासों को एक एकल में संयोजित करने के लिए, एक और लिंक की आवश्यकता है: कैप्चा से आवश्यक वर्ग के लिए एक मान्यता इकाई। हम पहले से ही जानते हैं कि छवि में विभिन्न वस्तुओं को कैसे पहचाना और अलग करना है, हम मनमाने ढंग से कैप्चा कोशिकाओं पर क्लिक कर सकते हैं, लेकिन हम यह नहीं जानते हैं कि किन कोशिकाओं पर क्लिक करना है। इस समस्या को हल करने का एक तरीका कैप्चा हेडिंग से टेक्स्ट को पहचानना है। सबसे पहले, मैंने ऑप्टिकल कैरेक्टर रिकग्निशन टूल " टेसरैक्ट-ओसीआर " का उपयोग करके टेक्स्ट रिकग्निशन को लागू करने की कोशिश की।

नवीनतम संस्करणों में, सीधे इंस्टॉलर विंडो में भाषा पैक स्थापित करना संभव है (पहले यह मैन्युअल रूप से किया गया था)। अपनी परियोजना में टेसरैक्ट-ओसीआर को स्थापित करने और आयात करने के बाद, मैंने कैप्चा हेडर से पाठ को पहचानने की कोशिश की।

परिणाम, दुर्भाग्य से, मुझे बिल्कुल प्रभावित नहीं किया। मैंने तय किया कि हेडर में पाठ को बोल्ड में हाइलाइट किया गया था और एक कारण के लिए विलय कर दिया गया था, इसलिए मैंने छवि में विभिन्न परिवर्तनों को लागू करने की कोशिश की: द्वैरीकरण, संकीर्णता, विस्तार, धुंधलापन, विकृति और संचालन आकार। दुर्भाग्य से, इसने एक अच्छा परिणाम नहीं दिया: सबसे अच्छे मामलों में, केवल कक्षा के अक्षरों का एक हिस्सा निर्धारित किया गया था, और जब परिणाम संतोषजनक था, तो मैंने उसी परिवर्तनों को लागू किया, लेकिन अन्य कैप (विभिन्न पाठ के साथ) के लिए, और परिणाम फिर से खराब हो गया।


Tesseract-OCR कैप्स की पहचान आमतौर पर असंतोषजनक परिणाम का कारण बनी।

असमान रूप से यह कहना असंभव है कि "टेसरैक्ट-ओसीआर" पाठ को अच्छी तरह से नहीं पहचानता है, ऐसा नहीं है: उपकरण अन्य छवियों (कैप्चा कैप्स नहीं) के साथ बहुत बेहतर है।

मैंने एक तृतीय-पक्ष सेवा का उपयोग करने का निर्णय लिया, जिसने मुफ्त में काम करने के लिए एपीआई की पेशकश की (ईमेल पते पर एक कुंजी का पंजीकरण और रसीद आवश्यक है)। सेवा में प्रति दिन 500 पहचान की सीमा है, लेकिन संपूर्ण विकास अवधि के लिए मुझे सीमाओं के साथ कोई समस्या नहीं हुई है। इसके विपरीत: मैंने हेडर की मूल छवि को सेवा में प्रस्तुत किया (बिना कोई परिवर्तन लागू किए) और परिणाम ने मुझे सुखद प्रभावित किया।

सेवा से शब्द त्रुटियों के बिना व्यावहारिक रूप से वापस आ गए थे (आमतौर पर छोटे प्रिंट में लिखे गए)। इसके अलावा, वे एक बहुत ही सुविधाजनक प्रारूप में लौट आए - लाइन ब्रेक वर्णों के साथ लाइन से टूट गया। सभी छवियों में, मुझे केवल दूसरी पंक्ति में दिलचस्पी थी, इसलिए मैंने इसे सीधे एक्सेस किया। यह आनन्दित नहीं कर सकता है, क्योंकि इस तरह के प्रारूप ने मुझे एक पंक्ति तैयार करने की आवश्यकता से मुक्त कर दिया: मुझे पूरे पाठ की शुरुआत या अंत में कटौती करने की ज़रूरत नहीं थी, "ट्रिम्स", प्रतिस्थापन, नियमित अभिव्यक्ति के साथ काम करें और एक शब्द पर प्रकाश डालने के उद्देश्य से लाइन पर अन्य संचालन करें। (और कभी-कभी दो!) - एक अच्छा बोनस!

 text = serviceResponse['ParsedResults'][0]['ParsedText'] #   JSON lines = text.splitlines() #   print("Recognized " + lines[1]) #  ! 

एक सेवा जिसने पाठ को मान्यता दी, उसने कक्षा के नाम के साथ कभी गलती नहीं की, लेकिन मैंने फिर भी एक संभावित त्रुटि के लिए वर्ग नाम का हिस्सा छोड़ने का फैसला किया। यह वैकल्पिक है, लेकिन मैंने देखा कि "टेसरैक्ट-ओसीआर" कुछ मामलों में गलत तरीके से बीच से शुरू होने वाले शब्द के अंत को पहचानता है। इसके अलावा, यह दृष्टिकोण लंबे वर्ग के नाम या दो-शब्द के नाम के मामले में आवेदन की त्रुटि को समाप्त करता है (इस मामले में, सेवा 3 नहीं, बल्कि 4 पंक्तियों में वापस आ जाएगी, और मुझे दूसरी पंक्ति में कक्षा का पूरा नाम नहीं मिल सकता है)।


एक तृतीय-पक्ष सेवा छवि पर किसी भी परिवर्तन के बिना वर्ग नाम को अच्छी तरह से पहचानती है।

मर्ज के घटनाक्रम

हेडर से टेक्स्ट प्राप्त करना पर्याप्त नहीं है। यह उपलब्ध मॉडल वर्गों के पहचानकर्ताओं के साथ तुलना करने की आवश्यकता है, क्योंकि वर्ग सरणी में तंत्रिका नेटवर्क बिल्कुल कक्षा पहचानकर्ता देता है, और इसका नाम नहीं, जैसा कि यह प्रतीत हो सकता है। जब एक नियम के रूप में, मॉडल का प्रशिक्षण किया जाता है, तो एक फ़ाइल बनाई जाती है जिसमें कक्षा के नाम और उनके पहचानकर्ताओं की तुलना की जाती है (उर्फ "लेबल मैप")। मैंने इसे आसान बनाने और वर्ग पहचानकर्ताओं को मैन्युअल रूप से निर्दिष्ट करने का फैसला किया, क्योंकि कैप्चा को अभी भी रूसी में कक्षाएं लेनी पड़ती हैं (वैसे, इसे बदला जा सकता है:

 if "" in query: #       classNum = 3 #   "label map"  elif "" in query: classNum = 10 elif "" in query: classNum = 11 ... 

ऊपर वर्णित सब कुछ कार्यक्रम के मुख्य चक्र में पुन: पेश किया जाता है: ऑब्जेक्ट के फ्रेम, सेल, उनके चौराहों को निर्धारित किया जाता है, कर्सर चलता है और क्लिक करता है। जब किसी शीर्ष लेख का पता लगाया जाता है, तो पाठ पहचान की जाती है। यदि तंत्रिका नेटवर्क आवश्यक वर्ग का पता नहीं लगा सकता है, तो छवि का एक मनमाना बदलाव 5 बार तक किया जाता है (यानी, तंत्रिका नेटवर्क में इनपुट बदल जाता है), और यदि पहचान अभी भी नहीं होती है, तो "छोड़ें / पुष्टि करें" बटन पर क्लिक किया जाता है (इसकी स्थिति इसी तरह पाई जाती है कोशिकाओं और टोपियों का पता लगाना)।

यदि आप अक्सर कैप्चा को हल करते हैं, तो आप चित्र का निरीक्षण कर सकते हैं जब चयनित सेल गायब हो जाता है, और एक नया धीरे-धीरे और धीरे-धीरे अपनी जगह पर दिखाई देता है। चूंकि प्रोटोटाइप को सभी कोशिकाओं का चयन करने के बाद तुरंत अगले पृष्ठ पर जाने के लिए प्रोग्राम किया जाता है, इसलिए मैंने धीरे-धीरे दिखने वाली सेल पर वस्तुओं का पता लगाए बिना "अगला" बटन पर क्लिक करने के लिए 3 सेकंड रुकने का फैसला किया।

लेख पूरा नहीं होगा यदि इसमें सबसे महत्वपूर्ण बात का विवरण शामिल नहीं है - सफलतापूर्वक कैप्चा पास करने के लिए एक चेकमार्क। मैंने फैसला किया कि एक साधारण टेम्पलेट तुलना यह कर सकती है। यह ध्यान देने योग्य है कि पैटर्न का मिलान वस्तुओं का पता लगाने के सर्वोत्तम तरीके से दूर है। उदाहरण के लिए, मुझे डिटेक्शन सेंसिटिविटी को "0.01" पर सेट करना था ताकि फंक्शन को हर चीज में टिक देखना बंद हो जाए, लेकिन इसे तब देखा जब वास्तव में एक टिक हो। इसी तरह, मैंने एक खाली चेकबॉक्स के साथ काम किया जो उपयोगकर्ता से मिलता है और जिसमें से कैप्चा शुरू होता है (संवेदनशीलता के साथ कोई समस्या नहीं थी)।

परिणाम

सभी वर्णित कार्यों का परिणाम एक आवेदन था, जिसका प्रदर्शन मैंने " टोस्टर " पर परीक्षण किया था:


यह पहचानने योग्य है कि पहली कोशिश में वीडियो शूट नहीं किया गया था, क्योंकि मुझे अक्सर उन कक्षाओं को चुनने की आवश्यकता होती है जो मॉडल में नहीं हैं (उदाहरण के लिए, पैदल यात्री क्रॉसिंग, सीढ़ियां या दुकान की खिड़कियां)।

"Google reCAPTCHA" साइट पर एक निश्चित मान लौटाता है, यह दर्शाता है कि "आप एक रोबोट कैसे हैं", और साइट प्रशासक, बदले में, इस मान को पारित करने के लिए एक सीमा निर्धारित कर सकते हैं। यह संभव है कि टोस्टर पर अपेक्षाकृत कम कैप्चा सीमा निर्धारित की गई थी। यह इस कार्यक्रम के द्वारा कैप्चा के आसान मार्ग को समझाता है, इस तथ्य के बावजूद कि इसे दो बार गलत किया गया था, पहले पृष्ठ से ट्रैफ़िक लाइट और कैप्चा के चौथे पृष्ठ से अग्नि हाइड्रेंट को नहीं देखना।

टोस्टर के अलावा, आधिकारिक reCAPTCHA डेमो पेज पर प्रयोग किए गए थे। नतीजतन, यह देखा गया कि कई गलत तरीकों (और गैर-हिरासत) के बाद, कैप्चा प्राप्त करना किसी व्यक्ति के लिए भी बेहद मुश्किल हो जाता है: नई कक्षाओं की आवश्यकता होती है (जैसे ट्रैक्टर और ताड़ के पेड़), वस्तुओं के बिना कोशिकाएं नमूनों में दिखाई देती हैं (लगभग नीरस रंग) और पृष्ठों की संख्या नाटकीय रूप से बढ़ जाती है। गुजरना।

यह विशेष रूप से ध्यान देने योग्य था जब मैंने वस्तुओं का पता नहीं लगाने के कारण यादृच्छिक मॉडल पर क्लिक करने का प्रयास किया (मॉडल में उनकी अनुपस्थिति के कारण)। इसलिए, हम यह सुनिश्चित करने के लिए कह सकते हैं कि यादृच्छिक क्लिक समस्या का समाधान नहीं करेंगे। परीक्षक द्वारा इस तरह के "रुकावट" से छुटकारा पाने के लिए, हमने इंटरनेट कनेक्शन को फिर से जोड़ दिया और ब्राउज़र डेटा को साफ कर दिया, क्योंकि इस तरह की परीक्षा पास करना असंभव हो गया - यह लगभग अंतहीन था!


यदि आप अपनी मानवता पर संदेह करते हैं, तो ऐसा परिणाम संभव है।

विकास

यदि लेख और आवेदन पाठक की रुचि पैदा करते हैं, तो मैं खुशी से इसके कार्यान्वयन, परीक्षण और आगे के विवरण को और अधिक विस्तृत रूप में जारी रखूंगा।

यह उन कक्षाओं को खोजने के बारे में है जो वर्तमान नेटवर्क का हिस्सा नहीं हैं, इससे एप्लिकेशन की दक्षता में बहुत सुधार होगा। फिलहाल, कम से कम ऐसी कक्षाओं को पहचानने की तत्काल आवश्यकता है: पैदल यात्री क्रॉसिंग, दुकान की खिड़कियां और चिमनी - मैं आपको बताऊंगा कि मॉडल को कैसे फिर से चलाना है। विकास के दौरान, मैंने सबसे सामान्य वर्गों की एक छोटी सूची बनाई:

• पैदल यात्री क्रॉसिंग;
• अग्नि हाइड्रेंट;
• खिड़कियों की दुकान
• ग्रिप पाइप;
• कारों;
• बसों;
• ट्रैफिक लाइट;
• साइकिल;
• यातायात के साधन;
• सीढ़ी;
• संकेत।

एक ही समय में कई मॉडलों का उपयोग करके ऑब्जेक्ट डिटेक्शन की गुणवत्ता में सुधार किया जा सकता है: यह प्रदर्शन को कम कर सकता है, लेकिन सटीकता बढ़ा सकता है।

ऑब्जेक्ट्स का पता लगाने की गुणवत्ता में सुधार करने का एक और तरीका यह है कि छवि इनपुट को तंत्रिका नेटवर्क में बदल दिया जाए: वीडियो में, आप देख सकते हैं कि जब ऑब्जेक्ट्स का पता नहीं लगाया जाता है, तो मैं कई बार एक मनमाना इमेज शिफ्ट करता हूं (10 पिक्सेल के भीतर क्षैतिज और लंबवत), और अक्सर यह ऑपरेशन आपको उन वस्तुओं को देखने की अनुमति देता है जो पहले थीं। पता नहीं चला।

एक छोटे वर्ग से बड़े (300 x 300 पिक्सेल तक) छवि में वृद्धि भी अनिर्धारित वस्तुओं का पता लगाने की ओर ले जाती है।


बाईं ओर कोई वस्तु नहीं मिली: मूल वर्ग जिसमें 100 पिक्सेल साइड हों। दाईं ओर, एक बस का पता लगाया जाता है: 300 x 300 पिक्सेल तक का एक वर्गाकार वर्ग।

एक और दिलचस्प परिवर्तन OpenCV टूल का उपयोग करके छवि पर सफेद ग्रिड को हटाने का है: यह संभव है कि इस कारण से वीडियो में फायर हाइड्रेंट का पता नहीं लगाया गया था (यह वर्ग तंत्रिका नेटवर्क में मौजूद है)।


बाईं ओर मूल छवि है, और दाईं ओर वह छवि है जिसे ग्राफिक्स संपादक में बदल दिया गया था: ग्रिड को हटा दिया जाता है, कोशिकाओं को एक दूसरे में स्थानांतरित कर दिया जाता है।

परिणाम

इस लेख के साथ, मैं आपको बताना चाहता था कि कैप्चा बॉट के खिलाफ शायद सबसे अच्छा संरक्षण नहीं है, और यह बहुत संभव है कि निकट भविष्य में स्वचालित सिस्टम के खिलाफ सुरक्षा के नए साधनों की आवश्यकता होगी।

विकसित प्रोटोटाइप, यहां तक ​​कि एक अधूरा राज्य में होने के नाते, यह दर्शाता है कि तंत्रिका नेटवर्क मॉडल में आवश्यक कक्षाएं और छवियों पर परिवर्तनों को लागू करने के साथ, ऐसी प्रक्रिया के स्वचालन को प्राप्त करना संभव है जो स्वचालित नहीं होना चाहिए।

इसके अलावा, मैं इस तथ्य पर Google का ध्यान आकर्षित करना चाहूंगा कि इस आलेख में वर्णित कैप्चा को दरकिनार करने की विधि के अलावा, एक अन्य तरीका भी है जिसमें एक ऑडियो नमूना पारगमन किया जाता है । मेरी राय में, अब रोबोट के खिलाफ सॉफ्टवेयर उत्पादों और एल्गोरिदम की गुणवत्ता में सुधार से संबंधित उपाय करना आवश्यक है।

सामग्री की सामग्री और सार से, ऐसा लग सकता है कि मुझे Google और विशेष रूप से, reCAPTCHA पसंद नहीं है, लेकिन यह मामले से बहुत दूर है, और यदि कोई अगला कार्यान्वयन है, तो मैं आपको बताऊंगा कि क्यों।

सूचना सुरक्षा सुनिश्चित करने के उद्देश्य से शिक्षा में सुधार और तरीकों में सुधार के लिए विकसित और प्रदर्शन किया गया।

आपका ध्यान के लिए धन्यवाद।