एक भेद्यता स्कैनर कैसे लिखें और कारनामों पर पैसा कमाएं

TLDR : मैंने सुरक्षा गार्ड के रूप में अपनी नौकरी कैसे छोड़ी , इसके बारे में और अपनी भेद्यता स्कैनर लिखी।
और आप इस पर पैसे कैसे कमा सकते हैं। अंत में स्कैनर कोड और विनिर्देशन के टुकड़े हैं।

कौन और क्या टूटता है

1970 के दशक में, बहुत समय पहले, इंटरनेट इस तरह दिखता था।

उनके लिए मुख्य खतरा शोधकर्ताओं और उत्साही थे जो बड़े निगमों के प्रलेखन और नेटवर्क के लिए सबसे पहले थे।

तब से, इंटरनेट बहुत बदल गया है। नेटवर्क, सेवाओं और वेब अनुप्रयोगों पर हमले एक दैनिक घटना बन गए हैं। हर दिन, डेवलपर्स और शोधकर्ताओं ने दर्जनों कमजोरियों का पता लगाया। समानांतर में, हजारों साइटों को हैक किया जा रहा है।

यह कास्परस्की लैब के हमले के नक्शे पर स्पष्ट रूप से दिखाई देता है। यह आईडीएस ट्रिगर, भेद्यता स्कैन और बॉटनेट हमलों को प्रदर्शित करता है। नक्शा इतनी सुंदर तस्वीर जैसा दिखता है और इसमें केवल रूस में प्रति दिन लाखों हमले होते हैं।

साइबर अपराध शौकीनों द्वारा नहीं, बल्कि दर्जनों लोगों के संगठित समूहों द्वारा किया जाता है। वे इस ब्याज से बाहर करते हैं। यह एक व्यवसाय है। वे काले डाकू में नहीं हैं जो मॉनिटर के सामने रात में "ब्लैक K0d" लिख रहे हैं। ये दुनिया के विभिन्न देशों में कार्यालयों में काम करने वाले सामाजिक रूप से सक्रिय लोग हैं।

मेरा कैरियर ऐसा था कि कई वर्षों तक मैं नेटवर्क परिधि की सुरक्षा और वेब अनुप्रयोगों की सुरक्षा के लिए जिम्मेदार था। उस अवधि के मेरे अनुभवों के परिणामस्वरूप, मैं इस लेख में बताऊंगा।

यदि आप एक दूरसंचार, बैंक, प्रदाता में काम करते हैं या आप एक बड़ी कंपनी में डेवलपर हैं, और विशेष रूप से यदि आप एक सुरक्षा व्यक्ति हैं, तो आप जानते हैं कि 10-15 से अधिक साइटों वाली कंपनी में ट्रैश, नरक, मृत्यु है।

आइए स्थिति को सुधारने का प्रयास करें। उनका कहना है कि सुरक्षा एक प्रक्रिया है।
और बहुत सारी प्रक्रियाएँ हैं।

संक्षेप में उन्हें सूचीबद्ध करें:

• खतरा प्रबंधन
• भेद्यता प्रबंधन
• जोखिम प्रबंधन
• पैच प्रबंधन
• पहचान और अतिरिक्त प्रबंधन
• सुरक्षा सहायता
• सुरक्षा प्रदाता प्रबंधन
  और अन्य।

हम लेख में सूचीबद्ध प्रजातियों पर विचार नहीं करेंगे, चीयर्स।
उनमें से कई हैं, और लाभ संगठन के आकार, संपत्ति के प्रकार और उनकी आलोचना के आधार पर भिन्न होते हैं।

हम एक ऐसी प्रक्रिया के बारे में बात करेंगे जिससे छोटे व्यवसायों को भी लाभ होगा।
एक ऑनलाइन स्टोर से, सैकड़ों डेटा केंद्रों के साथ एक विशाल निगम को राजस्व के सैकड़ों हजारों रूबल से।

भेद्यता का पता लगाने

यह समझने के लिए कि हमें दरार करने के तरीके क्या हैं, चलो एक हमलावर की आंखों के माध्यम से खुद को देखें।

सुरक्षा विश्लेषण में कई चरण होते हैं। प्रत्येक चरण के लिए मैं उपयोगिताओं का एक मूल सेट दूंगा जो आप उपयोग कर सकते हैं।

• आईपी, डोमेन, सबनेट के बारे में जानकारी जुटाना हमारा लक्ष्य है। सामने के दरवाजे पर दस्तक देने के बजाय, कम सुरक्षित प्रवेश बिंदु ढूंढना बेहतर है।
  

  dnsrecon, Fierce, Censys, reverse-PTR-lookup. 

• ज्ञात कमजोरियों (सीवीई) के लिए सेवाओं का विश्लेषण। उनके लिए सार्वजनिक कारनामे आम हैं।
  

   Vulners, exploit-DB, NIST, CVEdetails 

• कमजोर पासवर्ड के लिए सेवाओं का विश्लेषण।
  

   potator, hydra 

• वेब अनुप्रयोगों की भेद्यता विश्लेषण
  

   Zap, Burp, w3af, Arachni 

एकाएक

ठीक ठाक। हमारे पास 1 साइट की जांच करने का एक तरीका और उपकरण हैं।
एक सेवा की जांच करने और उसका विश्लेषण करने, उसे अच्छी तरह जानने के लिए - एक सप्ताह या अधिक समय लगने में कई दिन लगेंगे।

शांत नहीं

समस्या यह है कि हमारे पास एक से अधिक सेवाएँ हो सकती हैं। और उदाहरण के लिए / 20 सबनेट।
4096 पते। प्रत्येक में 65535 सेवाएं हो सकती हैं। शांत नहीं।

हां, स्वचालित समाधान हैं। Qualys, Acunetix, Nessus, घरेलू विक्रेता हैं। वे अच्छे और बुरे क्या हैं, इसका विश्लेषण करते हुए, मैं दूसरे लेख के लिए जाने का प्रस्ताव करता हूं।

उन्होंने मेरी समस्याओं का समाधान नहीं किया। मैंने तय किया कि मुझे इसे ठीक करने की आवश्यकता है। उन्होंने अपनी नौकरी छोड़ दी और लगभग एक साल तक वह और मेरे साथी विकास के लिए निकल गए।

भेद्यता स्कैनर कैसे लिखें

आइए हम उस प्रणाली के लिए आवश्यकताओं के साथ शुरू करें जिसे हम प्राप्त करना चाहते थे:

• टोह लेता है और लक्ष्य डोमेन और आईपी का पता लगाता है
• नेटवर्क परिधि पर नज़र रखता है। वह देखता है कि सीमा में कोई नया पता दिखाई देता है या संरक्षित साइट पर एक उपडोमेन दिखाई देता है
• लगातार पते की जांच करता है, देखता है कि नेटवर्क पोर्ट कब खुले और बंद हों
• कमजोरियों और प्रसिद्ध बैनर / सीपीई कारनामों को ढूंढता है
• कमजोर पासवर्ड को उठाता है
• एप्लिकेशन और OS कॉन्फ़िगरेशन त्रुटियों को ढूँढता है
• CMS और उनके प्लग इन में कमजोरियों को ढूंढता है
• XSS, SQLi, XXE, RCE, LFI, RFI और OWASP से 10 तक इंटरएक्टिव पाता है जो स्वचालित रूप से खोजा जा सकता है
• वह इसे एक से अधिक बार करता है, लेकिन लगातार मेरे संसाधनों की जांच करता है और प्रतिक्रिया देता है कि क्या नई कमजोरियां उत्पन्न होती हैं

उपयोगकर्ता बड़ी नेटवर्क श्रेणियों के स्वामी हैं, जो कि 10 या अधिक वेब एप्लिकेशन वाले हैं।
यह वेब कमजोरियों, कमजोर पासवर्ड, कॉन्फ़िगरेशन त्रुटियों के लिए दैनिक समानांतर स्कैनिंग प्रदान करने और सैकड़ों आईपी और वेबसाइटों के लिए आउटगोइंग कारनामे दिखाने के लिए आवश्यक है।

ऐसा करने के लिए, क्षैतिज रूप से स्केलेबल सिस्टम का उपयोग करें। आप इस पर नए नोड्स और नए प्रकार के स्कैनर जोड़ सकते हैं। अब स्कैनर 7 नोड्स का उपयोग करता है और जर्मनी और यूएसए में 2 इंटरैक्शन स्थानों में विभाजित है। यदि दिलचस्पी है, तो हम इस बारे में एक अन्य लेख में लिखेंगे।

हमने सोचा कि इस तरह के स्कैनर को कैसे लिखा जाए। हमने महसूस किया कि इस तरह के सिस्टम से स्क्रैच लिखना बहुत कम मायने रखता है। इसके लिए विभिन्न प्लेटफार्मों की विशाल अनुभव और समझ, नेटवर्क फ़िंगरप्रिंट के अपने स्वयं के डेटाबेस, सीवीई के अपने स्वयं के डेटाबेस और उनके लिए शोषण, और वेब अनुप्रयोगों की सुरक्षा के विश्लेषण के लिए समर्पित एक विशाल प्रणाली की आवश्यकता थी।

जहां उत्पाद लाइसेंस इसे अनुमति देता है, हमने खुले स्रोत के विकास का उपयोग करने का निर्णय लिया। ऐसे घटक हैं जो बंद स्रोत हैं, लेकिन व्यावसायिक उपयोग के लिए मुफ्त हैं। काफी कुछ स्व-लिखित और कांटा ओपन-सोर्स प्रोजेक्ट हैं।

तो, हमारे पास लगभग 20 अलग-अलग एप्लिकेशन हैं, जो कि स्वचालित पेंटेंट के लिए L3-L7 स्तर को कवर करने के लिए आवश्यक घटक हैं।

स्कैनर के लिए इंटरफ़ेस

प्रत्येक स्क्रिप्ट, PoC विभाजन या बाइनरी स्कैनिंग शुरू करने के लिए विभिन्न मापदंडों को स्वीकार करता है। बहुत सुविधाजनक नहीं है। मैं किसी भी संभावित स्कैनर को लॉन्च करने के लिए एक एकीकृत प्रारूप प्राप्त करना चाहता था।

हमने इस बारे में सोचा कि लक्ष्य को पहचानने के लिए किसी भी संभावित स्कैनर की क्या आवश्यकता है। एक टेबल तैयार की।

एक प्रारंभिक नैम चेक और एक प्लगइन जो प्रत्येक होस्ट के लिए CVEdetails तक पहुंचता है, के बाद हमें ऐसी वस्तुओं का एक सेट मिलता है। हम उन्हें मेटाडेटा कहते हैं।

JSON प्रतिनिधित्व:

            {             "cves": [],             "service": "mysql",             "protocol": "tcp",             "target": "example.com",             "time": "1513941789",             "product": "mysql",             "vendor": "mysql",             "version": "5.1.63-community",             "port": 3306,             "uri": ""           } 

लक्ष्य पर प्रत्येक पोर्ट के लिए, हमें ऐसे मेटाडेटा का एक सेट मिलता है। अब आपको यह समझने की आवश्यकता है कि हमारे कौन से स्कैनर इस उद्देश्य के लिए काम करना चाहते हैं।

सभी स्कैनर में एक अभिभावक होता है - ScanManager, जो इसे सुरुचिपूर्ण बनाता है:

 product(scanners, metadata_as_list) 

यह सभी सेवाओं को लेता है और उनमें से प्रत्येक के लिए सभी संभावित स्कैनरों की जांच करता है।
प्रत्येक स्कैनर एक फ़ंक्शन प्रदान करता है जो निर्धारित करता है कि वह इस तरह के लक्ष्य के साथ काम करना चाहता है या नहीं।

आइए बात करते हैं कि स्कैनर क्या है।
तीन विकल्पों पर विचार किया गया:

• प्रत्येक स्कैनर को एक microservice के रूप में लागू करें जो हमारे RPC का समर्थन करता है
• प्रत्येक स्कैनर को एक सेवा के रूप में लागू करें और एक सामान्य संदेश बस का उपयोग करें
• तीसरा विकल्प

लेकिन हम बहुत आलसी हैं और महसूस किया है कि पहले दो विकल्पों के मामले में, स्वयं स्कैनर के अलावा, आपको इस आरपीसी के कीड़े को पकड़ने, आरपीसी लिखने, आरपीसी लिखने के लिए किसी प्रकार की तैनाती की बुनियादी सुविधाओं की भी आवश्यकता होगी। साथ ही हम पायथन में सब कुछ लिखना चाहते थे।

हमने कई उपाय आजमाए। हमने इसी तरह के स्कैनर प्रबंधन परियोजनाओं को देखा, जैसे कि यैंडेक्स मॉली और मिनियन मोज़िला से। हमने देखा कि कैसे w3af, जैप काम करता है। बर्प में एक बहुत ही दिलचस्प प्लगइन वास्तुकला है।

हमने तय किया कि प्रत्येक स्कैनर को अजगर में क्रमबद्ध फ़ंक्शन के रूप में लागू किया जाना चाहिए। यह आपको उन्हें सीधे खरगोश-मेक में स्टोर करने की अनुमति देगा, जल्दी से अलग-अलग नोड्स तक पहुंचाएगा, परमाणु रूप से निष्पादित करेगा। हम नए स्कैनर जोड़ सकते हैं बिना एप्लिकेशन बनाए और साझा किए। वास्तव में, हमें अजगर पर कार्यों के वितरित और अतुल्यकालिक निष्पादन के लिए एक सेवा मिली।

स्कैनर प्रारूप

हमारे प्लेटफॉर्म पर लॉन्च किया गया स्कैनर स्कैनर बेस क्लास से विरासत में मिली हुई वस्तु होनी चाहिए।

किसी भी स्कैनर को टाइप मेटाडेटा के ऑब्जेक्ट को इनपुट के रूप में स्वीकार करना चाहिए और प्रकार की भेद्यता की वस्तुओं को वापस करना चाहिए।

 class Scanner(object):   name = "scanner_base"   vuln_type = "default_vuln_type"   user_options = {}   Vulnerability_body_fields_to_web_interface = []   def __init__(self, opts, target, metadata):       self.metadata = metadata       self.opts = opts       self.target = target   @staticmetod   def circuit(Metadata):       '''         .            Metadata.             CVE.       '''       return [Vulnerability(), Vulnerability()]   def check_start_condition(self):       '''        ,    Target          True,    .    False.       '''       return True   class ScannerError(Exception):       def __init__(self, value):           self.value = value       def __str__(self):           return repr(self.value) 

भेद्यता प्रारूप

अगला कार्य जो हमारे सामने था, एक एकीकृत प्रारूप बनाना था जिसमें हम किसी भी स्कैनर के आउटपुट को स्टोर कर सकते हैं। चाहे वह वेब हार्वेस्टर हो, डायरेक्टरी ब्रूटिल्का हो या मेमकेडेड PoC शोषण हो।

हमने अपने स्वयं के प्रारूपों को बाड़ने का फैसला किया, लेकिन उद्योग के मानक का उपयोग करने के लिए - सीवीई प्रारूप। हम आसान भंडारण और पुनर्प्राप्ति के लिए अपनी भेद्यता के मेटाडेटा के साथ सीवीई को समृद्ध करते हैं। स्कैनर-विशिष्ट डेटा संग्रहीत करने के लिए, बॉडी फ़ील्ड जोड़ें। वेब इंटरफ़ेस में शरीर से कौन सी कुंजी प्रदर्शित होनी चाहिए, यह स्कैनर द्वारा निर्धारित किया जाता है।

 class Vulnerability(object):   '''           body     .   '''   def __init__(self, target, port, scanner, text, VulnerabilityTypes, Score, protocol,                UpdateDate=None, scan_date=None, Complexity=None, Access=None, CWEID=None, Authentication=None,                Integ=None, PublishDate=None, Conf=None, ofExploits=0, Avail=None,                CVEID=None, references=None, GainedAccessLevel=None, false_positive=False,                fixed=None, body=None):       scan_date = scan_date if scan_date is not None else calendar.timegm(gmtime())       references = references or []       body = body or {}       self.name = self.construct_cve_name(VulnerabilityTypes, protocol, target, port, credentials, uri, params)       self.data = {           "target" : target,           "port" : int(port),           "Scanner": scanner,           "Scan_date": scan_date,           "Name": name,           "UpdateDate": UpdateDate,           "VulnerabilityTypes": VulnerabilityTypes,           "Complexity": Complexity,           "text": text,           "Access": Access,           "CWEID": CWEID,           "Hash": sha1(self.name.encode('utf-8')).hexdigest(),           "Authentication": Authentication,           "Integ": Integ,           "PublishDate": PublishDate,           "Conf": Conf,           "ofExploits": ofExploits,           "Score": Score,           "Avail": Avail,           "CVEID": CVEID,           "References": references,           "GainedAccessLevel": GainedAccessLevel,           "FalsePositive": false_positive,           "Fixed": fixed,           "Body": body       }   @staticmethod   def construct_cve_name(VulnerabilityTypes, protocol, target, port, credentials, uri, params):       # vuln_type:host:port:protocol:credentials:uri:params       return "{}:{}:{}:{}:{}:{}:{}".format(           VulnerabilityTypes,           target,           port,           protocol,           credentials,           uri,           params)   def __str__(self):       return self.data   def __repr__(self):       return self.name 

हमने स्कैनर के लेखकों को कार्यान्वयन में अधिकतम स्वतंत्रता देने की कोशिश की।
और हम आपको विकास में भाग लेने के लिए आमंत्रित करते हैं।

शोषण पर पैसा कैसे कमाया जाए।

हम ऐसे लोग चाहते हैं जो सुरक्षा में रुचि रखते हैं, उपयोगिताओं और लिपियों के लेखक, शोधकर्ताओं को अपने काम के परिणामों को कानूनी रूप से मुद्रीकृत करने का अवसर है।

स्कैनर को METASCAN कहा जाता है। यदि आपके पास अपनी स्वयं की स्क्रिप्ट या 1-दिवसीय PoC कारनामे हैं, या शायद आप स्वयं स्कैनर के लेखक हैं। हमें स्कैनर प्रारूप में मॉड्यूल david.ordyan@metascan.ru पर भेजें!

हम मासिक आधार पर मॉड्यूल के लेखकों को पारिश्रमिक का भुगतान करेंगे और 30 नवंबर तक मॉड्यूल की स्वीकृति की घोषणा करेंगे।
हम 2000 से अधिक साइटों में अपने ग्राहक आधार के माध्यम से चल रहे हैं और जांच की संख्या की गिनती करके उनका परीक्षण करेंगे।

पाए गए कमजोरियों की संख्या से पहले तीन स्कैनर के लेखकों को प्राप्त होगा:

• 1 स्थान के लिए 31 337 रूबल।
• 2 और 3 वें स्थान के लिए 13,370 रूबल।

और इसके अलावा, हम पेशकश करेंगे कि हम उन्हें अनुबंधों को समाप्त करने की पेशकश करेंगे और मासिक रूप से उनके स्कैनर का उपयोग करने के लिए एक इनाम प्राप्त करेंगे, जब तक कि उन्हें कमजोरियां नहीं मिलेंगी।

नवंबर के बाद, हम स्कैनर प्राप्त करने के लिए कार्यक्रम का विस्तार करेंगे।

David.ordyan@metascan.ru या TG https://t.me/METASCAN पर लिखें
BB8E 3D9B 04FF 70C9 A260 CD45 E0BF 4EB4 9838 A7EC

उदाहरण और कोड यहां दिखाई देंगे