वेबसाइट संग्रह

मैंने हाल ही में वेबसाइट आर्काइविंग के विषय में गहरी डुबकी लगाई। मुझे उन दोस्तों द्वारा पूछा गया था जो खराब सिस्टम प्रशासन या शत्रुतापूर्ण विलोपन के कारण इंटरनेट पर अपने काम पर नियंत्रण खोने से डरते थे। इस तरह की धमकियां वेबसाइट को किसी भी सिस्टम एडमिनिस्ट्रेटर के लिए एक महत्वपूर्ण टूल बना देती हैं। जैसा कि यह निकला, कुछ साइटों को दूसरों की तुलना में संग्रह करना अधिक कठिन है। यह लेख पारंपरिक वेबसाइटों को संग्रहित करने की प्रक्रिया को प्रदर्शित करता है और दिखाता है कि आधुनिक वेब पर काम करने वाले ट्रेंडी सिंगल-पेज एप्लिकेशन पर यह कैसे काम करता है।

सरल साइट कन्वर्ट

वे दिन लंबे होते हैं जब वेबसाइटें HTML में मैन्युअल रूप से लिखी जाती थीं। अब वे गतिशील हैं और नवीनतम जावास्क्रिप्ट, पीएचपी या पायथन फ्रेमवर्क का उपयोग करके फ्लाई पर निर्मित हैं। परिणामस्वरूप, साइटें अधिक नाजुक हो गई हैं: डेटाबेस क्रैश, गलत अपडेट या कमजोरियों के कारण डेटा हानि हो सकती है। एक वेब डेवलपर के रूप में अपने पिछले जीवन में, मुझे इस विचार के साथ आना पड़ा: ग्राहकों को उम्मीद है कि वेबसाइटें हमेशा काम करेंगी। यह उम्मीद वेब विकास के सिद्धांत "तेजी से आगे बढ़ने और चीजों को तोड़ने" के साथ अच्छी तरह से फिट नहीं है। Drupal सामग्री प्रबंधन प्रणाली के साथ काम करना इस संबंध में विशेष रूप से कठिन साबित हुआ, क्योंकि बड़े अपडेट जानबूझकर तीसरे पक्ष के मॉड्यूल के साथ संगतता का उल्लंघन करते हैं, जिसका अर्थ है कि एक महंगी अपडेट प्रक्रिया जो ग्राहकों को शायद ही कभी बर्दाश्त कर सके। इन साइटों को संग्रहीत करने के लिए समाधान था: एक जीवंत, गतिशील वेबसाइट - और इसे सरल HTML फ़ाइलों में बदल दें जो कि कोई भी वेब सर्वर हमेशा के लिए वितरित कर सकता है। यह प्रक्रिया आपके स्वयं के डायनामिक साइटों के साथ-साथ तृतीय-पक्ष साइटों के लिए उपयोगी है जो आपके नियंत्रण से बाहर हैं और जिन्हें आप सुरक्षित करना चाहते हैं।

सरल या स्थिर साइटों को आदरणीय Wget द्वारा नियंत्रित किया जाता है। हालाँकि आपको पूरी साइट को मिरर करने के लिए एक वास्तविक वर्तनी की आवश्यकता है:

$ nice wget --mirror --execute robots=off --no-verbose --convert-links \ --backup-converted --page-requisites --adjust-extension \ --base=./ --directory-prefix=./ --span-hosts \ --domains=www.example.com,example.com http://www.example.com/ 

यह आदेश वेब पेज की सामग्री को लोड करता है और निर्दिष्ट डोमेन में सभी लिंक को क्रॉल भी करता है। अपनी पसंदीदा साइट पर यह क्रिया शुरू करने से पहले, क्रॉलिंग के संभावित परिणामों पर विचार करें। उपरोक्त आदेश जानबूझकर robots.txt नियमों की अनदेखी करता है, जैसा कि अब पुरालेखपाल के लिए प्रथागत है , और साइट को अधिकतम गति से डाउनलोड करता है। अधिकांश क्रॉलर के पास कॉल और बैंडविड्थ सीमा के बीच रुकने के विकल्प होते हैं ताकि लक्ष्य साइट पर अत्यधिक भार पैदा न हो।

यह कमांड "पेज डिटेल्स", यानी स्टाइल शीट (CSS), इमेज और स्क्रिप्ट भी प्राप्त करता है। पृष्ठ की भरी हुई सामग्री बदल जाती है ताकि लिंक एक स्थानीय प्रतिलिपि को इंगित करें। फ़ाइलों का परिणामी सेट किसी भी वेब सर्वर पर होस्ट किया जा सकता है, जो मूल वेबसाइट की एक स्थिर प्रति का प्रतिनिधित्व करता है।

लेकिन यह तब है जब सब कुछ ठीक हो जाता है। जिस किसी ने कभी कंप्यूटर के साथ काम किया है, वह जानता है कि योजना के अनुसार चीजें शायद ही कभी जाती हैं: प्रक्रिया को बाधित करने के कई दिलचस्प तरीके हैं। उदाहरण के लिए, कुछ समय पहले साइटों पर एक कैलेंडर के साथ ब्लॉक डालना फैशनेबल था। सीएमएस उन्हें मक्खी पर उत्पन्न करेगा और क्रॉलर को एक अंतहीन चक्र में भेज देगा, अधिक से अधिक नए पृष्ठ प्राप्त करने की कोशिश कर रहा है। समस्याग्रस्त संसाधनों को नजरअंदाज करने के लिए --reject-regex नियमित अभिव्यक्ति (उदाहरण के लिए, Wget के --reject-regex विकल्प) का उपयोग कर सकते हैं। एक अन्य विकल्प: यदि वेबसाइट प्रशासन इंटरफ़ेस उपलब्ध है, तो कैलेंडर, लॉगिन फ़ॉर्म, टिप्पणी फ़ॉर्म और अन्य गतिशील क्षेत्रों को अक्षम करें। जैसे ही साइट स्थिर हो जाती है, वे वैसे भी काम करना बंद कर देंगे, इसलिए इस गड़बड़ को मूल साइट से हटाने के लिए समझ में आता है।

जावास्क्रिप्ट दुःस्वप्न

दुर्भाग्य से, कुछ वेबसाइटें केवल HTML से बहुत अधिक हैं। उदाहरण के लिए, एकल-पृष्ठ साइटों पर, वेब ब्राउज़र स्वयं एक छोटा जावास्क्रिप्ट प्रोग्राम चलाकर सामग्री बनाता है। Wget जैसा एक साधारण उपयोगकर्ता एजेंट इन साइटों की एक सार्थक स्थिर प्रतिलिपि को पुनर्स्थापित करने का असफल प्रयास करेगा, क्योंकि यह जावास्क्रिप्ट का समर्थन नहीं करता है। सैद्धांतिक रूप से, साइटों को प्रगतिशील सुधार का समर्थन करना चाहिए ताकि जावास्क्रिप्ट के बिना सामग्री और कार्यक्षमता सुलभ हो, लेकिन इन निर्देशों का शायद ही कभी पालन किया जाता है, क्योंकि कोई भी व्यक्ति जो NoScript या uMatrix जैसे प्लगइन्स का उपयोग करता है, पुष्टि करेगा ।

पारंपरिक संग्रह विधियां कभी-कभी मूर्खतापूर्ण तरीके से विफल हो जाती हैं। जब मैंने एक स्थानीय समाचार पत्र का बैकअप लेने की कोशिश की , तो मैंने पाया कि वर्डप्रेस में क्वेरी स्ट्रिंग (उदाहरण के लिए ?ver=1.12.4 ) शामिल हैं। यह संग्रह की सेवा करने वाले वेब सर्वरों पर सामग्री-प्रकार का पता लगाने के लिए भ्रामक है, क्योंकि वे सही Content-Type हेडर का उत्पादन करने के लिए फ़ाइल एक्सटेंशन पर निर्भर हैं। जब इस तरह के संग्रह को ब्राउज़र में डाउनलोड किया जाता है, तो यह स्क्रिप्ट को लोड नहीं कर सकता है, जो गतिशील वेबसाइटों को तोड़ता है।

चूंकि ब्राउज़र धीरे-धीरे मनमाना कोड चलाने के लिए एक आभासी मशीन बन जाता है, इसलिए शुद्ध HTML विश्लेषण पर आधारित संग्रह विधियों को अनुकूलित किया जाना चाहिए। इन समस्याओं का समाधान क्रॉलिंग के दौरान सर्वर द्वारा वितरित HTTP हेडर को रिकॉर्ड करना (और खेलना) है, और सही मायने में पेशेवर अभिलेखागार इस दृष्टिकोण का उपयोग करते हैं।

WARC फ़ाइलों को बनाना और प्रदर्शित करना

इंटरनेट संग्रह में, ब्रूस्टर कैलिस और माइक बर्नर ने 1996 में ARC (ARChive) प्रारूप विकसित किया: संग्रह के दौरान बनाई गई लाखों छोटी फ़ाइलों को संयोजित करने का एक तरीका। अंत में, प्रारूप को WARC विनिर्देश (वेब ARChive) के रूप में मानकीकृत किया गया, 2009 में आईएसओ मानक के रूप में जारी किया गया और 2017 में संशोधित किया गया। अंतर्राष्ट्रीय संरक्षण संघ (IIPC) के नेतृत्व में मानकीकरण के प्रयास। विकिपीडिया के अनुसार, यह "पुस्तकालयों और भविष्य के लिए इंटरनेट सामग्री को संरक्षित करने के प्रयासों के समन्वय के लिए बनाए गए अन्य संगठनों का एक अंतर्राष्ट्रीय संगठन है," और इसमें लाइब्रेरी ऑफ़ कांग्रेस और इंटरनेट आर्काइव जैसे सदस्य शामिल हैं। बाद वाले अपने हेरिट्रिक्स जावा क्रॉलर में WARC प्रारूप का उपयोग करते हैं।

WARC फ़ाइल एक संपीड़ित संग्रह में कई संसाधन जोड़ती है, जैसे HTTP हेडर, फ़ाइल सामग्री और अन्य मेटाडेटा। आसानी से, यह प्रारूप --warc क्रॉलर द्वारा --warc साथ भी समर्थित है। दुर्भाग्य से, ब्राउज़र सीधे WARC फ़ाइलों को प्रदर्शित नहीं कर सकते हैं, इसलिए संग्रह तक पहुंचने के लिए एक विशेष दर्शक की आवश्यकता होती है। या आपको इसे रूपांतरित करना होगा। मेरे द्वारा पाया गया सबसे सरल दर्शक पाइब , एक पायथन पैकेज है। यह WARC फ़ाइलों की सामग्री को देखने के लिए Wayback मशीन जैसे इंटरफ़ेस के साथ एक सरल वेब सर्वर लॉन्च करता है। कमांड के निम्नलिखित सेट WARC फाइल को http://localhost:8080/ : पर मैप करेंगे।

  $ pip install pywb $ wb-manager init example $ wb-manager add example crawl.warc.gz $ wayback 

वैसे, वेबकॉर्डर सेवा के डेवलपर्स ने यह उपकरण बनाया, जो ब्राउज़र का उपयोग करके पृष्ठ की गतिशील सामग्री को बचाता है।

दुर्भाग्य से, pywb WARC द्वारा निर्मित WARC फ़ाइलों को लोड नहीं कर सकता क्योंकि यह WARC 1.0 विनिर्देशन की गलत आवश्यकताओं का पालन करता है , जो संस्करण 1.1 में तय किए गए थे। जब तक Wget या pywb इन समस्याओं को ठीक नहीं करते, Wget द्वारा बनाई गई WARC फाइलें पर्याप्त विश्वसनीय नहीं हैं, इसलिए मैंने व्यक्तिगत रूप से अन्य विकल्पों की तलाश शुरू कर दी है। मेरा नाम क्रॉलर के लिए सरल नाम क्रॉल के तहत आकर्षित किया गया था। यहां बताया गया है कि यह कैसे शुरू होता है:

  $ crawl https://example.com/ 

कार्यक्रम कुछ कमांड लाइन मापदंडों का समर्थन करता है, लेकिन अधिकांश डिफ़ॉल्ट मान पूरी तरह कार्यात्मक हैं: यह अन्य डोमेन से CSS और छवियों जैसे संसाधनों को डाउनलोड करता है (यदि -exclude-related ध्वज निर्दिष्ट नहीं है), लेकिन पुनरावृत्ति निर्दिष्ट होस्ट से आगे नहीं जाएगा। डिफ़ॉल्ट रूप से, दस समवर्ती कनेक्शन शुरू किए जाते हैं: यह पैरामीटर -c फ्लैग के साथ बदला जाता है। लेकिन सबसे महत्वपूर्ण बात, परिणामी WARC फाइलें pywb में ठीक लोड होती हैं।

भविष्य के काम और विकल्प

WARC फ़ाइलों का उपयोग करने के लिए कई संसाधन हैं। विशेष रूप से, एक प्रतिस्थापन Wget है जिसे Wpull कहा जाता है, विशेष रूप से वेबसाइट संग्रह करने के लिए डिज़ाइन किया गया है। इसमें PhantomJS के लिए प्रयोगात्मक समर्थन है और youtube-dl के साथ एकीकरण है, जो आपको क्रमशः अधिक जटिल जावास्क्रिप्ट साइट्स डाउनलोड करने और स्ट्रीमिंग मीडिया डाउनलोड करने की अनुमति देगा। यह कार्यक्रम आर्काइवबॉट आर्काइविंग टूल की नींव है, जिसे "हमेशा के लिए गायब होने से पहले" कहानी को बचाने के प्रयास में आर्काइवटेम से "शरारती संग्रहकर्ताओं, प्रोग्रामर, लेखकों और बात करने वालों की नि: शुल्क टीम" द्वारा विकसित किया जा रहा है। ऐसा लगता है कि PhantomJS एकीकरण उतना अच्छा नहीं है जितना हम चाहते हैं, इसलिए आर्कटैम अन्य जटिल साइटों को दर्पण करने के लिए अन्य उपकरणों के एक गुच्छा का उपयोग करता है। उदाहरण के लिए, Snscrape सोशल मीडिया प्रोफाइल को स्कैन करता है और संग्रह के लिए आर्काइवबॉट को भेजने के लिए सूची बनाता है। एक अन्य उपकरण क्रॉकेट है , जो बहुत सारे जावास्क्रिप्ट के साथ साइटों को संग्रह करने के लिए हेडलेस मोड में क्रोम चलाता है।

यह लेख HTTrack के "ज़ेरॉक्स साइटों" का उल्लेख किए बिना अधूरा होगा। Wget की तरह, HTTrack प्रोग्राम साइटों की स्थानीय प्रतियां बनाता है, लेकिन, दुर्भाग्य से, यह WARC को बचाने का समर्थन नहीं करता है। कमांड लाइन के साथ अपरिचित उपयोगकर्ताओं को नौसिखिए के लिए इंटरएक्टिव विशेषताएं अधिक दिलचस्प हो सकती हैं।

उसी नस में, मैंने अपने शोध के दौरान बहु-थ्रेडेड काम के समर्थन के साथ Wget को Wget2 के लिए एक विकल्प पाया, जो कार्यक्रम को गति देता है। हालाँकि, यहाँ कुछ Wget सुविधाएँ गायब हैं, जिनमें टेम्प्लेट, WARC और FTP समर्थन को सहेजना, लेकिन RSS समर्थन, DNS कैशिंग और बेहतर TLS समर्थन जोड़े गए हैं।

अंत में, इस तरह के औजारों के लिए मेरा व्यक्तिगत सपना मेरे मौजूदा बुकमार्किंग सिस्टम के साथ उन्हें एकीकृत करना होगा। मैं वर्तमान में वाल्बैग में दिलचस्प लिंक संग्रहीत करता हूं , दिलचस्प पृष्ठों के लिए एक स्थानीय भंडारण सेवा है, जो मुफ्त पॉकेट कार्यक्रम (अब मोज़िला के स्वामित्व में) के विकल्प के रूप में विकसित हुई है। लेकिन अपने डिज़ाइन में वलाबाग केवल एक पूर्ण प्रतिलिपि के बजाय लेख का "पठनीय" संस्करण बनाता है। कुछ मामलों में, "पठनीय संस्करण" वास्तव में अपठनीय है , और वालबाग कभी-कभी पार्सिंग को संभाल नहीं सकता है । इसके बजाय, अन्य उपकरण, जैसे कि बुकमार्क-अभिलेखागार या रीमिनेशन , पूर्ण HTML के साथ पृष्ठ का स्क्रीनशॉट सहेजते हैं, लेकिन, दुर्भाग्य से, WARC प्रारूप का समर्थन नहीं करते हैं, जो और भी अधिक सटीक प्लेबैक प्रदान करेगा।

मेरे मिररिंग और आर्काइविंग का दुखद सच यह है कि डेटा मर रहा है। सौभाग्य से, शौकिया तीरंदाजों के पास इंटरनेट पर दिलचस्प सामग्री को बचाने के लिए उपकरण हैं। जो लोग अपने दम पर ऐसा नहीं करना चाहते हैं, उनके लिए एक इंटरनेट संग्रह है, साथ ही संग्रह पुरालेख समूह भी है, जो स्वयं इंटरनेट संग्रह की बैकअप प्रतिलिपि बनाने पर काम कर रहा है ।