पृष्ठभूमि: "इंटरनेट आर्काइव" - निर्माण इतिहास, मिशन और सहायक परियोजनाएं

शायद हबर के कई उपयोगकर्ता नहीं हैं, जिन्होंने " इंटरनेट आर्काइव" के बारे में कभी नहीं सुना है, एक ऐसी सेवा जो डिजिटल डेटा को खोजती है और संग्रहीत करती है जो सभी मानव जाति के लिए महत्वपूर्ण है, यह वेब पेज, किताबें, वीडियो या अन्य प्रकार की जानकारी हो ।

ऑनलाइन संग्रह कौन चलाता है जब यह दिखाई दिया और इसका मिशन क्या है? आज की मदद में इसके बारे में पढ़ें।

हमें "पुरालेख" की आवश्यकता क्यों है?

यह सिर्फ मनोरंजन से दूर है। संगठन का मिशन सभी जानकारी तक सार्वभौमिक पहुंच है। इंटरनेट पुरालेख दोनों दूरसंचार कंपनियों (Google, फेसबुक, आदि) और राज्यों से सूचना के प्रावधान पर एकाधिकार से लड़ने का प्रयास करता है।

इसके अलावा, "पुरालेख" एक कानून का पालन करने वाला संगठन है। यदि अमेरिकी कानून को हटाने के लिए किसी भी जानकारी की आवश्यकता होती है, तो संगठन ऐसा करता है।

इंटरनेट आर्काइव भी वैज्ञानिकों, खुफिया एजेंसियों, इतिहासकारों (जैसे पुरातत्वविदों) और कई अन्य क्षेत्रों के प्रतिनिधियों के लिए एक उपकरण के रूप में कार्य करता है, न कि व्यक्तिगत उपयोगकर्ताओं का उल्लेख करने के लिए।

"इंटरनेट आर्काइव" कब दिखाई दिया?

आर्काइव का निर्माता अमेरिकी ब्रूवेस्टर काले है, जिसने एलेक्सा इंटरनेट बनाया था। उनकी दोनों सेवाएं बेहद लोकप्रिय हो गई हैं, दोनों अब फल-फूल रहे हैं।

इंटरनेट आर्काइव ने 1996 से साइटों की जानकारी संग्रह करना और वेब पेजों की प्रतियां संग्रहीत करना शुरू किया। इस गैर-लाभकारी संगठन का मुख्यालय अमेरिका के सैन फ्रांसिस्को में स्थित है।

यह सच है कि पाँच साल तक डेटा सार्वजनिक पहुँच के लिए उपलब्ध नहीं था - डेटा संग्रह सर्वर पर संग्रहीत किया गया था, और यह सब, केवल सेवा प्रशासन साइटों की पुरानी प्रतियां देख सकता था। 2001 के बाद से, सेवा के प्रशासन ने सभी को संग्रहीत डेटा तक पहुंच प्रदान करने का निर्णय लिया।

बहुत शुरुआत में, "इंटरनेट संग्रह" केवल एक वेब संग्रह था, लेकिन फिर संगठन ने पुस्तकों, ऑडियो, चलती छवियों और सॉफ़्टवेयर को सहेजना शुरू कर दिया। अब "इंटरनेट आर्काइव" नासा और ओपन लाइब्रेरी ग्रंथों, आदि की तस्वीरों और अन्य छवियों के लिए एक भंडार के रूप में कार्य करता है।

एक संगठन के लिए क्या मौजूद है?

"पुरालेख" स्वैच्छिक दान पर मौजूद है - दोनों संगठन और व्यक्ति। आप बिटकॉइन, 1Arive1n2C579dMsAu3iC6tWzuQJz8dN वॉलेट में सहायता प्रदान कर सकते हैं। वैसे, इस वॉलेट को अपने पूरे अस्तित्व के लिए 357.47245492 बीटीसी प्राप्त हुआ है, जो मौजूदा विनिमय दर पर लगभग 2.25 मिलियन डॉलर है।

आर्काइव कैसे काम करता है?

अधिकांश कर्मचारियों को पुस्तक स्कैनिंग केंद्रों पर नियुक्त किया जाता है, जो नियमित लेकिन श्रमसाध्य कार्य करते हैं। संगठन के कैलिफोर्निया में स्थित तीन डेटा केंद्र हैं। एक सैन फ्रांसिस्को में है, दूसरा रेडवुड सिटी है, तीसरा रिचमंड है। एक प्राकृतिक आपदा या अन्य आपदाओं की स्थिति में डेटा हानि के खतरे से बचने के लिए, पुरालेख में मिस्र और एम्स्टर्डम में अतिरिक्त क्षमता है।

“लाखों लोगों ने दूसरों के साथ साझा करने के लिए बहुत समय और प्रयास बिताया है जो हम इंटरनेट के रूप में जानते हैं। हम इस नए प्रकाशन प्लेटफ़ॉर्म के लिए एक लाइब्रेरी बनाना चाहते हैं, ”इंटरनेट आर्काइव के संस्थापक ब्रूस्टर काहले ने कहा

अब आर्काइव कितना बड़ा है?

"इंटरनेट संग्रह" में कई विभाजन हैं, और जो साइटों से जानकारी एकत्र करता है उसका अपना नाम है - वेबैक मशीन। "पूछताछ" लिखने के समय, संग्रह में 339 बिलियन सहेजे गए वेब पेज थे। 2017 में, "आर्काइव" ने 30 पेटाबाइट जानकारी संग्रहीत की, जो लगभग 300 बिलियन वेब पेज, 12 मिलियन किताबें, 4 मिलियन ऑडियो रिकॉर्डिंग, 3.3 मिलियन वीडियो, 1.5 मिलियन फोटो और 170 हजार विभिन्न सॉफ्टवेयर वितरण हैं। केवल एक वर्ष में, सेवा ने "वजन में वृद्धि" पर ध्यान दिया, अब "आर्काइव" में 339 बिलियन वेब पेज, 19 मिलियन किताबें, 4.5 मिलियन वीडियो फाइलें, 4.7 मिलियन ऑडियो फाइलें, विभिन्न प्रकार के 3.2 मिलियन चित्र, 381 हजार वितरण हैं। सॉफ्टवेयर।

डेटा भंडारण कैसे व्यवस्थित है?

सूचना तथाकथित "डेटा नोड्स" में हार्ड ड्राइव पर संग्रहीत होती है। ये सर्वर हैं, जिनमें से प्रत्येक में 36 हार्ड डिस्क (ऑपरेटिंग सिस्टम के साथ प्लस दो डिस्क) हैं। डेटा नोड को 10 मशीनों के सरणियों में वर्गीकृत किया गया है और एक क्लस्टर रिपॉजिटरी है। 2016 में, "पुरालेख" ने 8-टेराबाइट एचडीडी का उपयोग किया, अब स्थिति उसी के बारे में है। यह पता चला है कि एक नोड में लगभग 288 टेराबाइट डेटा है। सामान्य तौर पर, अन्य आकारों की हार्ड ड्राइव का भी उपयोग किया जाता है: 2, 3 और 4 टीबी।

2016 में, लगभग 20,000 हार्ड ड्राइव थे। निरंतर विशेषताओं के साथ एक माइक्रॉक्लाइमेट बनाए रखने के लिए पुरालेख डेटा सेंटर जलवायु प्रणालियों से लैस हैं। 10 नोड्स के एक क्लस्टर भंडारण में लगभग 5 किलोवाट ऊर्जा की खपत होती है।

इंटरनेट आर्काइव की संरचना एक आभासी "पुस्तकालय" है, जिसे पुस्तकों, फिल्मों, संगीत आदि जैसे वर्गों में विभाजित किया गया है। प्रत्येक तत्व के लिए कैटलॉग में एक विवरण दर्ज किया गया है - आमतौर पर यह नाम, लेखक का नाम और अतिरिक्त जानकारी है। तकनीकी दृष्टिकोण से, तत्वों को लिनक्स निर्देशिकाओं में संरचित और निवास किया जाता है।

"पुरालेख" द्वारा संग्रहीत डेटा की कुल राशि 22 पीबी है, जबकि अब 22 पीबी के लिए अभी भी जगह है। "क्योंकि हम पागल हैं," सेवा प्रतिनिधियों का कहना है।



निर्देशिका की सामग्री के स्क्रीनशॉट को देखें - "_files.xml" में समाप्त नाम के साथ एक फ़ाइल है। यह एक निर्देशिका है जिसमें निर्देशिका की सभी फाइलों के बारे में जानकारी है।

यदि एक या कई सर्वर विफल हो जाते हैं तो डेटा का क्या होगा?

भयानक कुछ भी नहीं होगा - डेटा डुप्लिकेट है । जैसे ही एक नया तत्व आर्काइव लाइब्रेरी में दिखाई देता है, इसे तुरंत दोहराया जाता है और विभिन्न सर्वरों पर विभिन्न हार्ड ड्राइव पर रखा जाता है। सामग्री को "मिररिंग" करने की प्रक्रिया से फाइल सिस्टम में पावर आउटेज और क्रैश जैसी समस्याओं का सामना करने में मदद मिलती है।

यदि हार्ड ड्राइव विफल हो जाता है, तो इसे एक नए के साथ बदल दिया जाता है। मिररड और रिडुप्लिकेटेड डेटा संरचना के लिए धन्यवाद, नौसिखिए तुरंत डेटा से भरा होता है जो पुराने एचडीडी पर था जो विफल हो गया था।

"आर्काइव" में एक विशेष प्रणाली है जो एचडीडी की स्थिति की निगरानी करती है। जिस दिन आपको 6-7 विफल ड्राइव को बदलना होगा।

एक Wayback मशीन क्या है?

यह "इंटरनेट संग्रह" की सेवाओं में से एक है, जो वेब पेजों के संरक्षण में माहिर है। सेवा का अपना "मकड़ी" है, जो नियमित रूप से नेटवर्क पर उपलब्ध सभी साइटों की जांच करता है और उन्हें विशेष सर्वर पर संग्रहीत करता है। वेबसाइट जितनी लोकप्रिय है, उतनी ही बार यह रोबोट अपने कंटेंट को कॉपी करता है। यदि संसाधन व्यवस्थापक को बॉट द्वारा कॉपी की गई साइट की जानकारी नहीं चाहिए, तो वह robots.txt फ़ाइल में प्रतिबंध लिखने के लिए पर्याप्त है।


लोकप्रिय संसाधनों को अक्सर कॉपी किया जाता है - लगभग दैनिक। वेबैक मशीन ट्विटर, फेसबुक सहित सामाजिक नेटवर्क को भी अनुक्रमित करती है



2017 में, आर्काइव ने अपडेटेड वेबैक मशीन सेवा शुरू की , जो सहेजे गए वेब पेजों के लिए अधिक सुविधाजनक पहुंच का वादा करती है। सेवा लिखी गई थी यदि खरोंच से नहीं, तो शांत पुन: डिज़ाइन किया गया। अब यह कई फ़ाइल स्वरूपों का समर्थन करता है जो पहले केवल सहेजे नहीं गए थे। उसी 2017 में, संगठन ने घोषणा की कि हर सप्ताह लगभग 1 बिलियन वेब पेज अपने सर्वर पर संग्रहीत किए जाते हैं।


2007 में ऐसा ही हुआ

"इंटरनेट आर्काइव" डेटाबेस में और क्या मिल सकता है?

पुस्तकें। संगठन का संग्रह बहुत बड़ा है, इसमें डिजीटल किताबें शामिल हैं, दोनों आम और बहुत दुर्लभ संस्करण हैं। पुस्तकें न केवल अंग्रेजी में, बल्कि कई अन्य भाषाओं में भी संग्रहीत हैं। पुरालेख में पुस्तकों को स्कैन करने के लिए विशेष केंद्र हैं, कुल 33 ऐसे केंद्र हैं, वे दुनिया भर के पांच देशों में स्थित हैं।

केंद्र के कर्मचारी प्रति दिन लगभग 1,000 पुस्तकों को स्कैन करते हैं। सेवा डेटाबेस में लाखों प्रकाशन शामिल हैं, उनके डिजिटलीकरण पर काम सामान्य लोगों और विभिन्न संगठनों द्वारा वित्त पोषित किया जाता है, जिसमें पुस्तकालय और फंड शामिल हैं।

2007 से, इंटरनेट आर्काइव ने अपने डेटाबेस में Google पुस्तक खोज से सार्वजनिक रूप से सुलभ पुस्तकों को बनाए रखा है। लॉन्च के बाद, पुस्तकों का आधार जल्दी से विस्तारित हो गया - 2013 में, Google सेवा से पहले से ही 900 हजार से अधिक पुस्तकें सहेजी गईं।

"पुरालेख" की सेवाओं में से एक भी उन पुस्तकों तक पहुंच प्रदान करती है जो पूरी तरह से खुली हैं, उनमें से पहले से ही एक मिलियन से अधिक हैं। इस सेवा को ओपन लाइब्रेरी कहा जाता है।

वीडियो। सेवा 4.5 मिलियन क्लिप संग्रहीत करती है। वे विषय से विभाजित होते हैं और बहुत अलग ध्यान केंद्रित करते हैं। "पुरालेख" के सर्वर फिल्मों, वृत्तचित्रों, खेल की घटनाओं की रिकॉर्डिंग, टीवी शो और कई अन्य सामग्रियों को संग्रहीत करते हैं।

2015 में, "पुरालेख" ने एक बड़े पैमाने पर परियोजना को जन्म दिया - वीडियो टेपों का डिजिटलीकरण । पहले यह मैरियन स्टोक्स के संग्रह से लगभग 40 हजार टेप था, एक महिला जो दशकों से टेपों पर समाचार रिकॉर्ड करती थी। फिर, अन्य वीडियो टेप जोड़े गए, जो मानवता के लिए महत्वपूर्ण डेटा को डिजिटल बनाने के विचार के प्रशंसकों द्वारा "आर्काइव" में भेजे गए थे।

ऑडियो। वीडियो के समान, "पुरालेख" भी ऑडियो फाइलों को संग्रहीत करता है, जो कि विषय से विभाजित भी हैं। पिछले साल, "पुरालेख" ने अपनी नई परियोजना को लागू करना शुरू किया - शेलक रिकॉर्ड को डिकोड करना, सबसे पुराना ऑडियो रिकॉर्डिंग प्रारूप। ध्वनि को शेलैक प्लेटों पर संरक्षित किया गया था, मादा कीड़े द्वारा स्रावित एक प्राकृतिक राल। कुल मिलाकर, ग्रेट 78 प्रोजेक्ट संग्रह में कई सौ हजार रिकॉर्ड हैं ।

सॉफ्टवेयर। बेशक, यह मानव जाति द्वारा बनाए गए सभी सॉफ़्टवेयर को संग्रहीत करना असंभव है, यहां तक ​​कि पुरालेख के लिए भी। सर्वर विंटेज को स्टोर करते हैं - उदाहरण के लिए, मैकिंटोश के लिए प्रोग्राम, डॉस और अन्य सॉफ्टवेयर के लिए सॉफ्टवेयर। 2016 में, आर्काइव के कर्मचारियों ने विंडोज 3.1 के लिए 1,500+ प्रोग्राम पोस्ट किए, आप सीधे ब्राउज़र में काम कर सकते हैं। 2017 में, इंटरनेट आर्काइव ने पहले मैकिन्टोश के लिए एक सॉफ्टवेयर संग्रह जारी किया।

खेल। हां, पुरालेख बड़ी संख्या में गेम तक पहुंच प्रदान करता है। उनमें से कुछ को एक ब्राउज़र एमुलेटर के वातावरण में खेला जा सकता है। पोर्टेबल एनालॉग-टू-डिजिटल कंसोल से गेम बहुत अलग हैं। अटारी और कोलेकोविज़न के लिए एमएस-डॉस और कंसोल गेम के लिए गेम हैं।



संगठन ने पहले 2013 में पुराने खेलों के संग्रह को पोस्ट किया । हम 30-40 साल पहले के शीर्षक के बारे में बात कर रहे हैं, जो सीधे ब्राउज़र में खेला जा सकता है। ये अटारी 2600 कंसोल (1977), अटारी 7800 (1986), कोलकविज़न (1982), फिलिप्स विडोपैक जी 7000 (1978) और एस्ट्रोकेड (1983) के लिए खेल हैं। सबसे दिलचस्प बात यह है कि इंटरनेट आर्काइव ने काफी कानूनी रूप से खेलना संभव बना दिया है। अब संग्रह में 3400 से अधिक खेल हैं और फिर से जारी है।