जानकारी डेस्क: "इंटरनेट आर्काइव" - इतिहास, मिशन और सहायक परियोजनाएं

संभवतः, हैबर के इतने सारे उपयोगकर्ता नहीं हैं, जिन्होंने "इंटरनेट आर्काइव" के बारे में कभी नहीं सुना है, एक ऐसी सेवा जो डिजिटल डेटा को खोजती है और संग्रहीत करती है, जो सभी मानव जाति के लिए महत्वपूर्ण है, चाहे वह इंटरनेट पेज, किताबें, वीडियो या अन्य प्रकार हों। जानकारी के लिए।

इंटरनेट संग्रह का प्रबंधन कौन करता है, यह कब दिखाई दिया और इसका मिशन क्या है? इसके बारे में आज की "पूछताछ" में पढ़ें।

हमें "पुरालेख" की भी आवश्यकता क्यों है?

यह सिर्फ मनोरंजन से दूर है। संगठन का मिशन सभी जानकारी तक सार्वभौमिक पहुंच प्रदान करना है। "इंटरनेट संग्रह" दोनों दूरसंचार कंपनियों (Google, फेसबुक, आदि) और सरकारों द्वारा सूचना के प्रावधान के एकाधिकार से लड़ने का प्रयास करता है।

उसी समय, "पुरालेख" एक कानून का पालन करने वाला संगठन है। अगर अमेरिकी कानून के तहत कुछ जानकारी को हटाने की जरूरत है, तो संगठन ऐसा करता है।

"इंटरनेट संग्रह" वैज्ञानिकों, सुरक्षा एजेंसियों, इतिहासकारों (उदाहरण के लिए, पुरातत्वविदों) और कई अन्य क्षेत्रों के प्रतिनिधियों के लिए एक उपकरण के रूप में कार्य करता है, व्यक्तिगत उपयोगकर्ताओं का उल्लेख नहीं करने के लिए।

"इंटरनेट संग्रह" कब दिखाई दिया?

"आर्काइव" का निर्माता अमेरिका का ब्रूस्टर काल है, जिसने कंपनी एलेक्सा इंटरनेट का निर्माण किया। उनकी दोनों सेवाएं बेहद लोकप्रिय हो गई हैं, दोनों अभी भी समृद्ध हैं।

"इंटरनेट आर्काइव" ने वेबसाइटों से सूचनाओं को संग्रहीत करने और 1996 में वेब पृष्ठों की प्रतियां रखने के लिए शुरू किया है। इस गैर-लाभकारी संगठन का मुख्यालय सैन फ्रांसिस्को, अमेरिका में स्थित है।

हालांकि, पांच साल तक डेटा सार्वजनिक पहुंच के लिए अनुपलब्ध था - डेटा "आर्काइव" के सर्वर पर संग्रहीत किया गया था, और यह सब, केवल सेवा का प्रशासन साइटों की पुरानी प्रतियां देख सकता था। 2001 से, सेवा प्रशासन ने सभी को संग्रहीत डेटा तक पहुंच प्रदान करने का निर्णय लिया है।

शुरुआत में, "इंटरनेट संग्रह" सिर्फ एक वेब संग्रह था, लेकिन फिर संगठन ने पुस्तकों, ऑडियो फाइलों, चलती छवियों, सॉफ़्टवेयर को सहेजना शुरू कर दिया। अब “इंटरनेट आर्काइव” नासा की तस्वीरों और अन्य चित्रों के लिए भंडार के रूप में कार्य करता है, लाइब्रेरी ग्रंथों को खोलता है, आदि।

संगठन का अस्तित्व कैसे है?

"पुरालेख" स्वैच्छिक दान पर मौजूद है - दोनों संगठनों और व्यक्तियों से। आप बिटकॉइन में सहायता प्रदान कर सकते हैं, वॉलेट नंबर 1Archive1n2C579dMsAu3iC6tWzuQJz8dN है। वैसे, इस वॉलेट ने अपने अस्तित्व के दौरान 357.47245492 बीटीसी प्राप्त किया है, जो मौजूदा दर पर लगभग 2.25 मिलियन डॉलर है।

"पुरालेख" कैसे काम करता है?

अधिकांश कर्मचारी पुस्तक स्कैनिंग केंद्रों में कार्यरत हैं, नियमित रूप से काम करते हैं, लेकिन समय लेने वाले काम करते हैं। संगठन के कैलिफोर्निया में स्थित तीन डेटा केंद्र हैं। एक सैन फ्रांसिस्को में, एक रेडवुड शहर में, एक रिचमंड में। एक प्राकृतिक आपदा या अन्य आपदाओं की स्थिति में डेटा हानि के जोखिम से बचने के लिए, "आर्काइव" की मिस्र और एम्स्टर्डम में अतिरिक्त क्षमता है।

“लाखों लोगों ने दूसरों के साथ साझा करने के लिए बहुत समय और प्रयास बिताया है जो हम इंटरनेट के रूप में जानते हैं। हम इस नए प्रकाशन मंच के लिए एक पुस्तकालय बनाना चाहते हैं, "ब्रूस्टर कहले, इंटरनेट आर्काइव के संस्थापक)

अब "पुरालेख" कितना बड़ा है?

"इंटरनेट संग्रह" में कई विभाजन हैं, और जो साइटों से जानकारी एकत्र करता है उसका अपना नाम है - वेबैक मशीन। "इंक्वायरी" लिखने के समय, पुरालेख में 339 बिलियन सहेजे गए वेब पेज थे। 2017 में, "आर्काइव" ने 30 पेटाबाइट्स की जानकारी संग्रहीत की, जो लगभग 300 बिलियन वेब पेज, 12 मिलियन किताबें, 4 मिलियन ऑडियो रिकॉर्डिंग, 3.3 मिलियन वीडियो, 1.5 मिलियन फोटो और 170 हजार विभिन्न सॉफ्टवेयर वितरण हैं। सिर्फ एक साल में, सेवा ने "अतिरिक्त वजन" बढ़ाया। अब "आर्काइव" में 339 बिलियन वेब पेज, 19 मिलियन किताबें, 4.5 मिलियन वीडियो फाइल, 4.7 मिलियन ऑडियो फाइल, विभिन्न प्रकार के 3.2 मिलियन इमेज, 381 हजार सॉफ्टवेयर डिस्ट्रीब्यूशन स्टोर हैं।

डेटा स्टोरेज कैसे व्यवस्थित किया जाता है?

जानकारी तथाकथित "डेटा नोड्स" में हार्ड ड्राइव पर संग्रहीत है। ये सर्वर हैं। उनमें से प्रत्येक में 36 हार्ड ड्राइव (प्लस दो ऑपरेटिंग सिस्टम ड्राइव) शामिल हैं। डेटा नोड्स को 10 मशीनों के सरणियों में वर्गीकृत किया जाता है और क्लस्टर भंडारण का प्रतिनिधित्व करता है। 2016 में, "पुरालेख" ने 8-टेराबाइट एचडीडी का उपयोग किया, अब स्थिति उसी के बारे में है। यह पता चलता है कि एक नोड में लगभग 288 टेराबाइट डेटा संग्रहीत है। सामान्य तौर पर, अन्य आकारों की हार्ड ड्राइव का भी उपयोग किया जाता है: 2.3 और 4 टीबी।

2016 में, लगभग 20,000 हार्ड ड्राइव थे। "आर्काइव" के डेटा केंद्र निरंतर विशेषताओं के साथ जलवायु नियंत्रण के लिए एयर कंडीशनिंग इकाइयों से लैस हैं। 10 नोड्स के क्लस्टर किए गए भंडारण में लगभग 5 किलोवाट ऊर्जा की खपत होती है।

इंटरनेट आर्काइव की संरचना एक आभासी "पुस्तकालय" है, जिसे पुस्तकों, फिल्मों, संगीत आदि जैसे वर्गों में विभाजित किया गया है। प्रत्येक तत्व के लिए कैटलॉग में एक विवरण है - आमतौर पर नाम, लेखक का नाम और अतिरिक्त जानकारी। तकनीकी दृष्टिकोण से, तत्व संरचित और लिनक्स निर्देशिकाओं में स्थित हैं।

"पुरालेख" द्वारा संग्रहीत डेटा की कुल मात्रा 22 पीबी है, और अब एक और 22 पीबी के लिए जगह है। "क्योंकि हम पागल हैं," - सेवा के प्रतिनिधियों को बताएं।



निर्देशिका सामग्री के स्क्रीनशॉट को देखें - "_files.xml" के साथ नाम समाप्त होने के साथ एक फ़ाइल है। यह एक निर्देशिका है जिसमें निर्देशिका में सभी फ़ाइलों के बारे में जानकारी है।

यदि एक या अधिक सर्वर विफल हो जाते हैं तो डेटा का क्या होगा?

कुछ भी बुरा नहीं है - डेटा डुप्लिकेट है। जैसे ही "पुरालेख" लाइब्रेरी में एक नया आइटम दिखाई देता है, इसे तुरंत दोहराया जाता है और विभिन्न सर्वरों पर अलग-अलग हार्ड ड्राइव पर रखा जाता है। "मिररिंग" सामग्री की प्रक्रिया बिजली आउटेज और फ़ाइल सिस्टम विफलताओं जैसी समस्याओं से निपटने में मदद करती है।

यदि हार्ड डिस्क विफल हो जाती है, तो उसे नए से बदल दिया जाता है। मिररड और रिडुप्लिकेटेड डेटा संरचना के लिए धन्यवाद, यह तुरंत पुराने एचडीडी पर मौजूद डेटा से भर गया जो विफल हो गया।

"आर्काइव" में एक विशेष प्रणाली है जो एचडीडी की स्थिति की निगरानी करती है। एक दिन के दौरान, आपको विफल ड्राइव के 6 से 7 को बदलना होगा।

Wayback Machine क्या है?

यह "इंटरनेट संग्रह" सेवाओं में से एक है जो वेब पृष्ठों को बचाने में माहिर है। सेवा का अपना "मकड़ी" है, जो नियमित रूप से नेटवर्क पर उपलब्ध सभी साइटों की जांच करता है और उन्हें विशेष सर्वर पर संग्रहीत करता है। एक वेबसाइट जितनी लोकप्रिय है, उतनी ही बार रोबोट अपनी सामग्री की प्रतिलिपि बनाता है। यदि संसाधन व्यवस्थापक को बॉट द्वारा कॉपी की गई साइट जानकारी नहीं चाहिए, तो वह robots.txt फ़ाइल में प्रतिबंध दर्ज करने के लिए पर्याप्त है।


लोकप्रिय संसाधनों को अक्सर कॉपी किया जाता है - लगभग दैनिक। वेबैक मशीन ट्विटर, फेसबुक सहित सामाजिक नेटवर्क को भी अनुक्रमित करती है



2017 में, "आर्काइव" ने अपडेटेड वेबबैक मशीन को लॉन्च किया, जो सहेजे गए वेब पेजों के लिए अधिक सुविधाजनक पहुंच का वादा करता है। यदि खरोंच से कोड नहीं किया गया था, तो सेवा को बहुत बदल दिया गया था। अब यह कई फ़ाइल स्वरूपों का समर्थन करता है जो पहले केवल सहेजे नहीं जा सकते थे। उसी 2017 में, संगठन ने कहा कि हर हफ्ते उसके सर्वर लगभग 1 बिलियन वेब पेज सहेजते हैं।



यह वही है जो 2007 में ट्विटर की तरह दिखता था

"इंटरनेट संग्रह" डेटाबेस में और क्या मिल सकता है?

पुस्तकें। संगठन का संग्रह बहुत बड़ा है, इसमें डिजीटल किताबें शामिल हैं, दोनों आम और बहुत दुर्लभ संस्करण हैं। किताबों को न केवल अंग्रेजी में, बल्कि कई अन्य भाषाओं में भी सहेजा जाता है। "आर्काइव" में पुस्तकों की स्कैनिंग के लिए विशेष केंद्र हैं, ऐसे कुल 33 केंद्र हैं। वे दुनिया भर के पांच देशों में स्थित हैं।

केंद्र का कर्मचारी एक दिन में लगभग 1,000 पुस्तकों को स्कैन करता है। सेवा के डेटाबेस में लाखों प्रकाशन हैं। उनके डिजिटलीकरण पर काम पुस्तकालयों और नींव सहित सामान्य लोगों और विभिन्न संगठनों द्वारा वित्त पोषित है।

2007 से, "इंटरनेट संग्रह" अपने डेटाबेस में Google पुस्तक खोज से सार्वजनिक पुस्तकों का संग्रह कर रहा है। लॉन्च के बाद, पुस्तक डेटाबेस तेजी से विकसित हुआ है - 2013 में, Google सेवा से 900 हजार से अधिक पुस्तकें सहेजी गईं।

"पुरालेख" की सेवाओं में से एक भी उन पुस्तकों तक पहुंच प्रदान करती है जो पूरी तरह से खुली हैं। उनमें से एक मिलियन से अधिक पहले से ही है। इस सेवा को ओपन लाइब्रेरी कहा जाता है।

वीडियो। सेवा में 4.5 मिलियन वीडियो हैं। वे विषयों में विभाजित हैं और एक बहुत अलग ध्यान केंद्रित है। "आर्काइव" सर्वर फिल्मों, वृत्तचित्रों, खेल आयोजनों, टीवी शो और कई अन्य सामग्रियों को संग्रहीत करते हैं।

2015 में, "पुरालेख" ने एक बड़े पैमाने पर परियोजना को जन्म दिया - वीडियो कैसेट का डिजिटलीकरण। सबसे पहले, यह मैरियन स्टोक्स के संग्रह से लगभग 40 हजार कैसेट था, एक महिला जो दशकों से टेप पर समाचार रिकॉर्ड कर रही है। फिर अन्य वीडियो टेप जोड़े गए। उन्हें डेटा को डिजिटल बनाने के विचार के प्रशंसकों द्वारा "आर्काइव" पर भेजा गया जो मानवता के लिए महत्वपूर्ण हैं।

ऑडियो फ़ाइलें। वीडियो के समान, "आर्काइव" ऑडियो फाइलों को संग्रहीत करता है, जिन्हें विषयों द्वारा भी विभाजित किया जाता है। पिछले साल, "पुरालेख" ने अपनी नई परियोजना को लागू करना शुरू किया - शेलक रिकॉर्ड का डिकोडिंग, ऑडियो रिकॉर्डिंग का सबसे पुराना प्रारूप। ध्वनि को शेलैक की प्लेटों पर संरक्षित किया गया था - एक प्राकृतिक राल, जिसे महिला पैमाने के कीड़े द्वारा अलग किया जाता है। कुल मिलाकर, आर्काइव ग्रेट 78 प्रोजेक्ट में कई सौ हजार रिकॉर्ड हैं ।

सॉफ्टवेयर। बेशक, मानव जाति द्वारा बनाए गए सभी सॉफ़्टवेयर को संग्रहीत करना असंभव है, यहां तक ​​कि "पुरालेख" के लिए भी। सर्वर विंटेज को स्टोर करते हैं - उदाहरण के लिए, मैकिंटोश के लिए प्रोग्राम, डॉस और अन्य सॉफ्टवेयर के लिए सॉफ्टवेयर। 2016 में, "पुरालेख" कर्मचारियों ने विंडोज 3.1 के लिए 1500 से अधिक कार्यक्रम पोस्ट किए। आप सीधे ब्राउज़र में काम कर सकते हैं। 2017 में, इंटरनेट आर्काइव ने पहले मैकिन्टोश के लिए सॉफ्टवेयर का संग्रह जारी किया है।

खेल। हां, "पुरालेख" बड़ी संख्या में गेम तक पहुंच प्रदान करता है। उनमें से कुछ ब्राउज़र एमुलेटर वातावरण में खेला जा सकता है। पोर्टेबल एनालॉग-डिजिटल कंसोल के लिए विभिन्न प्रकार के गेम संग्रहीत किए जाते हैं। अटारी और कोलेकोविज़न के लिए एमएस-डॉस और कंसोल गेम के लिए गेम हैं ।



पहली बार 2013 में पुराने खेलों के संग्रह को संगठन द्वारा अपलोड किया गया था। हम 30-40 साल पहले के शीर्षक के बारे में बात कर रहे हैं, जो सीधे ब्राउज़र में खेला जा सकता है। ये अटारी 2600 (1977), अटारी 7800 (1986), कोलकविज़न (1982), फिलिप्स विडोपैक जी 7000 (1978) और एस्ट्रोकेड (1983) के लिए खेल हैं। सबसे दिलचस्प बात यह है कि इंटरनेट आर्काइव ने यह सुनिश्चित किया है कि आप काफी कानूनी रूप से खेल सकते हैं। अब संग्रह में 3400 से अधिक खेल हैं और यह बढ़ता रहता है।