फ़ोटो और अन्य फ़ाइलों का संग्रहण और स्वचालित छँटाई। NAS Synology- आधारित फ़ाइल संग्रहण के साथ कार्य करें

लंबे समय से मैं लिखना चाहता था कि मैं अपनी फ़ाइलों को कैसे स्टोर करूं, बैकअप कैसे करूं, लेकिन मेरे हाथ नहीं पहुंचे। हाल ही में, एक लेख यहां दिखाई दिया, कुछ हद तक मेरा जैसा लेकिन एक अलग दृष्टिकोण के साथ।
लेख ही।

मैं फ़ाइलों को संग्रहीत करने के लिए आदर्श विधि खोजने के लिए कई वर्षों से कोशिश कर रहा हूँ। मुझे लगता है कि मैंने इसे पाया, लेकिन हमेशा सुधार करने के लिए कुछ है, अगर इसे बेहतर करने के बारे में कोई विचार हैं, तो मैं इसे खुशी के साथ पढ़ता हूं।

शुरू करने के लिए, मैं आपको अपने बारे में कुछ शब्द बताऊंगा, मैं वेब विकास करता हूं और अपने खाली समय में तस्वीरें लेता हूं। इसलिए यह निष्कर्ष कि मुझे काम और व्यक्तिगत परियोजनाओं, फ़ोटो, वीडियो और अन्य फ़ाइलों को संग्रहीत करने की आवश्यकता है।

मेरे पास लगभग 680 जीबी फाइलें हैं, जिनमें से 90 प्रतिशत फोटो और वीडियो हैं।

मेरे वाल्टों में फ़ाइल संचलन:

यहां बताया गया है कि मेरी सभी फाइलें कैसे और कहां संग्रहीत हैं।

अब और विस्तार से।

जैसा कि आप देख सकते हैं, सब कुछ का दिल मेरा NAS है, अर्थात् Synology DS214, Synology के सबसे सरल NAS में से एक, फिर भी, सब कुछ के साथ मुझे इसकी आवश्यकता है जो इसे कॉपी करता है।

ड्रॉपबॉक्स

मेरे पास एक वर्किंग मशीन मैकबुक प्रो 13, 2015 है। मेरे पास 512GB है, लेकिन सभी फाइलें अपने आप फिट नहीं होती हैं, मैं केवल वही स्टोर करता हूं जिसकी मुझे फिलहाल जरूरत है। मैं ड्रॉपबॉक्स के साथ अपनी सभी व्यक्तिगत फ़ाइलों और फ़ोल्डरों को सिंक्रनाइज़ करता हूं, मुझे पता है कि यह बहुत विश्वसनीय नहीं है, लेकिन यह केवल सिंक्रनाइज़ेशन फ़ंक्शन करता है। और वह इसे सबसे अच्छा करता है, कम से कम मैंने जो कोशिश की थी। और मैंने सभी प्रसिद्ध और बहुत बादलों की कोशिश नहीं की।

Synology का अपना क्लाउड भी होता है, आप इसे अपने NAS पर तैनात कर सकते हैं, मैंने Dropbox से Synology Cloud Station में ट्रांसफर करने की कई बार कोशिश की, लेकिन हमेशा सिंक्रोनाइज़ेशन में दिक्कतें आती थीं, हमेशा किसी न किसी तरह की एरर या सब कुछ सिंक्रोनाइज़ नहीं होता था।

सभी महत्वपूर्ण फ़ाइलें ड्रॉपबॉक्स फ़ोल्डर में संग्रहीत होती हैं, कभी-कभी मैं डेस्कटॉप पर कुछ सहेजता हूं, इसलिए कुछ खोने के लिए नहीं, मैंने मैकड्रॉपएनी प्रोग्राम का उपयोग करते हुए ड्रॉपबॉक्स फ़ोल्डर में एक सिमलिंक बनाया।
मेरा डाउनलोड फ़ोल्डर किसी भी तरह से सिंक्रनाइज़ नहीं होता है, लेकिन वहाँ कुछ भी महत्वपूर्ण नहीं है, केवल अस्थायी फाइलें हैं। यदि मैं कुछ महत्वपूर्ण डाउनलोड करता हूं, तो मैं इसे ड्रॉपबॉक्स में उपयुक्त फ़ोल्डर में कॉपी करता हूं।

Git

उत्पादन सर्वर पर कार्य फ़ाइलों को संग्रहीत किया जाता है, GitLab पर व्यक्तिगत परियोजनाएं, यहां सब कुछ सरल है।

टाइम मशीन

मैं ड्रॉपबॉक्स और डाउनलोड फ़ोल्डर को छोड़कर, पूरे सिस्टम का बैकअप लेता हूं, ताकि व्यर्थ में जगह न ले सके। मैं टाइम मशीन के माध्यम से सिस्टम का बैकअप बनाता हूं, एक उत्कृष्ट उपकरण, एक से अधिक बार मदद करने के बाद। मैं इसे उसी एनएएस पर कर रहा हूं, क्योंकि ऐसा कोई फंक्शन है। आप इसे बाहरी एचडीडी पर कर सकते हैं, लेकिन यह इतना सुविधाजनक नहीं है। हर बार आपको बाहरी ड्राइव को कनेक्ट करने और खुद को टाइम मशीन चलाने की आवश्यकता होती है। आलस्य के कारण, अक्सर ऐसे बैकअप हर कुछ हफ्तों में एक बार किए जाते थे। वह स्वचालित रूप से सर्वर के लिए एक बैकअप बनाता है, जब वह ऐसा करता है तो मैं भी नोटिस नहीं करता हूं। मैं घर से काम करता हूं, इसलिए मेरे पास हमेशा अपने पूरे सिस्टम का एक ताजा बैकअप होता है। एक कॉपी एक दिन में कई बार बनाई जाती है, कितनी बार और कितनी बार गिनती नहीं की जाती है।

NAS

यहीं पर सारा जादू होता है।

Synology में एक उत्कृष्ट उपकरण है, इसे Cloud Sync कहा जाता है, मुझे लगता है कि यह नाम स्पष्ट करता है कि यह क्या करता है।

यह कई क्लाउड सिस्टम को एक-दूसरे के साथ सिंक्रोनाइज़ कर सकता है, या NAS क्लाउड से अन्य क्लाउड्स के साथ फाइल को सिंक्रोनाइज़ कर सकता है। मुझे लगता है कि नेटवर्क पर इस कार्यक्रम का अवलोकन है। मैं विवरण में नहीं जाऊंगा। मैं बेहतर वर्णन करता हूं कि मैं इसका उपयोग कैसे करता हूं।



सर्वर पर, मेरे पास ड्रॉपबॉक्स नामक एक ड्राइव फ़ोल्डर है, यह मेरे ड्रॉपबॉक्स खाते की एक प्रति है, इस सभी को सिंक्रनाइज़ करने के लिए क्लाउड सिंक जिम्मेदार है। यदि ड्रॉपबॉक्स में फ़ाइलों के साथ कुछ हुआ है, तो यह सर्वर पर होगा, अगर यह \ डिलीट \ सृजन को खाता है तो कोई फर्क नहीं पड़ता। सामान्य तौर पर, क्लासिक सिंक्रनाइज़ेशन।

यैंडेक्स ड्राइव

इसके अलावा, मैं इन सभी फ़ाइलों को अपने यैंडेक्स ड्राइव में फेंक देता हूं, मैं इसे घर पर बने बैकअप डिस्क के रूप में उपयोग करता हूं, अर्थात मैं वहां फाइलें छोड़ता हूं, लेकिन वहां से कुछ भी डिलीट नहीं करता, फाइलों का यह डंप निकलता है, लेकिन यह कुछ समय में मदद करता है।

गूगल ड्राइव

वहां मैं केवल तस्वीरें फ़ोल्डर भेजता हूं, सिंक्रनाइज़ेशन मोड में भी, मैं केवल Google फ़ोटो में फ़ोटो को देखने के लिए सुविधाजनक बनाता हूं और वहां से फ़ोटो हटाने की क्षमता के साथ और उन्हें हर जगह हटा दिया जाता है (केवल यैंडेक्स डिस्क को छोड़कर)। मैं नीचे दिए गए फोटो के बारे में लिखूंगा, वहां आप आम तौर पर एक अलग लेख लिख सकते हैं।

HyperBackup

लेकिन यह सब बहुत विश्वसनीय नहीं है, यदि आपने गलती से किसी फ़ाइल को हटा दिया है, तो इसे हर जगह हटा दिया जाएगा और आप इसे खो जाने पर विचार कर सकते हैं। आप निश्चित रूप से एक यैंडेक्स ड्राइव से पुनर्स्थापित कर सकते हैं, लेकिन पहली जगह में, एक ही स्थान पर बैकअप अपने आप में बहुत विश्वसनीय नहीं है, और यैंडेक्स ड्राइव स्वयं एक सेवा नहीं है जिसमें आप 100% सुनिश्चित हो सकते हैं, हालांकि इसके बारे में कभी कोई समस्या नहीं हुई है।

इसलिए, मैंने हमेशा फाइलों को कहीं और स्टोर करने की कोशिश की, पहले से ही एक सामान्य बैकअप सिस्टम के साथ।



Synology में इसके लिए एक उपकरण भी होता है, इसे HyperBackup कहा जाता है, यह या तो अन्य Synology सर्वरों के लिए, या कुछ तृतीय-पक्ष क्लाउड समाधानों के लिए फ़ाइलों को बैकअप करता है।
वह यह भी जानता है कि NAS-y से जुड़े बाहरी ड्राइव का बैकअप कैसे लें, जैसा कि मैंने हाल ही में किया था। लेकिन यह भी विश्वसनीय नहीं है, उदाहरण के लिए, यदि आग खत्म हो जाती है, तो सर्वर और एचडीडी समाप्त हो जाएगा।

पर्यायवाची c2

यहाँ हम सुचारु रूप से पहले से ही एक और सेवा को सुचारू रूप से अपना रहे हैं। बैकअप स्टोर करने के लिए उसके पास अपने खुद के बादल हैं। यह विशेष रूप से हाइपरबैकअप के तहत तेज किया जाता है, यह हर दिन वहां एक बैकअप बनाता है, लेकिन यह एक अच्छी तरह से सोचा जाने वाला बैकअप है, इसमें फ़ाइल संस्करण, एक समयरेखा और यहां तक ​​कि विंडोज़ और मैक ओएस के लिए क्लाइंट भी हैं।



यह सब फ़ाइल भंडारण के साथ है, मुझे आशा है कि मेरी फाइलें सुरक्षित हैं।

अब चलो छँटाई फ़ाइलों पर चलते हैं।

नियमित फाइलें, किताबें, दस्तावेजों के स्कैन और अन्य महत्वहीन फाइलें, मैं हाथ से सब कुछ फ़ोल्डर में सॉर्ट करता हूं। आमतौर पर उनमें से कई नहीं होते हैं और मैं शायद ही कभी उन्हें खोलता हूं।

सबसे मुश्किल काम फोटो और वीडियो को सॉर्ट करना है, मेरे पास उनमें से बहुत कुछ है।

मैं कुछ दर्जन से लेकर कई सौ महीने तक की तस्वीरें लेता हूं। मैं एक डीएसएलआर पर, एक ड्रोन पर और कभी-कभी फोन पर शूट करता हूं। तस्वीरें व्यक्तिगत हैं और स्टॉक के लिए हैं। इसके अलावा कभी-कभी मैं एक होम वीडियो शूट करता हूं (न कि आपने जो सोचा था, सिर्फ पारिवारिक वीडियो, अक्सर एक बेटी के साथ)। इसे किसी तरह संग्रहित और क्रमबद्ध करने की भी आवश्यकता है ताकि कोई गड़बड़ न हो।

मेरे पास एक ही ड्रॉपबॉक्स में एक फ़ोल्डर है जिसे सॉर्ट इमेज कहा जाता है, वहाँ सबफ़ोल्डर हैं जहां सभी फ़ोटो और वीडियो चलते हैं, वहां से उन्हें लिया जाता है और जहां आवश्यक होता है, वहां सॉर्ट किया जाता है।



एनएएस सर्वर पर सॉर्टिंग होती है, बैश स्क्रिप्ट काम करती है जो स्वचालित रूप से दिन में एक बार चलती है और अपना काम करती है। एनएएस भी उनके लॉन्च के लिए जिम्मेदार है, एक कार्य अनुसूचक है जो सभी लिपियों और अन्य कार्यों को लॉन्च करने के लिए जिम्मेदार है। आप कॉन्फ़िगर कर सकते हैं कि कितनी बार और कब कार्यों को शुरू किया जाएगा, एक इंटरफ़ेस के साथ मुकुट यदि आसान हो।



प्रत्येक फ़ोल्डर की अपनी स्क्रिप्ट होती है। अब फ़ोल्डरों के बारे में अधिक:

ड्रोन - यहां ड्रोन से तस्वीरें हैं जिन्हें मैंने निजी उद्देश्यों के लिए शूट किया था। सबसे पहले, मैं सभी तस्वीरों को लाइटरूम में संसाधित करता हूं, फिर मैं इस फ़ोल्डर में जेपीजी को निर्यात करता हूं। वहाँ से वे एक और ड्रॉपबॉक्स फ़ोल्डर में समाप्त होते हैं, "फोटो।"

वहाँ एक फ़ोल्डर है "गबन" और वहाँ वे पहले से ही वर्ष और महीने के अनुसार क्रमबद्ध हैं। स्क्रिप्ट स्वयं आवश्यक फ़ोल्डर बनाते हैं और फ़ोटो को मेरे टेम्पलेट के अनुसार स्वयं का नाम बदल देते हैं, आमतौर पर यह वह तारीख और समय होता है जब फ़ोटो ली जाती थी, मैं अंत में एक यादृच्छिक संख्या भी जोड़ता हूं ताकि उसी नाम वाली फाइलें काम न करें। मुझे याद नहीं है कि फ़ाइल नाम में सेकंड सेट करना इन उद्देश्यों के लिए उपयुक्त नहीं था।

पेड़ इस तरह दिखता है: फोटो / ड्रोन / 2019/05 - मई / 01 - मई - 2019_19.25.53_37 .jpg



ड्रोन वीडियो - मुझे अभी तक एक ड्रोन वीडियो शूट नहीं करना है, मुझे बहुत कुछ सीखने की ज़रूरत है, अब इसके लिए कोई समय नहीं है, लेकिन मैंने पहले से ही एक फ़ोल्डर बनाया है।

छवियां संचालन - अंदर दो फ़ोल्डर हैं, जब फाइलें भर में आती हैं, तो वे इंटरनेट पर प्रकाशन के लिए अधिकतम 2000px तक संकुचित होते हैं या फ़्लिप चित्र किए जाते हैं, मुझे इसकी पहले से आवश्यकता नहीं है, लेकिन मैंने अभी तक फ़ोल्डर को हटा नहीं दिया है।

पैनोरमा - यहां वे आते हैं क्योंकि पैनोरमाओं का अनुमान लगाना मुश्किल नहीं है, मैं उन्हें अलग से संग्रहीत करता हूं क्योंकि यह एक विशिष्ट प्रकार का फोटो है, मैं आमतौर पर उन्हें ड्रोन बनाता हूं। मैं साधारण पैनोरमा बनाता हूं, लेकिन मैं 360 पैनोरमा भी बनाता हूं और कभी-कभी गोले, ऐसे पैनोरमा को छोटे ग्रहों के रूप में बनाता हूं, मैं ड्रोन भी बनाता हूं। इस फोल्डर से सभी फोटो फोटो / पैनोरमा / 2019/01 - मई - 2019_19.25.53_37.jpg में आते हैं। यहाँ मैं महीने से नहीं छाँटता हूँ क्योंकि इतने सारे पैनोरमा नहीं हैं।

पर्सनल फोटो - यहां मुझे ऐसी तस्वीरें मिलती हैं जो मैं DSLR पर लेता हूं, आमतौर पर ये पारिवारिक तस्वीरें या यात्रा होती हैं, सामान्य तस्वीरों में जो मेमोरी के लिए और अपने लिए बनाई जाती हैं। मैं कच्ची तस्वीरों और लाइटरूम की भी प्रक्रिया करता हूं और फिर यहां निर्यात करता हूं।

यहाँ से वे यहाँ मिलते हैं: फोटो / 2019/05 - मई / 01 - मई - 2019_19.25.53_37.jpg

यदि मैंने किसी प्रकार का उत्सव या कुछ और लिया है जिसे अलग से संग्रहीत करना बेहतर होगा, तो 2019 के फ़ोल्डर में मैं उत्सव के नाम के साथ एक फ़ोल्डर बनाऊंगा और वहां अपने हाथों से फोटो कॉपी करूंगा।

RAW - यहाँ फोटो का स्रोत गिरता है। मैं हमेशा रॉ में शूटिंग करता हूं, मैं सभी तस्वीरें जेपीजी में रखता हूं, लेकिन कभी-कभी मैं रॉ फाइलों को भी स्टोर करना चाहता हूं, कभी-कभी मैं एक फ्रेम को अलग तरीके से प्रोसेस करना चाहता हूं। आमतौर पर यह प्रकृति है और केवल सबसे अच्छे शॉट्स मिलते हैं, सभी एक पंक्ति में नहीं।

स्टॉक फोटो - यहां मैं स्टॉक के लिए तस्वीरें छोड़ता हूं, जो मैं या तो डीएसएलआर पर या ड्रोन पर करता हूं। छँटाई अन्य तस्वीरों की तरह ही है, बस अपने अलग फ़ोल्डर में।

ड्रॉपबॉक्स की रूट डायरेक्टरी में, कैमरा अपलोड फ़ोल्डर है, यह डिफ़ॉल्ट फ़ोल्डर है जिसमें ड्रॉपबॉक्स मोबाइल एप्लिकेशन वहां के सभी फोटो और वीडियो को छोड़ देता है। फोन से पत्नी की सभी तस्वीरें इस तरह से छोड़ दी जाती हैं। मैं फोन से अपनी सभी तस्वीरें और वीडियो भी यहां से हटाता हूं और यहां से पहले से ही उन्हें एक अलग फ़ोल्डर में सॉर्ट करता हूं। लेकिन मैं इसे एक अलग तरीके से करता हूं, मेरे लिए अधिक सुविधाजनक है। Android, FolderSync के लिए ऐसा एक कार्यक्रम है, यह आपको अपने मोबाइल फोन से सभी तस्वीरें लेने, उन्हें ड्रॉपबॉक्स पर अपलोड करने और फिर उन्हें अपने फोन से हटाने की अनुमति देता है। कई सेटिंग्स हैं, मैं सलाह देता हूं। फोन से वीडियो भी इस फ़ोल्डर में मिलता है, वे भी सभी तस्वीरों की तरह, वर्ष और महीने के आधार पर क्रमबद्ध होते हैं।

मैंने इंटरनेट पर किसी भी निर्देश से सभी लिपियों को स्वयं एकत्र किया, मुझे कोई भी तैयार समाधान नहीं मिला। मुझे बैश स्क्रिप्ट के बारे में कुछ भी पता नहीं है, हो सकता है कि कुछ गलतियाँ हों या कुछ चीजें जो बेहतर हो सकती हैं, लेकिन सबसे महत्वपूर्ण बात मेरे लिए है, वे अपना काम करते हैं और मुझे जो चाहिए होता है।

जीथूब पर अपलोड किए गए स्क्रिप्ट: https://github.com/pelinoleg/bash-scripts

इससे पहले, मैंने फ़ोटो और वीडियो को सॉर्ट करने के लिए मैक ओएस के लिए हेज़ल का उपयोग किया था, वहाँ सब कुछ अपने आप से आसान है, सभी कार्यों को नेत्रहीन बनाया जाता है, कोड लिखने की कोई आवश्यकता नहीं है, लेकिन दो minuses हैं। सबसे पहले, आपको अपने कंप्यूटर पर सभी फ़ोल्डरों को रखने की आवश्यकता है ताकि सब कुछ अच्छी तरह से काम करे और दूसरा, यदि आप अचानक विंडोज़ या लिनक्स पर स्विच करते हैं तो ऐसे कोई प्रोग्राम नहीं हैं। मैंने एक विकल्प की तलाश करने की कोशिश की लेकिन वे सभी कुछ भी नहीं थे। सर्वर पर स्क्रिप्ट के साथ एक समाधान एक अधिक सार्वभौमिक समाधान है।

सभी स्क्रिप्ट्स को दिन में एक बार चलाने के लिए कॉन्फ़िगर किया जाता है, आमतौर पर रात में। लेकिन अगर इंतजार करने का समय नहीं है और आपको किसी तरह अब आवश्यक स्क्रिप्ट को निष्पादित करने की आवश्यकता है, तो दो समाधान हैं: एसएसएच के माध्यम से सर्वर से कनेक्ट करें और आवश्यक स्क्रिप्ट निष्पादित करें, या व्यवस्थापक पैनल पर जाएं और मैन्युअल रूप से आवश्यक स्क्रिप्ट भी लॉन्च करें। यह सब मुझे सुविधाजनक नहीं लगता है, इसलिए मुझे तीसरा समाधान मिला। Android के लिए एक कार्यक्रम है, यह ssh कमांड भेज सकता है। मैंने कई कमांड बनाए, प्रत्येक का अपना बटन है और अब अगर मुझे ड्रोन से ली गई उदाहरण तस्वीरों को सॉर्ट करने की आवश्यकता है, तो मैं सिर्फ एक बटन दबाता हूं और स्क्रिप्ट काम करती है। कार्यक्रम को एसएसहिंग कहा जाता है, अन्य समान हैं, लेकिन मेरे लिए यह सबसे सुविधाजनक है।



मेरे पास मेरी कई साइटें हैं, वे शो के लिए अधिक हैं, लगभग कोई भी वहां नहीं जाता है, लेकिन फिर भी बैकअप को नुकसान नहीं होगा। मैं DigitalOcean पर साइटें रखता हूं, वहां मैंने aPanel पैनल स्थापित किया है। सभी फ़ाइलों और सभी डेटाबेस की बैकअप प्रतियां बनाने का अवसर है, लेकिन एक ही डिस्क पर।

एक ही ड्राइव पर बैकअप रखना मामला नहीं है, इसलिए मैं भी बैश स्क्रिप्ट के माध्यम से वहां दस्तक देता हूं और अपने सर्वर पर सब कुछ कॉपी करता हूं, नाम में तारीख के साथ एक संग्रह में सब कुछ संग्रहित करता है।

मुझे उम्मीद है कि कम से कम किसी को उन तरीकों से मदद मिलेगी जो मैं उपयोग करता हूं और जिसे मैंने साझा किया है।

जैसा कि आप लेख से देख सकते हैं, मैं स्वचालन से प्यार करता हूं और यह कोशिश करता हूं कि जो कुछ भी संभव है उसे स्वचालित करने की कोशिश करें, मैंने स्वचालन के दृष्टिकोण से कई चीजों का वर्णन नहीं किया है, क्योंकि ये अन्य विषय और अन्य लेख हैं।