Pendant longtemps, j'ai voulu écrire sur la façon dont je stocke mes fichiers, comment je fais des sauvegardes, mais mes mains n'ont pas atteint. Récemment, un article est apparu ici, quelque peu similaire au mien mais avec une approche différente.
L'article lui-même.J'essaie depuis de nombreuses années de trouver la méthode idéale pour stocker des fichiers. Je pense que je l'ai trouvé, mais il y a toujours quelque chose à améliorer, s'il y a des idées sur comment mieux le faire, je le lis avec plaisir.
Pour commencer, je vais vous parler de moi, je fais du développement web et je prends des photos pendant mon temps libre. D'où la conclusion que j'ai besoin de stocker du travail et des projets personnels, des photos, des vidéos et d'autres fichiers.
J'ai environ 680 Go de fichiers, dont 90% sont des photos et des vidéos.
Circulation des fichiers dans mes coffres:
Voici un schéma approximatif de comment et où tous mes fichiers sont stockés.
Maintenant plus en détail.
Comme vous pouvez le voir, le cœur de tout est mon NAS, à savoir le Synology DS214, l'un des NAS les plus simples de Synology, néanmoins, avec tout ce dont j'ai besoin, il fait face.
Dropbox
J'ai une machine de travail macbook pro 13, 2015. J'ai 512 Go là-bas, mais tous les fichiers ne tiennent pas seuls, je ne stocke que ce dont j'ai besoin pour le moment. Je synchronise tous mes fichiers et dossiers personnels avec Dropbox, je sais que ce n'est pas très fiable, mais il ne fait que la fonction de synchronisation. Et il le fait mieux, du moins d'après ce que j'ai essayé. Et j'ai essayé tous les fameux et pas très nuages.
Synology a également son propre cloud, vous pouvez le déployer sur votre NAS, j'ai essayé plusieurs fois de transférer de Dropbox vers Synology Cloud Station, mais il y avait toujours des problèmes de synchronisation, toujours une sorte d'erreurs, ou pas tout synchronisé.
Tous les fichiers importants sont stockés dans le dossier Dropbox, parfois j'enregistre quelque chose sur le bureau, afin de ne pas perdre quelque chose, j'ai créé un lien symbolique vers le dossier Dropbox en utilisant le programme MacDropAny.
Mon dossier de téléchargement ne se synchronise en aucune façon, mais il n'y a rien d'important là-dedans, seulement des fichiers temporaires. Si je télécharge quelque chose d'important, je le copie dans le dossier approprié de Dropbox.
Mes aventures avec DropboxIl était une fois, quelque part en 2013-2014, j'ai stocké tous les fichiers dans Dropbox-e et seulement dedans, il n'y avait pas de sauvegardes. Ensuite, je n'avais pas 1 To, c'est-à-dire que je ne l'ai pas payé, j'avais quelque part 25 Go, ce que j'ai gagné en invitant des amis ou d'autres tâches.
Un beau matin, j'ai allumé l'ordinateur et tous mes fichiers ont disparu, j'ai également reçu un e-mail de Dropbox où ils s'excusent et que mes fichiers ont disparu par leur faute. Ils m'ont donné un lien par lequel je pouvais restaurer mes fichiers mais en eux-mêmes rien n'a été restauré. Pour cela, ils m'ont donné 1 To pendant un an, après quoi je suis devenu leur client, aussi étrange que cela puisse paraître, mais je ne leur ai jamais fait confiance.
Comme je l'ai écrit ci-dessus, je n'ai pas pu trouver de cloud plus adapté à ma situation, d'une part il n'y a eu aucun problème de synchronisation, et d'autre part, toutes sortes de services ne fonctionnent qu'avec Dropbox.
Git
Les fichiers de travail sont stockés sur le serveur de production, les projets personnels sur GitLab, tout est simple ici.
Machine à remonter le temps
Je sauvegarde également l'intégralité du système, à l'exception du dossier Dropbox et Téléchargements, afin de ne pas prendre de place en vain. Je fais une sauvegarde du système via Time Machine, un excellent outil, plus d'une fois aidé. Je le fais sur le même NAS, car il existe une telle fonction. Vous pouvez le faire sur un disque dur externe bien sûr, mais ce n'est pas si pratique. Chaque fois que vous devez connecter un disque externe et exécuter Time Machine vous-même. En raison de la paresse, ces sauvegardes ont souvent été effectuées une fois toutes les quelques semaines. Il fait automatiquement une sauvegarde sur le serveur, je ne remarque même pas quand il le fait. Je travaille à domicile, j'ai donc toujours une nouvelle sauvegarde de tout mon système. Une copie est faite plusieurs fois par jour, sans compter le nombre et la fréquence.
NAS
C'est là que toute la magie opère.
Synology a un excellent outil, il s'appelle Cloud Sync, je pense que le nom indique clairement ce qu'il fait.
Il peut synchroniser de nombreux systèmes cloud entre eux, ou plutôt synchroniser des fichiers du serveur NAS avec d'autres clouds. Je pense qu'il y a un aperçu de ce programme sur le réseau. Je n'entrerai pas dans les détails. Je ferais mieux de décrire comment je l’utilise.
Sur le serveur, j'ai un dossier de lecteur appelé Dropbox, c'est une copie de mon compte Dropbox, Cloud Sync est responsable de la synchronisation de tout cela. Si quelque chose est arrivé aux fichiers dans Dropbox, cela se produira sur le serveur, peu importe s'il mange \ supprimer \ création. En général, la synchronisation classique.
Entraînement Yandex
De plus, je jette tous ces fichiers sur mon lecteur Yandex, je l'utilise comme un disque de sauvegarde fait maison, c'est-à-dire que je dépose les fichiers là-bas mais n'y supprime rien, ce vidage de fichiers s'avère, mais cela aide plusieurs fois.
Google Drive
Là, j'envoie uniquement le dossier Photos, également en mode synchronisation, je le fais uniquement pour une visualisation pratique des photos dans Google photos et avec la possibilité de supprimer des photos à partir de là et elles sont supprimées partout (sauf pour le disque Yandex en lui-même). Je vais écrire sur la photo ci-dessous, vous pouvez généralement écrire un article séparé.
Hyperbackup
Mais tout cela n'est pas très fiable, si vous avez accidentellement supprimé un fichier, il sera supprimé partout et vous pouvez le considérer comme perdu. Vous pouvez bien sûr restaurer à partir d'un lecteur Yandex, mais en premier lieu, la sauvegarde en un seul endroit n'est pas très fiable en soi, et le lecteur Yandex lui-même n'est pas un service dans lequel vous pouvez être sûr à 100%, bien qu'il n'y ait jamais eu de problème avec lui.
Par conséquent, j'ai toujours essayé de stocker des fichiers ailleurs, déjà avec un système de sauvegarde normal.
Synology dispose également d'un outil pour cela, il est appelé HyperBackup, il sauvegarde des fichiers soit sur d'autres serveurs Synology, soit sur certaines solutions cloud tierces.
Il sait également comment sauvegarder sur des disques externes connectés à NAS-y, comme je l'ai fait jusqu'à récemment. Mais ce n'est pas non plus fiable, par exemple, si le feu est terminé, le serveur et le disque dur s'arrêteront.
Synology c2
Ici, nous abordons en douceur un autre service, déjà de Synology lui-même. Elle a ses propres clouds pour stocker les sauvegardes. Il est spécialement affiné sous HyperBackup, il y fait une sauvegarde tous les jours, mais c'est une sauvegarde bien pensée, il a des versions de fichiers, une chronologie et même des clients pour Windows et Mac OS.
C'est tout avec le stockage de fichiers, j'espère que mes fichiers sont en sécurité.
Passons maintenant au tri des fichiers.
Fichiers réguliers, livres, numérisations de documents et autres fichiers sans importance, je trie tout dans des dossiers à la main. Habituellement, il n'y en a pas beaucoup et je les ouvre rarement.
Le plus difficile est de trier les photos et les vidéos, j'en ai beaucoup.
Je prends des photos de quelques dizaines à plusieurs centaines par mois. Je tire sur un reflex numérique, sur un drone et parfois sur le téléphone. Les photos sont personnelles et pour les stocks. Parfois aussi, je tourne une vidéo personnelle (pas ce que vous pensiez, juste des vidéos de famille, souvent avec une fille). Il doit également être stocké et trié de manière à ne pas gâcher.
J'ai un dossier dans la même Dropbox appelé Trier les images, il y a des sous-dossiers où vont toutes les photos et vidéos, à partir de là, elles sont prises et triées si nécessaire.
Le tri a lieu sur le serveur NAS, il existe des scripts bash qui s'exécutent automatiquement une fois par jour et font leur travail. Le NAS est également responsable de leur lancement, il existe un planificateur de tâches qui est responsable du lancement de tous les scripts et autres tâches. Vous pouvez configurer à quelle fréquence et quand les tâches seront démarrées, couronnes avec une interface si plus facile.
Chaque dossier a son propre script. Maintenant plus sur les dossiers:
Drone - voici les photos du drone que j'ai prises à des fins personnelles. Tout d'abord, je traite toutes les photos dans lightroom, puis j'exporte JPG dans ce dossier. à partir de là, ils se retrouvent dans un autre dossier Dropbox, "Photo".
Il y a un dossier «Drone» et là, ils sont déjà triés par année et par mois. Les scripts eux-mêmes créent les dossiers nécessaires et renomment les photos elles-mêmes selon mon modèle, généralement c'est la date et l'heure de la prise des photos, j'ajoute également un nombre aléatoire à la fin pour que les fichiers du même nom ne fonctionnent pas. Je ne me souviens pas pourquoi la définition de secondes dans le nom de fichier ne convenait pas à ces fins.
L'arbre ressemble à ceci: Photo / Drone / 2019/05 - mai / 01 - mai - 2019_19.25.53_37.jpg
Vidéo de drone - Je ne tourne pas encore de vidéo de drone, j'ai besoin d'apprendre beaucoup, il n'y a pas de temps pour ça maintenant, mais j'ai déjà créé un dossier.
Opérations sur les images - il y a deux dossiers à l'intérieur, lorsque les fichiers s'y trouvent, ils sont simplement compressés sur le côté maximum jusqu'à 2000 pixels pour une publication sur Internet ou des images inversées sont effectuées, je n'en ai pas besoin, mais je n'ai pas encore supprimé le dossier.
Panoramas - ici, ils se rencontrent car il n'est pas difficile de deviner les panoramas, je les stocke séparément car il s'agit d'un type de photo spécifique, je fais généralement d'eux un drone. Je fais des panoramas ordinaires, mais je fais aussi des panoramas 360 et parfois des sphères, un panorama comme de petites planètes, je fais aussi un drone. De ce dossier, toutes les photos tombent également dans Photo / Panoramas / 2019/01 - mai - 2019_19.25.53_37.jpg. Ici je ne trie pas par mois car il n'y a pas tellement de panoramas.
Photo personnelle - Ici, je reçois des photos que je prends sur un reflex numérique, généralement ce sont des photos de famille ou de voyage, en général des photos qui sont faites pour la mémoire et pour moi. Je traite également des photos brutes et lightroom, puis j'exporte ici.
De là, ils arrivent ici: Photo / 2019/05 - mai / 01 - mai - 2019_19.25.53_37.jpg
Si j'ai enlevé une sorte de célébration ou autre chose qu'il serait préférable de stocker séparément, alors dans le dossier 2019, je crée un dossier avec le nom de la célébration et j'y copie les photos avec mes mains.
RAW - ici la source de la photo tombe. Je prends toujours en RAW, je garde toutes les photos en JPG, mais parfois je veux aussi stocker des fichiers RAW, parfois je veux traiter un cadre différemment. Habituellement, c'est la nature et seuls les meilleurs clichés y parviennent, pas tous d'affilée.
Banque de Photo - ici, je laisse tomber des photos pour les stocks, que je fais soit sur un reflex numérique ou sur un drone. Le tri est le même que sur les autres photos, juste dans votre propre dossier séparé.
Dans le répertoire racine de Dropbox, il y a un dossier Camera Uploads, c'est le dossier par défaut dans lequel l'application mobile Dropbox y dépose toutes les photos et vidéos. Toutes les photos de l'épouse du téléphone sont jetées de cette façon. Je retire également toutes mes photos et vidéos du téléphone ici et déjà les trier dans un dossier séparé. Mais je le fais d'une manière différente, plus pratique pour moi. Il existe un tel programme pour Android, FolderSync, il vous permet de prendre toutes les photos de votre téléphone mobile, de les télécharger sur Dropbox puis de les supprimer de votre téléphone. Il existe de nombreux paramètres, je recommande. La vidéo du téléphone entre également dans ce dossier, elles sont également triées comme toutes les photos, par année et par mois.
J'ai collecté tous les scripts moi-même à partir des instructions sur Internet, je n'ai trouvé aucune solution prête à l'emploi. Je ne sais rien des scripts bash, il y a peut-être des erreurs ou des choses qui pourraient être mieux faites, mais la chose la plus importante est pour moi, ils font leur travail et font ce dont j'ai besoin.
Scripts téléchargés sur github:
https://github.com/pelinoleg/bash-scriptsAuparavant, j'utilisais Hazel pour mac os pour trier les photos et les vidéos, tout y est plus simple, toutes les tâches sont créées visuellement, il n'y a pas besoin d'écrire de code, mais il y a deux inconvénients. Premièrement, vous devez conserver tous les dossiers sur votre ordinateur afin que tout fonctionne bien et deuxièmement, si vous passez soudainement à Windows ou Linux, il n'y a pas de tels programmes. J'ai essayé de chercher une alternative, mais ils n'étaient rien. Une solution avec des scripts sur le serveur est une solution plus universelle.
Tous les scripts sont configurés pour s'exécuter une fois par jour, généralement la nuit. Mais s'il n'y a pas de temps à attendre et que vous devez en quelque sorte exécuter le script nécessaire maintenant, il existe deux solutions: se connecter via SSH au serveur et exécuter le script nécessaire, ou aller dans le panneau d'administration et également lancer manuellement le script nécessaire. Tout cela ne me semble pas pratique, j'ai donc trouvé une troisième solution. Il existe un programme pour Android, il peut envoyer des commandes ssh. J'ai créé plusieurs commandes, chacune a son propre bouton et maintenant si j'ai besoin de trier par exemple des photos que j'ai prises depuis le drone, alors j'appuie simplement sur un bouton et le script fonctionne. Le programme s'appelle SSHing, il en existe d'autres similaires, mais pour moi, c'est le plus pratique.
J'ai également plusieurs de mes sites, ils sont plus pour le spectacle, presque personne n'y va, mais la sauvegarde ne fera pas de mal. Je garde les sites sur DigitalOcean, là j'ai installé le panneau aaPanel. Il est possible de faire des copies de sauvegarde de tous les fichiers et de toutes les bases de données, mais sur le même disque.
Garder une sauvegarde sur le même disque n'est pas le cas, donc j'y passe également un script bash et je copie tout sur mon serveur, en archivant tout dans une archive avec la date dans le nom.
J'espère qu'au moins quelqu'un sera aidé par les méthodes que j'utilise et que j'ai partagées.
Comme vous pouvez le voir dans l'article, j'aime l'automatisation et j'essaie d'automatiser tout ce qui est possible, je n'ai pas décrit beaucoup de choses du point de vue de l'automatisation, car ce sont d'autres sujets et d'autres articles.