Durante mucho tiempo quise escribir sobre cómo almaceno mis archivos, cómo hago copias de seguridad, pero mis manos no llegaron. Recientemente, apareció un artículo aquí, algo similar al mío pero con un enfoque diferente.
El artículo en sí.He intentado durante muchos años encontrar el método ideal para almacenar archivos. Creo que lo encontré, pero siempre hay algo que mejorar, si hay alguna idea sobre cómo hacerlo mejor, lo leo con gusto.
Para empezar, te contaré algunas palabras sobre mí, desarrollo web y tomo fotos en mi tiempo libre. De ahí la conclusión de que necesito almacenar proyectos de trabajo y personales, fotos, videos y otros archivos.
Tengo alrededor de 680 GB de archivos, de los cuales el 90 por ciento son fotos y videos.
Archivo de circulación en mis bóvedas:
Aquí hay un diagrama aproximado de cómo y dónde se almacenan todos mis archivos.
Ahora con más detalle.
Como puede ver, el corazón de todo es mi NAS, es decir, Synology DS214, uno de los NAS más simples de Synology, sin embargo, con todo lo que necesito resuelve.
Dropbox
Tengo una máquina de trabajo macbook pro 13, 2015. Tengo 512 GB allí, pero no todos los archivos se ajustan solos, solo almaceno lo que necesito en este momento. Sincronizo todos mis archivos y carpetas personales con Dropbox, sé que no es muy confiable, pero solo realiza la función de sincronización. Y lo hace mejor, al menos por lo que intenté. Y probé todas las famosas y no muy nubes.
Synology también tiene su propia nube, puede implementarla en su NAS, intenté varias veces transferir desde Dropbox a Synology Cloud Station, pero siempre hubo problemas con la sincronización, siempre hubo algún tipo de error o no todo estaba sincronizado.
Todos los archivos importantes se almacenan en la carpeta de Dropbox, a veces guardo algo en el escritorio, para no perder algo, hice un enlace simbólico a la carpeta de Dropbox usando el programa MacDropAny.
Mi carpeta de descargas no se sincroniza de ninguna manera, pero no hay nada importante allí, solo archivos temporales. Si descargo algo importante, lo copio a la carpeta correspondiente en Dropbox.
Mis aventuras con DropboxÉrase una vez, en algún lugar en 2013-2014, almacené todos los archivos en Dropbox-e y solo en él, no había copias de seguridad. Entonces no tenía 1Tb, es decir, no pagaba, tenía 25Gb en algún lugar, que ganaba al invitar a amigos u otras tareas.
Una buena mañana encendí la computadora y todos mis archivos desaparecieron, también recibí un correo electrónico de Dropbox donde se disculparon y que mis archivos desaparecieron por su culpa. Me dieron un enlace por el cual podía restaurar mis archivos pero por sí mismos no se restauró nada. Por eso me dieron 1Tb por un año, después de lo cual me convertí en su cliente, no importa cuán extraño pueda sonar, pero nunca confié en ellos.
Como escribí anteriormente, no pude encontrar una nube más adecuada para mí, en primer lugar, no hubo problemas de sincronización y, en segundo lugar, todo tipo de servicios solo funciona con Dropbox.
Git
Los archivos de trabajo se almacenan en el servidor de producción, proyectos personales en GitLab, todo es simple aquí.
Máquina del tiempo
También realizo una copia de seguridad de todo el sistema, excluyendo la carpeta de Dropbox y Descargas por sí mismo, para no ocupar espacio en vano. Realizo una copia de seguridad del sistema a través de Time Machine, una excelente herramienta que más de una vez me ayudó. Lo estoy haciendo en el mismo NAS, ya que existe tal función. Por supuesto, puede hacerlo en un HDD externo, pero no es tan conveniente. Cada vez que necesite conectar un disco externo y ejecutar Time Machine usted mismo. Debido a la pereza, a menudo tales copias de seguridad se realizaban una vez cada pocas semanas. Él automáticamente hace una copia de seguridad en el servidor, ni siquiera me doy cuenta cuando lo hace. Trabajo desde casa, por lo que siempre tengo una copia de seguridad nueva de todo mi sistema. Se hace una copia varias veces al día, no se cuenta cuántas veces y con qué frecuencia.
NAS
Aquí es donde sucede toda la magia.
Synology tiene una herramienta excelente, se llama Cloud Sync, creo que el nombre deja claro lo que hace.
Puede sincronizar muchos sistemas en la nube entre sí, o más bien sincronizar archivos del servidor NAS con otras nubes. Una visión general de este programa creo que está en la red. No entraré en detalles. Mejor describo cómo lo uso.
En el servidor, tengo una carpeta de unidad llamada Dropbox, es una copia de mi cuenta de Dropbox, Cloud Sync es responsable de sincronizar todo esto. Si algo le sucedió a los archivos en Dropbox, esto sucederá en el servidor, no importa si se come \ eliminar \ creación. En general, sincronización clásica.
Unidad Yandex
Además, lanzo todos estos archivos a mi unidad Yandex, lo uso como un disco de respaldo casero, es decir, dejo caer los archivos allí pero no elimino nada de allí, este volcado de archivos resulta, pero ayuda un par de veces.
Google drive
Allí envío solo la carpeta Fotos, también en modo de sincronización, hago esto solo para ver cómodamente las fotos en las fotos de Google y con la capacidad de eliminar fotos desde allí y se eliminan en todas partes (excepto el disco Yandex por sí mismo). Escribiré sobre la foto a continuación, allí generalmente puede escribir un artículo separado.
Hyperbackup
Pero todo esto no es muy confiable, si eliminó accidentalmente un archivo, se eliminará en todas partes y puede considerarlo perdido. Por supuesto, puede restaurar desde una unidad Yandex, pero en primer lugar, la copia de seguridad en un lugar no es muy confiable por sí sola, y la unidad Yandex en sí misma no es un servicio en el que pueda estar 100% seguro, aunque nunca ha habido ningún problema.
Por lo tanto, siempre intenté almacenar archivos en otro lugar, ya con un sistema de copia de seguridad normal.
Synology también tiene una herramienta para esto, se llama HyperBackup, realiza copias de seguridad de archivos en otros servidores de Synology o en algunas soluciones de nube de terceros.
También sabe cómo hacer copias de seguridad en unidades externas conectadas a NAS-y, como lo hice hasta hace poco. Pero esto tampoco es confiable, por ejemplo, si el incendio ha terminado, entonces el servidor y el HDD terminarán.
Synology c2
Aquí nos acercamos sin problemas a otro servicio, ya desde Synology. Ella tiene sus propias nubes para almacenar copias de seguridad. Se agudiza específicamente bajo HyperBackup, hace una copia de seguridad allí todos los días, pero esta es una copia de seguridad bien pensada, tiene versiones de archivo, una línea de tiempo e incluso clientes para Windows y Mac OS.
Eso es todo con el almacenamiento de archivos, espero que mis archivos estén seguros.
Ahora pasemos a ordenar archivos.
Archivos regulares, libros, escaneos de documentos y otros archivos sin importancia, clasifico todo en carpetas a mano. Por lo general, no hay muchos y rara vez los abro.
Lo más difícil es ordenar fotos y videos, tengo muchos de ellos.
Tomo fotos de unas pocas docenas a varios cientos al mes. Disparo en una DSLR, en un dron y, a veces, en el teléfono. Las fotos son personales y para acciones. También a veces grabo un video casero (no lo que pensabas, solo videos familiares, a menudo con una hija). También debe almacenarse y clasificarse de alguna manera para que no haya desorden.
Tengo una carpeta en el mismo Dropbox llamada Ordenar imágenes, hay subcarpetas donde van todas las fotos y videos, desde allí se toman y se ordenan cuando es necesario.
La ordenación se realiza en el servidor NAS, hay scripts de bash que funcionan automáticamente una vez al día y hacen su trabajo. El NAS también es responsable de su lanzamiento, hay un programador de tareas que se encarga de iniciar todos los scripts y otras tareas. Puede configurar con qué frecuencia y cuándo se iniciarán las tareas, coronas con una interfaz si es más fácil.
Cada carpeta tiene su propio script. Ahora más sobre carpetas:
Drone : aquí están las fotos del drone que tomé para fines personales. Primero, proceso todas las fotos en lightroom, luego exporto JPG a esta carpeta. desde allí terminan en otra carpeta de Dropbox, "Foto".
Hay una carpeta "Drone" y ya están ordenados por año y mes. Los propios scripts crean las carpetas necesarias y cambian el nombre de las fotos según mi plantilla, generalmente esta es la fecha y hora en que se tomaron las fotos, también agrego un número aleatorio al final para que los archivos con el mismo nombre no funcionen. No recuerdo por qué establecer segundos en el nombre del archivo no era adecuado para estos fines.
El árbol se ve así: Foto / Drone / 2019/05 - mayo / 01 - mayo - 2019_19.25.53_37.jpg
Video de drones: todavía no grabo un video de drones, necesito aprender mucho, no hay tiempo para esto ahora, pero ya he creado una carpeta.
Operaciones de imágenes : hay dos carpetas en el interior, cuando los archivos se encuentran allí, simplemente se comprimen en el lado máximo hasta 2000px para su publicación en Internet o se hacen las fotos, no lo necesito, pero todavía no he eliminado la carpeta.
Panoramas : aquí aparecen, ya que no es difícil adivinar los panoramas, los almaceno por separado, ya que este es un tipo específico de foto, generalmente los hago un dron. Hago panoramas ordinarios, pero también hago 360 panoramas y, a veces, esferas, como un panorama como pequeños planetas, también hago un dron. Desde esta carpeta, todas las fotos también entran en Photo / Panoramas / 2019/01 - May - 2019_19.25.53_37.jpg. Aquí no clasifico por mes ya que no hay tantos panoramas.
Foto personal : aquí obtengo fotos que tomo en una DSLR, generalmente son fotos familiares o de viaje, en general, fotos hechas para la memoria y para mí. También proceso fotos en bruto y lightroom y luego exporto aquí.
Desde aquí llegan aquí: Foto / 2019/05 - mayo / 01 - mayo - 2019_19.25.53_37.jpg
Si saqué algún tipo de celebración u otra cosa que sería mejor almacenar por separado, entonces en la carpeta 2019 creo una carpeta con el nombre de la celebración y copio las fotos allí con mis manos.
RAW : aquí cae la fuente de la foto. Siempre disparo en RAW, mantengo todas las fotos en JPG, pero a veces también quiero almacenar archivos RAW, a veces quiero procesar un marco de manera diferente. Por lo general, esto es naturaleza y solo se obtienen las mejores tomas, no todas seguidas.
Foto de archivo - aquí dejo caer fotos para acciones, que hago en una DSLR o en un avión no tripulado. La ordenación es la misma que en otras fotos, solo en su propia carpeta separada.
En el directorio raíz de Dropbox, hay una carpeta Cargas de cámara, esta es la carpeta predeterminada en la que la aplicación móvil de Dropbox coloca todas las fotos y videos allí. Todas las fotos de la esposa desde el teléfono se descartan de esta manera. También quito todas mis fotos y videos del teléfono aquí y desde aquí ya los clasifico en una carpeta separada. Pero lo hago de una manera diferente, más conveniente para mí. Existe un programa para Android, FolderSync, que le permite tomar todas las fotos desde su teléfono móvil, subirlas a Dropbox y luego eliminarlas de su teléfono. Hay muchas configuraciones, recomiendo. El video del teléfono también entra en esta carpeta, también se ordenan como todas las fotos, por año y mes.
Recogí todos los scripts de las instrucciones en Internet, no encontré ninguna solución preparada. No sé nada sobre los scripts de bash, tal vez hay algunos errores o algunas cosas que podrían hacerse mejor, pero lo más importante para mí es que hacen su trabajo y hacen lo que necesito.
Scripts subidos a github:
https://github.com/pelinoleg/bash-scriptsAnteriormente, usaba Hazel para mac os para ordenar fotos y videos, todo es más fácil allí solo, todas las tareas se crean visualmente, no hay necesidad de escribir código, pero hay dos desventajas. En primer lugar, debe mantener todas las carpetas en su computadora para que todo funcione bien y, en segundo lugar, si cambia repentinamente a Windows o Linux, entonces no hay tales programas. Traté de buscar una alternativa, pero no se trataba de nada. Una solución con scripts en el servidor es una solución más universal.
Todos los scripts están configurados para ejecutarse una vez al día, generalmente de noche. Pero si no hay tiempo para esperar y necesita ejecutar de alguna manera el script necesario ahora, hay dos soluciones: conectarse a través de SSH al servidor y ejecutar el script necesario, o ir al panel de administración y también iniciar manualmente el script necesario. Todo esto me parece poco conveniente, así que encontré una tercera solución. Hay un programa para Android, puede enviar comandos ssh. Creé varios comandos, cada uno tiene su propio botón y ahora si necesito ordenar, por ejemplo, fotos que tomé del dron, entonces solo presiono un botón y el script funciona. El programa se llama SSHing, hay otros similares, pero para mí este es el más conveniente.
También tengo varios de mis sitios, son más para mostrar, casi nadie va allí, pero las copias de seguridad no afectarán. Mantengo los sitios en DigitalOcean, allí instalé el panel aaPanel. Existe la oportunidad de hacer copias de seguridad de todos los archivos y todas las bases de datos, pero en el mismo disco.
Mantener una copia de seguridad en la misma unidad no es el caso, por lo que también toco a través de un script bash y copio todo a mi servidor, archivando todo en un archivo con la fecha en el nombre.
Espero que al menos alguien sea ayudado por los métodos que uso y que compartí.
Como puede ver en el artículo, me encanta la automatización y trato de automatizar que todo lo que sea posible, no he descrito muchas cosas desde el punto de vista de la automatización, ya que estos son otros temas y otros artículos.