Durante muito tempo, quis escrever sobre como armazeno meus arquivos, como faço backups, mas minhas mãos não chegaram. Recentemente, um artigo apareceu aqui, um pouco semelhante ao meu, mas com uma abordagem diferente.
O artigo em si.Eu venho tentando há muitos anos encontrar o método ideal para armazenar arquivos. Acho que o encontrei, mas sempre há algo a melhorar, se houver algum pensamento sobre como fazê-lo melhor, li com prazer.
Para começar, direi algumas palavras sobre mim, desenvolvo web e tiro fotos no meu tempo livre. Daí a conclusão de que preciso armazenar trabalhos e projetos pessoais, fotos, vídeos e outros arquivos.
Tenho cerca de 680 GB de arquivos, dos quais 90% são fotos e vídeos.
Circulação de arquivos em meus cofres:
Aqui está um diagrama aproximado de como e onde todos os meus arquivos estão armazenados.
Agora com mais detalhes.
Como você pode ver, o coração de tudo é o meu NAS, ou seja, o Synology DS214, um dos NAS mais simples da Synology, no entanto, com tudo o que preciso, ele lida.
Dropbox
Eu tenho uma máquina de trabalho macbook pro 13, 2015. Eu tenho 512 GB lá, mas nem todos os arquivos cabem por si só, eu só guardo o que preciso no momento. Sincronizo todos os meus arquivos e pastas pessoais com o Dropbox, sei que não é muito confiável, mas executa apenas a função de sincronização. E ele faz o melhor, pelo menos pelo que tentei. E eu tentei todas as nuvens famosas e não muito.
A Synology também tem sua própria nuvem, você pode implantá-la no seu NAS, tentei várias vezes transferir do Dropbox para o Synology Cloud Station, mas sempre havia problemas com a sincronização, sempre algum tipo de erro ou nem tudo sincronizado.
Todos os arquivos importantes são armazenados na pasta Dropbox; às vezes eu salvo algo na área de trabalho. Para não perder nada, fiz um link simbólico para a pasta Dropbox usando o programa MacDropAny.
Minha pasta Download não é sincronizada de forma alguma, mas não há nada importante lá, apenas arquivos temporários. Se eu baixar algo importante, copio-o para a pasta apropriada no Dropbox.
Minhas aventuras com o DropboxEra uma vez, em 2013-2014, eu armazenei todos os arquivos no Dropbox-e e somente nele, não havia backups. Então eu não tinha 1Tb, ou seja, não paguei, tinha algum lugar de 25Gb, que ganhei ao convidar amigos ou outras tarefas.
Uma bela manhã, liguei o computador e todos os meus arquivos desapareceram, também recebi um e-mail do Dropbox, onde eles se desculpam e que meus arquivos desapareceram por culpa deles. Eles me deram um link para restaurar meus arquivos, mas nada foi restaurado. Por isso, eles me deram 1 TB por um ano, após o qual me tornei cliente deles, por mais estranho que parecesse, mas nunca confiei neles.
Como escrevi acima, não consegui encontrar uma nuvem mais adequada para mim; primeiro, não houve problemas de sincronização; segundo, todos os tipos de serviços funcionam apenas com o Dropbox.
Git
Os arquivos de trabalho são armazenados no servidor de produção, projetos pessoais no GitLab, tudo é simples aqui.
Máquina do tempo
Também faço backup de todo o sistema, excluindo a pasta Dropbox e Downloads por si só, para não ocupar espaço em vão. Faço um backup do sistema através do Time Machine, uma excelente ferramenta, mais de uma vez ajudada. Estou fazendo isso no mesmo NAS, pois existe essa função. Você pode fazer isso em um disco rígido externo, é claro, mas não é tão conveniente. Sempre que você precisar conectar uma unidade externa e executar o Time Machine você mesmo. Por causa da preguiça, muitas vezes esses backups eram feitos uma vez a cada poucas semanas. Ele faz um backup automaticamente no servidor, nem percebo quando ele faz isso. Como trabalho em casa, sempre tenho um novo backup de todo o sistema. Uma cópia é feita várias vezes ao dia, sem contar quantas vezes e com que frequência.
NAS
É aqui que toda a mágica acontece.
A Synology tem uma excelente ferramenta, chamada Cloud Sync, acho que o nome deixa claro o que faz.
Ele pode sincronizar muitos sistemas em nuvem entre si, ou melhor, sincronizar arquivos do servidor NAS com outras nuvens. Uma visão geral deste programa, eu acho, está na rede. Não vou entrar em detalhes. Eu descreveria melhor como eu o uso.
No servidor, tenho uma pasta de disco chamada Dropbox, é uma cópia da minha conta do Dropbox, o Cloud Sync é responsável por sincronizar tudo isso. Se algo aconteceu com os arquivos no Dropbox, isso acontecerá no servidor, não importa se ele come \ delete \ creation. Em geral, sincronização clássica.
Unidade Yandex
Além disso, eu jogo todos esses arquivos na minha unidade Yandex, eu o uso como um disco de backup caseiro, ou seja, eu solto os arquivos lá, mas não excluo nada de lá, esse despejo de arquivos é exibido, mas ajuda algumas vezes.
Google drive
Lá, envio apenas a pasta Fotos, também no modo de sincronização, faço isso apenas para visualização conveniente das fotos no Google photos e com a capacidade de excluir fotos de lá e elas são excluídas em todos os lugares (exceto o disco Yandex por si só). Escreverei sobre a foto abaixo. Geralmente, você pode escrever um artigo separado.
Hyperbackup
Mas tudo isso não é muito confiável; se você excluiu acidentalmente um arquivo, ele será excluído em todos os lugares e você poderá considerá-lo perdido. É claro que você pode restaurar a partir de uma unidade Yandex, mas, em primeiro lugar, o backup em um local não é muito confiável por si só, e a unidade Yandex não é um serviço no qual você possa ter 100% de certeza, embora nunca tenha havido nenhum problema com ele.
Portanto, eu sempre tentei armazenar arquivos em outro lugar, já com um sistema de backup normal.
A Synology também possui uma ferramenta para isso, é chamada HyperBackup, faz backup de arquivos para outros servidores Synology ou para algumas soluções em nuvem de terceiros.
Ele também sabe como fazer backup em unidades externas conectadas ao NAS-y, como fiz até recentemente. Mas isso também não é confiável, por exemplo, se o incêndio terminar, o servidor e o disco rígido terminarão.
Synology c2
Aqui abordamos sem problemas outro serviço, já da própria Synology. Ela tem suas próprias nuvens para armazenar backups. Ele é aprimorado especificamente no HyperBackup, faz um backup lá todos os dias, mas é um backup bem pensado, possui versões de arquivos, uma linha do tempo e até clientes para Windows e Mac OS.
Isso é tudo com armazenamento de arquivos, espero que meus arquivos estejam seguros.
Agora vamos para a classificação de arquivos.
Arquivos regulares, livros, digitalizações de documentos e outros arquivos sem importância, classifico tudo em pastas manualmente. Geralmente não existem muitos e eu raramente os abro.
O mais difícil é classificar fotos e vídeos, eu tenho muitos deles.
Tiro fotos de algumas dezenas a várias centenas por mês. Atiro em uma DSLR, em um drone e às vezes no telefone. As fotos são pessoais e para ações. Às vezes, também, filmo um vídeo caseiro (não o que você pensou, apenas vídeos de família, geralmente com uma filha). Ele também precisa ser armazenado e classificado de alguma forma, para que não haja confusão.
Eu tenho uma pasta no mesmo Dropbox chamada Classificar imagens, existem subpastas para todas as fotos e vídeos, de onde são tiradas e classificadas sempre que necessário.
A classificação ocorre no servidor NAS; existem scripts de bash que são executados automaticamente uma vez por dia e fazem seu trabalho. O NAS também é responsável por seu lançamento; existe um agendador de tarefas responsável por iniciar todos os scripts e outras tarefas. Você pode configurar com que frequência e quando as tarefas serão iniciadas, coroar com uma interface, se mais fácil.
Cada pasta tem seu próprio script. Agora mais sobre pastas:
Drone - aqui estão as fotos do drone que eu tiro para fins pessoais. Primeiro, eu processo todas as fotos no lightroom e depois exporto o JPG para esta pasta. a partir daí, eles acabam em outra pasta do Dropbox, "Foto".
Existe uma pasta "Drone" e lá eles já são classificados por ano e mês. Os próprios scripts criam as pastas necessárias e renomeiam as próprias fotos de acordo com o meu modelo; geralmente, essa é a data e a hora em que as fotos foram tiradas; também adiciono um número aleatório no final para que os arquivos com o mesmo nome não funcionem. Não lembro por que definir segundos no nome do arquivo não era adequado para esses fins.
A árvore fica assim: Photo / Drone / 2019/05 - maio / 01 - maio - 2019_19.25.53_37.jpg
Vídeo de drone - ainda não gravei um vídeo de drone, preciso aprender muito, não há tempo para isso agora, mas já criei uma pasta.
Operações de imagens - há duas pastas dentro, quando os arquivos aparecem lá, eles são compactados no lado máximo até 2000px para publicação na Internet ou são feitas imagens invertidas, não preciso disso, mas ainda não a apaguei.
Panoramas - aqui eles se deparam, já que não é difícil adivinhar os panoramas, eu os guardo separadamente, já que esse é um tipo específico de foto, geralmente faço deles um drone. Faço panoramas comuns, mas também faço 360 panoramas e, às vezes, esferas, um panorama como pequenos planetas, também faço um drone. Nesta pasta, todas as fotos também se enquadram em Photo / Panoramas / 2019/01 - May - 2019_19.25.53_37.jpg. Aqui não classifico por mês, uma vez que não existem muitos panoramas.
Foto pessoal - Aqui eu tiro fotos que tiro em uma DSLR, geralmente são fotos de família ou viagens, em geral fotos feitas para memória e para mim. Também processo fotos brutas e lightroom e depois exporto aqui.
A partir daqui, eles chegam aqui: Photo / 2019/05 - May / 01 - May - 2019_19.25.53_37.jpg
Se eu fizesse algum tipo de celebração ou outra coisa que seria melhor armazenar separadamente, na pasta 2019, crio uma pasta com o nome da celebração e copio as fotos com as mãos.
RAW - aqui a fonte da foto cai. Sempre fotografo em RAW, mantenho todas as fotos em JPG, mas às vezes também quero armazenar arquivos RAW, outras vezes, quero processar um quadro de maneira diferente. Geralmente isso é natureza e apenas as melhores fotos chegam lá, nem todas seguidas.
Banco de Imagens - aqui eu largo fotos para ações, o que eu faço em uma DSLR ou em um drone. A classificação é a mesma que em outras fotos, apenas em sua própria pasta separada.
No diretório raiz do Dropbox, há uma pasta Uploads de câmeras, essa é a pasta padrão na qual o aplicativo móvel do Dropbox descarta todas as fotos e vídeos. Todas as fotos da esposa do telefone são descartadas dessa maneira. Também tiro todas as minhas fotos e vídeos do telefone aqui e daqui e os classifico em uma pasta separada. Mas faço isso de uma maneira diferente, mais conveniente para mim. Existe um programa para Android, o FolderSync, que permite tirar todas as fotos do seu celular, enviá-las ao Dropbox e excluí-las do seu telefone. Existem muitas configurações, eu recomendo. O vídeo do telefone também entra nessa pasta, e também é classificado como todas as fotos, por ano e mês.
Eu mesmo colecionei todos os scripts de todas as instruções na Internet, não encontrei soluções prontas. Eu não sei nada sobre scripts bash, talvez haja alguns erros ou coisas que poderiam ser feitas melhor, mas o mais importante é para mim, eles fazem o trabalho deles e fazem o que eu preciso.
Scripts enviados para o github:
https://github.com/pelinoleg/bash-scriptsAnteriormente, eu usava o Hazel para mac os para classificar fotos e vídeos, tudo fica mais fácil por si só, todas as tarefas são criadas visualmente, não há necessidade de escrever código, mas existem dois pontos negativos. Em primeiro lugar, você precisa manter todas as pastas no seu computador para que tudo funcione bem e, em segundo lugar, se você mudar repentinamente para o Windows ou Linux, não haverá programas desse tipo. Eu tentei procurar uma alternativa, mas eles não tinham nada a ver. Uma solução com scripts no servidor é uma solução mais universal.
Todos os scripts estão configurados para serem executados uma vez por dia, geralmente à noite. Mas se não houver tempo para esperar e você precisar executar de alguma forma o script necessário agora, existem duas soluções: conecte-se via SSH ao servidor e execute o script necessário ou acesse o painel de administração e inicie manualmente o script necessário. Tudo isso me parece não conveniente, então encontrei uma terceira solução. Existe um programa para Android, ele pode enviar comandos ssh. Criei vários comandos, cada um com seu próprio botão e agora, se eu precisar classificar, por exemplo, fotos que tirei do drone, basta pressionar um botão e o script funciona. O programa é chamado SSHing, existem outros similares, mas para mim este é o mais conveniente.
Eu também tenho vários sites, eles são mais para mostrar, quase ninguém vai lá, mas o backup ainda não vai doer. Eu mantenho os sites no DigitalOcean, lá eu instalei o painel aaPanel. Há uma oportunidade de fazer cópias de segurança de todos os arquivos e bancos de dados, mas no mesmo disco.
Manter um backup na mesma unidade não é o caso, então eu também reproduzo um script bash e copio tudo no meu servidor, arquivando tudo em um arquivo morto com a data no nome.
Espero que pelo menos alguém seja ajudado pelos métodos que eu uso e que compartilhei.
Como você pode ver no artigo, eu amo a automação e tento automatizar tudo o que é possível, não descrevi muitas coisas do ponto de vista da automação, pois esses são outros tópicos e outros artigos.