照片和其他文件的存储和自动分类。 使用基于NAS Synology的文件存储

很长时间以来,我一直想写关于如何存储文件,如何进行备份的书,但是我的手却没伸手。 最近,这里出现了一篇文章,与我的有些相似,但是使用了不同的方法。
文章本身。

我多年来一直在尝试寻找理想的文件存储方法。 我想我找到了它,但是总有一些改进之处,如果对如何做得更好有任何想法,我会很高兴地阅读。

首先,我会告诉您一些关于我自己的信息,我会做网络开发并在业余时间拍照。 因此得出结论,我需要存储工作和个人项目,照片,视频和其他文件。

我大约有680 GB的文件,其中90%是照片和视频。

我的文件库中的文件传播:


图片

这是我所有文件的存储方式和位置的示意图。

现在更详细。

如您所见,一切都是我的NAS的核心,即Synology DS214,这是Synology最简单的NAS之一,它可以满足我需要的一切。

投寄箱


我有一台工作机Macbook Pro 13,2015年。 我那里有512GB,但不是所有文件都适合自己,我现在只存储需要的文件。 我使用Dropbox同步了所有个人文件和文件夹,我知道它不是很可靠,但是仅执行同步功能。 而且他做到最好,至少从我尝试过的情况来看。 我尝试了所有著名的但不是很乌云的天气。

Synology也有其自己的云,您可以将其部署在您的NAS上,我曾尝试过多次将其从Dropbox转移到Synology Cloud Station,但是同步总是存在问题,总是会出现某种错误,或者并非所有内容都已同步。

所有重要文件都存储在Dropbox文件夹中,有时我将某些内容保存到桌面上,以免丢失内容,我使用MacDropAny程序对Dropbox文件夹进行了符号链接。
我的下载文件夹不会以任何方式进行同步,但是那里没有什么重要的,只有临时文件。 如果我下载了重要的内容,则将其复制到Dropbox中的相应文件夹中。

我与Dropbox的冒险
曾几何时,在2013-2014年的某个地方,我将所有文件存储在Dropbox-e中,只有其中没有备份。 然后我没有1Tb,也就是说,我没有付钱,因为我有25Gb的空间,可以通过邀请朋友或其他任务获得。

一个美好的早晨,我打开计算机,所有文件都消失了,我还收到了Dropbox的一封电子邮件,他们在此道歉,并且我的文件由于故障而消失了。 他们给了我一个链接,我可以通过该链接来还原我的文件,但它们自己什么也无法还原。 为此,他们给了我1Tb一年的时间,此后我成为他们的客户,不管听起来有多奇怪,但我从未信任他们。

就像我上面写的那样,我找不到适合自己的云,首先,没有同步问题,其次,所有类型的服务都只能在Dropbox上使用。

吉特


工作文件存储在生产服务器上,个人项目存储在GitLab上,这里的一切都很简单。

时光机


我还备份了整个系统(不包括Dropbox和Downloads文件夹本身),以免浪费空间。 我通过出色的工具Time Machine备份了系统,不止一次地帮了忙。 我可以在同一台NAS上执行此操作,因为它具有这样的功能。 您当然可以在外部HDD上执行此操作,但这并不是那么方便。 每次需要连接外部驱动器并自己运行Time Machine时。 由于懒惰,此类备份通常每几周进行一次。 他会自动备份到服务器,我什至没有注意到他何时备份。 我在家工作,因此我总是对整个系统进行全新备份。 一天复制几次,没有计算多少次和多少次。

NAS


这是所有魔术发生的地方。

Synology有一个出色的工具,称为Cloud Sync,我认为这个名称可以清楚地说明其功能。

它可以使许多云系统彼此同步,或者使NAS服务器中的文件与其他云同步。 我认为该程序的概述在网络上。 我不会详细介绍。 我最好描述一下我如何使用它。



在服务器上,我有一个名为Dropbox的驱动器文件夹,它是我的Dropbox帐户的副本,Cloud Sync负责同步所有这些。 如果Dropbox中的文件发生问题,则这将在服务器上发生,无论它吃掉\删除\创建。 通常,经典同步。

Yandex驱动器


此外,我将所有这些文件丢到Yandex驱动器上,将其用作自制备份磁盘,也就是说,我将文件放到那里但不从那里删除任何东西,事实证明这种文件转储可以帮上几次忙。

谷歌驱动器


在这里,我只发送Photos文件夹,也以同步模式发送,这样做仅是为了方便查看Google照片中的照片,并具有从中删除照片的能力,并且这些照片到处都将被删除(Yandex磁盘本身除外)。 我将在下面写下有关照片的信息,通常您可以在其中写一篇单独的文章。

超级备份


但是所有这一切都不是很可靠,如果您不小心删除了一个文件,那么该文件将在所有地方被删除,您可以认为它丢失了。 您当然可以从Yandex驱动器进行还原,但是首先,在一个位置进行备份本身并不是很可靠,并且Yandex驱动器本身并不是可以百分百确定的服务,尽管它从来没有出现过问题。

因此,我一直试图将文件存储在其他地方,而该文件已经具有普通备份系统。



Synology也为此提供了一个工具,称为HyperBackup,它将文件备份到其他Synology服务器或某些第三方云解决方案。
正如我直到最近一样,他还知道如何备份到连接到NAS-y的外部驱动器。 但这也不可靠,例如,如果火灾结束,则服务器和HDD将终止。

群晖C2


在这里,我们顺利地采用了Synology本身提供的另一项服务。 她有自己的云来存储备份。 它在HyperBackup下经过了专门的改进,每天都在其中进行备份,但这是一个经过深思熟虑的备份,它具有文件版本,时间表以及甚至Windows和Mac OS的客户端。



文件存储就这些了,我希望我的文件是安全的。

现在让我们继续进行文件排序。

常规文件,书籍,文档扫描和其他不重要的文件,我将所有内容手动分类到文件夹中。 通常没有很多,我很少打开它们。

最困难的是对照片和视频进行排序,我有很多。

我每个月要拍几十到几百张照片。 我用数码单反相机,无人驾驶飞机或有时在电话上射击。 照片是个人照片和股票照片。 有时我还会拍摄家庭录像(不是你想的那样,只是家庭录像,通常是带着女儿)。 它还需要以某种方式存储和排序,以免造成混乱。

我在同一Dropbox中有一个名为“排序图像”的文件夹,其中所有照片和视频都存放在子文件夹中,从那里开始对它们进行拍摄并在必要时进行排序。



排序发生在NAS服务器上,那里的bash脚本每天自动运行一次并完成其工作。 NAS还负责启动它们,有一个任务计划程序负责启动所有脚本和其他任务。 您可以配置启动任务的频率和时间,如果更容易,则以界面为中心。



每个文件夹都有其自己的脚本。 现在更多有关文件夹的信息:

无人机 -这是我出于个人目的拍摄的无人机照片。 首先,我在lightroom中处理所有照片,然后将JPG导出到此文件夹。 从那里他们最终进入另一个Dropbox文件夹“照片”。

有一个文件夹“ Drone”,并且已经按年和月对它们进行了排序。 脚本本身会创建必要的文件夹,并根据我的模板对照片本身进行重命名,通常这是照片的拍摄日期和时间,我还在末尾添加了一个随机数,以使具有相同名称的文件不起作用。 我不记得为什么在文件名中设置秒数不适合这些目的。

这棵树看起来像这样:照片/无人机/ 2019/05-五月/ 01-五月-2019_19.25.53_37.jpg



无人机视频 -我现在还没有拍摄无人机视频,我需要学习很多东西,现在没有时间了,但是我已经创建了一个文件夹。

图片操作 -里面有两个文件夹,当文件进入那里时,它们要么被压缩到最大2000像素以在Internet上发布,要么完成了翻转图片,虽然我不需要它,但是我还没有删除该文件夹。

全景图 -在这里遇到它们是因为不难猜测全景图,我将它们分开存储,因为这是特定类型的照片,我通常将它们制成无人机。 我制作普通的全景图,但我也制作360幅全景图,有时也制作球体,例如小行星的全景图,我还制作了无人机。 从此文件夹中,所有照片也都归入照片/全景图/ 2019/01-五月-2019_19.25.53_37.jpg。 在这里,我没有按月排序,因为全景图不多。

个人照片 -在这里,我得到了我在数码单反相机上拍摄的照片,通常是家庭照片或旅行照片,通常是为了记忆和为自己而制作的照片。 我还处理原始照片和Lightroom,然后导出到这里。

他们从这里到达这里:照片/ 2019/05-五月/五月01-五月-2019_19.25.53_37.jpg

如果我进行了某种形式的庆祝活动或最好将其分开存储,则在2019文件夹中创建一个名称为庆祝活动的文件夹,并用双手将照片复制在那里。

RAW-照片的来源就在这里。 我总是以RAW拍摄,所有照片都保留为JPG,但有时我也想存储RAW文件,有时我想以不同的方式处理帧。 通常这是自然,只有最好的镜头才能到达,而不是连续拍摄。

股票照片 -在这里我放掉股票的照片,我在DSLR或无人驾驶飞机上做。 排序与其他照片相同,只是在您自己的单独文件夹中。

在Dropbox的根目录中,有一个Camera Uploads文件夹,这是Dropbox移动应用程序将所有照片和视频放到其中的默认文件夹。 以这种方式丢弃妻子从电话中获得的所有照片。 我还从手机上取走了我所有的照片和视频,从这里已经将它们分类到一个单独的文件夹中。 但是我以不同的方式来做,对我来说更方便。 有一个适用于Android的程序,FolderSync,它允许您从手机中拍摄所有照片,将它们上传到Dropbox,然后从手机中删除。 我建议有很多设置。 手机中的视频也进入此文件夹,它们也按年份和月份像所有照片一样排序。

我自己从Internet上的任何指令中收集了所有脚本,但没有找到任何现成的解决方案。 我对bash脚本一无所知,也许有些错误或某些事情可以做得更好,但是对我来说最重要的是,它们可以完成自己的工作并满足我的需求。

脚本上传到github: https : //github.com/pelinoleg/bash-scripts

以前,我是在Mac OS上使用Hazel对照片和视频进行排序的,它本身使一切变得更容易,所有任务都是可视地创建的,不需要编写代码,但是有两个缺点。 首先,您需要将所有文件夹保留在计算机上,以便一切正常;其次,如果您突然切换到Windows或Linux,则没有此类程序。 我试图寻找替代方案,但它们什么都没有。 服务器上带有脚本的解决方案是一种更通用的解决方案。

所有脚本都配置为每天运行一次,通常在晚上运行。 但是,如果没有时间等待,并且您现在需要以某种方式执行必要的脚本,则有两种解决方案:通过SSH连接到服务器并执行必要的脚本,或者转到管理面板并手动启动必要的脚本。 在我看来这一切都不方便,所以我找到了第三个解决方案。 有一个用于Android的程序,它可以发送ssh命令。 我创建了几个命令,每个命令都有其自己的按钮,现在,如果需要对从无人机拍摄的照片进行排序,则只需按一个按钮,脚本便可以工作。 该程序称为SSHing,还有其他类似的程序,但是对我来说这是最方便的。



我也有几个站点,它们更多是用于展示,几乎没有人去那里,但是备份仍然不会受到伤害。 我将站点保留在DigitalOcean上,在那里安装了aaPanel面板。 有机会在同一磁盘上制作所有文件和所有数据库的备份副本。

并非将备份保存在同一驱动器上,所以我还敲了一个bash脚本并将所有内容复制到我的服务器,将所有内容都归档在一个存档中,名称中带有日期。

我希望至少有人会从我使用和共享的方法中获得帮助。

从本文中可以看到,我喜欢自动化,并尝试使一切都可能自动化,但从自动化的角度来看,我没有描述很多事情,因为这些都是其他主题和其他文章。

Source: https://habr.com/ru/post/zh-CN452798/


All Articles