Geekly articles weekly

区域状态数据中心的创建方式

区域状态数据中心的创建方式
“这不是一个给人上色的地方，而是一个人是一个地方。”

我们所有人都会定期看到对各种数据处理中心（DPC）的评论：大型，小型，水下，北极，创新，生产性等等。但是，对于那些看不见的英​​雄几乎没有评论，他们在州地牢中为我们的利益而努力，在各地区更是如此。因此，我想分享我在Stavropol领土上创建数据中心的经验。

熟人


我记得现在-2012年6月18日，这是一个温暖的夏日。那天，进入我们未来的数据中心的墙壁时，我恰好看到了这张照片，坦率地说，这让我有些震惊。成立之初，请与GKU SK “信息技术区域中心” 会面。所有图像都是可单击的。它似乎是2012年6月我们未来数据中心内唯一的机架。 这是一个相当年轻的组织。在我开始活动之初，其主要任务是支持公共机构的电子文件管理（OGV）。

它似乎是2012年6月我们未来数据中心内唯一的机架。




我的目标是创建一个数据中心和一个为其服务的组织。所有现有的状态信息系统以及所有新创建的系统都应已移至数据中心。当时，电子公共服务和公共机构的普遍自动化迅速发展。

当时，对于什么是电子政务还没有特别的了解。最主要的是要理解“不是给人着色的地方，而是给人着色的地方”。我有一个由我组成的小团队，但这已经足够开始，尤其是因为常规流程的自动化避免了不必要的人员膨胀。这就是2014年7月我离开之前的数据中心的样子。

这就是2014年7月我离开之前的数据中心的样子。


加入该组织之前，我曾在一家主要银行的支持部门担任首席专家。这些经验对于在OGV中实施非常有用。总的来说，从IT的角度来看，我真的很喜欢银行业，但这是另一回事。在这里，我必须在某种程度上履行“灰色主教”的职能：缺席总工程师。

我创建的数据中心不仅应该可靠，而且应该是灾难性的，生产力高且便宜的。在我看来，这就是为什么我被邀请在这里工作的原因，因为我必须首先实现对已经存在的东西的有效利用。集成商只有一个建议：如果您给我更多的钱……包括这就是为什么我不求助于集成商等承包商的服务的原因。

由于所有资源实际上都移到了我们的“云”中，由于现有的由“公共”和“私有”“云”组成的概念设备并未完全满足提供逻辑，我不得不引入“公共私有云”的概念。资源。外部是“私有云”，内部是“公共云”，但仅限于UGA。在这方面，软件许可具有某些功能。

在我进入组织之前，我设法决定了一些概念性的时刻，这些时刻必须被视为理所当然。该项目是与IBM，Microsoft，Cisco密切合作开发的。为什么是这些供应商？对我来说-历史就是这样。我会后悔吗？一点都不！可以使用其他供应商吗？当然，例如，DELL，HP或任何其他形式，以及它们的任意组合。

当时购买了虚拟化平台-VMWare，当时有5个版本。我认为，在这里，每个人都会同意这一选择实际上是没有争议的，因为其他人没有提供类似于容错的功能。

在对整个城市机架中的可用容量进行初步审核时，我发现了两个IBM BladeCenter机箱：E和H。该机箱配备了HS22刀片服务器，这远远不是最差的，当时是坚固的中间设备。当然，这种情况有些令人遗憾；燃烧错误指示器特别令人讨厌。2012年6月可用的机架之一的视图。注意“通过盒子”设备的安装，尤其是思科设备的安装。

2012年6月可用的机架之一的视图。 注意“通过盒子”设备的安装，尤其是思科设备的安装。


作为存储系统，在一个站点上安装了DS3512机架，该机架通过光连接并安装了2TB驱动器。在另一个站点上，安装了DS3512和DS3524机架。

在备份站点上，分配了可用空间，因此VMWare不会在没有人工干预的情况下启动：它检测到其他已安装的副本并停止，仅在使用相应密钥的帮助下启动。分发本身按照以下原则进行：每个虚拟机都有自己的LUN。当有必要为虚拟机分配额外的空间时，而不必在现有LUN上……

站点之间通过宽度为1 Gbit / s的瘦数据网络相互连接。没有专用网络可提供相同的虚拟化和服务流量。

在对IT基础架构进行了简短的审查和审核之后（很简短，因为实际上没有基础架构），得出的结论是我有一个经典的示例。没有任何方案，也没有随附的文档，甚至管理员密码都不为人所知，因此必须对其进行重置和还原。

我坚决要工作。

旅程的开始


在未来这样一个严肃的组织中，当我离开IT基础架构时，绝对没有任何东西：一个孤独的智能交换机，一个对等网络，在每个工作场所共享资源...总的来说，一切都与您在该地区的情况完全一样。

因此，企业基础架构很快就被创建。对于当时订购的一切，当时可用的一切。配备了网络测试仪，我找到并签署了所有电线。因为在布线时，没有工作计划-在某个地方，没有电话的地方是PC，在没有足够的电线和许多其他标准“魅力”的地方。

不幸的是，在为未来的数据中心设计服务器机房时，没有人在高架地板或天花板下的电线架上做任何事情。自然，两者都没有钱了，所以我不得不自己带美女。

由于当时没有人允许我简单地缩短电线：“突然之间，您必须将机架移到房间的远处，那又如何？” -我必须在天花板下制作第110个十字架，从那里已经将电线降低到了机架中。这样，在机架移动的情况下，可以从交叉处取下短线，并在其中安装较长的线。安装期间墙壁第110横板的视图以及用于端接电线的刀。

110- , .


还立即确定了跳线将进行颜色编码，因为只有蓝色和红色电缆，电话必须是红色，并且网络上的所有内容都是蓝色。安装前后的机架类型。 在机架中，我发现了一台配有4条城市和8条分机线的Panasonic KX-NCP500办公室PBX。我对内部电话线最不感兴趣，就像对IP PBX一样：逐渐地，我将所有内容都转移到了VOIP。 由于我没有建立PBX的认真经验，因此我不得不进行一些修改。只了解提高自己的STUN服务器的需要是值得的...

.






因此，该组织没有自己的网络；所有计算机都位于一个大型Intranet上。作为一个对信息安全没有第一手知识的人，我对此并不满意：在网络边缘，我安装并配置了基于FreeBSD的路由器，并对网络本身进行了分段，以实现对互通的完全控制。使用这种方法，通常只有一个部分受到影响。

关于OGV网络本身，很明显只有它存在于某个地方。我必须根据设备配置还原整个网络拓扑，仔细绘制草图并记录文档。配置逐渐呈现为人的形式；出现了描述和命名逻辑。

将近六个月后，我终于在OGV网络上找到了文档。但是，不幸的是，这与实际情况不一致90％。它的质量很高，是可以工作的少数文件之一。但是没有人根据设置判断是否奏效。

在检查网络时，由于几乎所有设备都安装了非常过时的软件，因此我使所有节点都处于最新状态。在某个地方这不是必需的，但在某个地方它解决了现有问题。网站主页的旧视图（左，2012年）和新视图（右，2016年）。

(, 2012 ) (, 2016 ) .


还开发了一个站点，同时建立了自己的名称服务器，虚拟主机和邮件服务。对于那些员工在明确的公共邮件服务上拥有邮寄地址的组织，我尤其感到怀疑，尤其是在政府机构中。

总的来说，我认为前几个月的工作已经取得了丰硕的成果。

第一阶段


最初，除了部门间工作流程之外，数据中心不再用于任何事情。毫无疑问，文件管理是国家当局工作中最重要的部分之一。通常，正是由于工作流的复杂性，在我们国家的工作中会出现许多问题，而电子工作流才是摆脱这种情况的出路。

我认为最有趣的问题是：数据中心的电子政府在做什么？

数据中心本身由几个地理位置分散的站点组成，因此实施了容灾概念，正在进行的工作持续24/7/365。这些站点通过32条单模光纤的主干互连。

数据中心的核心是IBM HS22和HS23刀片服务器（现为Lenovo），它们成对分布在各个平台上。每个机箱可容纳14个刀片；在初始阶段，安装了五个刀片。

每个刀片都有两个处理器，如果我没有记错的话，E5650（6核，12MB缓存），RAM达到了192 GB。刀片没有磁盘，内部我决定安装带有VMWare映像的USB闪存，以最大程度地实现性能与存储的分离，将日志写入通用存储，每个刀片的上行链路为2 Gb / s。通过在机箱中安装适当的交换机并在每个刀片中安装网卡，可以将上行链路的速率提高到10 Gbit / s。我们主要的32纤维中继线。

32- .


作为OS-VMWare vSphere（我离开时为5.5）标准版。在更高级的版本中，我没有指出要点：提议的功能已经足够多了。缺少的内容-您可以写自己。

将来，由于功能更强大的IBM HS23服务器，刀片服务器的数量有所增加。

每个站点的电源冗余有所不同，但不少于两个电源。此外，在每个机架中，还额外安装了成对馈送机架的UPS：设备的电源由不同的电源供电。可能没有必要，但是有好一会儿需要机架式UPS来救援。没什么，但是在这样的系统中没有太多的冗余。

冷却方式也各不相同。在主站点上，这些是壁挂式工业空调，带有平衡单元。温度保持在21度。在另一个站点，这些是工业地板空调和地下空气供应。在IBM 的SVC。我们存储系统的控制器。 该存储系统基于IBM SVC控制器是可扩展的，该控制器允许实现相同RAID 6 + 1的冗余，沿多个路径的冗余，通过上行链路8Gb / s光纤的单元间连接。发生事故或例行维护时，数据中心的任何部分都可以随时独立运行。 几乎所有物理资源都在运行正常的数据中心中进行了虚拟化：存储是在IBM的基础上进行虚拟化的

IBM SVC. .




SVC ;处理器和RAM资源基于VMWare vSphere虚拟化。如果我们采用虚拟化在交换机上使用VLAN，则可以假定网络基础架构也已虚拟化。

我几乎所有支持远程控制的设备都已连接到网络并进行了配置。在远程站点上，所有工作都可以正常进行，包括通过受控的电源插座（它们稍后出现在第二阶段），因此，如果任何没有远程控制的设备出现故障，都可以通过电源将其重置。

数据中心是分几个阶段创建的。第一阶段包括整理订单和创建云基础架构。最初的目标是基于IBM SVC创建虚拟化存储层。

随着该计划的实施，以前位于第三方组织中的服务器开始移至我们的站点。因此，我们移动了几台具有工作服务的旧IBM服务器，这些服务消耗并加热了多个BladeCenter机箱。当然，它们的服务逐渐转移到“云”中。编辑器中的机架类型。 首先是计划。到那时，我已经可以按我认为合适的方式工作（同样，已经有一些已完成的项目，并且我已经赢得了信任，相信有没有失败的作品）。因此，首先，我在编辑器中组装了机架，同时与自己进行讨论和争论。将设备安装在机架中的过程。

.




.


安装是根据描述的标准，最佳实践和建议进行的，包括IBM RedBook。当然，第一次让我的“让我们阅读文档”被嘲笑，但是在“科学戳方法”之后，服务器拒绝安装到位，因为其中一个指南之间的距离太大，而另一个指南之间的距离太小-我发现在机架组装的红皮书标准尺寸之后，所有东西都首次组合在一起。数据中心的第一阶段，2013年6月。背景是最高统帅部的手鼓。

, 2013 . .


到那时为止，我为国家的利益在这个组织工作已经过去了将近一年。今年，我们从未求助于集成商或任何其他承包商的服务。我不会反感，有几次我向IBM同事寻求有关其设备问题的帮助，我们共同解决了出现的问题，对此，他们表示感谢。

在此阶段，数据中心已成为指示性指标，并定期接待了来访者，以演示IT基础架构应如何工作和外观。这看起来不应该像IT基础架构。照片是我工作的第二天，2012年。

. , 2012 .


在实施数据中心的过程中，对我来说很清楚，需要将资源有效地交付给消费者-政府机构。此外，一些迁移​​到云的“原始”书面信息系统在网络上推动了非常大量的信息。

仅通过Internet进行访问似乎不是一个好主意，因为它没有提供足够的访问速度。而且，在所有公共团体中扩展与Internet的连接都是非常昂贵的过程。因此，决定部署我们自己的网络：从安全的角度来看，从经济角度看，这比从同一Rostelecom租借通信渠道要有利得多。

为什么最初没有这样做？答案很简单：没有合格的专家从事这项工作，只有外部承包商。他们寻求钩住外包。

在这一点上，我必须计划并构建提供程序的基础结构。同时，必须对许多OGV网络进行审核。当然，在某些OGV中有相当强大的IT服务（例如，在财政部，国防部，政府机构等部门）。但也有坦率的弱者，他们甚至无法压缩电线。既然条件允许，我必须全力以赴。

因此，尤其是我必须开发OGV的典型网络架构一个人必须努力。标准化和典型化是有效运作的关键。根据我的初步计算，我们组织中每人应至少有100-150个管理对象。思科设备用品之一。 当然，在正在建设的网络中，除了显而易见的VLAN技术之外，还使用了其他现代技术来简化管理：OSPF，VTP，PVST，MSTP，HSRP，QoS等。当然，我想提高全状态冗余，但是不幸的是，ASR没有足够的硬件资源。不幸的是，进入MPLS并没有奏效。是的，没有必要。 随着网络的扩展，我开始控制OGV设备

Cisco.




，同时根据需要进行调整。在连接整个地区的主管部门的过程中，我必须进行宣传和教育工作，并帮助地区和农村主管部门的同事。

第一阶段站点之间的总上行链路只有几千兆字节。但是我已经为vSphere分配了一个工作通道。
事实证明，该网络本身在地理上分布高度，包括相当数量的通过L2 / L3 VPN连接的远程节点。

当然，可以通过大量的金融投资来解决很多问题，但是我用自己的能力进行了管理。通常，可用的设备使用效率低下，因此我只是找到了更好的选择。特别是在生命的第一年，每个人都对实施该项目的前景表示怀疑。

但是在第一年之后，由于我们的组织，直接和间接的预算节省达到了数千万卢布，而且态度发生了巨大变化。网络图之一。出于明显的原因，大多数节点都是隐藏的。

. .


第二阶段


在第二阶段，我们已经不得不增加数据中心的硬件容量。为了扩大容量，需要将机箱从E型更改为H型，并重新安装现有机架。通过增加HDD的架子数量来增加磁盘空间。在顶部可以看到装有IBM DS3512硬盘驱动器和DS3524架子的架子。 还有更多物理服务器移到了我们这里。虚拟机的数量已大大增加。 添加了基于IBM TS3200磁带库的备份工具。前台是IBM TS3200磁带库。 自然，我根据初步计划开始安装新设备。在这里，已经必须在两侧都建模机架。规划数据中心扩展。

IBM DS3512 DS3524.






IBM TS3200.




.


此举已尽快完成。由于那时虚拟化已完全发挥作用，因此迁移过程是完全不可见的，因为在一个站点上转移和断开设备之前，所有虚拟服务器都已迁移到另一个站点，并且在工作结束时，一切恢复了正常。

当然，除了主站点外，还可以在保留站点上下订单。同时，借助功能齐全的备份系统，最终可以在那里恢复订单。扩充资源后的机架类型，2014年。

扩充资源后的机架类型，2014年。


从那时起，我们的数据中心已经成为典范，我决定关注细节：可用的免费单元已被黑色边框覆盖，并且在需要通风的地方，安装了穿孔边框。甚至将设备固定在机架上的安装螺栓，我也从喷涂罐上卸下并涂成黑色。有点琐事，但很好。在安装过程中（左）和结束时（右）在备用站点上的机架类型。 为了摆脱无处不在的媒体转换器，购买了一对D-Link DMC-1000机箱，包括由于有一对电源，因此可以提供备用电源媒体转换器。

在安装过程中（左）和结束时（右）在备用站点上的机架类型。




同时，正在进行使网络现代化的工作。我在站点之间以20 Gbit / s的速度关闭了数据传输网络的核心环。通过优化现有设备，用于虚拟基础架构操作的服务网络获得了10 Gb / s的上行链路，这使得可以同时以足够的带宽同时迁移几乎所有刀片。

SNR设备与现有Cisco和Brocade设备的兼容性非常令人满意。当然，有一次我在机箱中安装Brocade设备对我来说是一个不愉快的惊喜，因为我以前不必使用它。但是，幸运的是，对网络原理的了解使我们能够快速处理它。

在工作的重要部分，我考虑执行的准确性。一切都应该不仅运作良好，而且看起来也不错。工作顺序越多，可靠性越高。幸运的是，我中没有一个人有这样的工作方法，因此，我认为与我在货架上的一位同事一起被安排为一个模范订单。到处都必须有秩序。

到处都必须有秩序。


同时


在实际创建数据中心和OGV网络的同时，还开发了一种用于电子政务功能的软件，我也有机会参与其中。无论是在实施和部署方面，还是在思想支持方面。对于真正意识形态的支持，非常感谢当时的领导。

我经常不得不审核数据库，驱使开发人员使用数据库中的索引，捕获资源密集型查询并优化瓶颈。除主键外，其中一个系统没有索引。结果-在密集操作开始时，数据库性能开始急剧下降，必须自己种植索引。

由于在开发过程中及时进行了干预，所有已开发的州系统都实现了跨平台。在没有迫切需要使用Windows作为基础的情况下，一切都在Linux系列系统的控制下进行。事实证明，创建跨平台应用程序的主要障碍是在编写路径中使用非通用表示法。通常，在用一个斜杠替换另一个斜杠之后，状态系统突然变成跨平台的。

创建的网络几乎以一种或另一种方式覆盖了OGV的全部内容，我准备开始提供Internet连接，过滤流量，防病毒保护并防止来自OGV外部和内部的攻击。特别是，由于可以更有效地利用信道带宽，因此可以节省大量预算。

为OGV创建了统一的技术支持服务后，我计划创造高科技工作，以在组织内部集中提供合格工作支持的主要力量，从而使技术人员留在现场，同时通过组织会议和网络研讨会，务虚会来提高现场专家的水平...

数据中心现代化的第三阶段对我来说是最有趣的。在第二阶段结束时，与家用处理器的开发者Elbrus建立了对话，可以访问测试平台，并且很明显，至少有三分之一的操作系统功能可以转移到家用硬件平台上！就在下一个2015年，将发布家用处理器的新硬件版本​​...下一年的预算包括购买服务器的总金额...

只有向上，只有前进...

总结一下


但是我梦想将公共服务转移到家用硬件平台上的梦想并没有实现（就像其他计划一样），因为我被迫将工作换成不少有趣但薪水更高的工作。很遗憾，我想我可以为实施家用硬件平台提供很好​​的动力。而且，这是在进口替代浪潮之前。

在根据数据中心在该组织工作的职业生涯结束时，我设法进行了计划，创建，部署或参与以下工作：


总共，超过120台虚拟服务器正在我们的7对物理服务器上工作，使用了约30-40％的CPU和RAM资源，约占存储系统的50％。当时，我们的员工总数约为30-35，其中包括整个行政和管理人员的呼叫处理服务。

我敢肯定，使用效率高。

实际上，您仍然可以对几乎每个服务的形成提供很多详细信息，然后您会获得相当多的内存。

致谢


  • 首先，对于您，亲爱的读者，请阅读这个地方。
  • 我的妻子寻求帮助和支持。
  • 以国家公共机构SK的管理“区域信息技术中心”的信任关系放置。
  • 斯塔夫罗波尔地区工业，能源和通信部的管理部门，以提供行政支持。
  • 那时所有幸运的同事。

Source: https://habr.com/ru/post/zh-CN395197/

More articles:


All Articles