兔子（RabbitMQ）在“不惜一切代价求生存”模式下的运作

电信现实中的运输任务是什么？

1. 车辆的可达性应为99.99％。 实际上，这转化为24/7的操作要求，并具有自动响应任何紧急情况的能力。
2. 数据安全：传输中丢失消息的百分比应趋于0。

我们如何解决任务

• 所有Rabbit服务器都是虚拟的，参数为8-12 CPU，16 Gb Mem，200 Gb HDD。 正如经验所表明的那样，即使使用具有90个内核和一组RAM的令人毛骨悚然的非虚拟服务器也可以以显着更高的成本提高性能。 使用的版本：3.6.6（实际上是3.6中最稳定的），erlang为18.3； 3.7.6，erlang为20.1。
• 对于Haproxy，要求要低得多：2个CPU，4 Gb内存，haproxy版本是1.8稳定版。 所有haproxy服务器上的资源负载不超过15％CPU / Mem。
• 整个动物园位于全国7个站点的14个数据中心中，并形成一个单一网络。 在每个数据中心中，都有一个由三个节点和一个集线器组成的集群。
• 对于远程电路，每个中央电路使用2个数据中心-4。
• 中央电路彼此之间以及与远程电路交互；反过来，远程电路仅与中央电路一起工作；它们彼此之间没有直接的通信。
• 同一电路内的臀部和丛集的配置完全相同。 每个电路的入口点是多个A-DNS记录的别名。 因此，为了防止这种情况的发生，每个电路中的至少一个hap和至少一个群集（群集中的至少一个节点）将可用。 由于极不可能发生两个数据中心中同时出现6台服务器同时发生故障的情况，因此，可接受性被认为接近100％。

1. 仅通过amqp / amqps协议与兔子合作-通过平衡。 在本地帐户下进行授权-在每个群集内（井以及整个回路）
2. 子系统以被动模式连接到兔子：不允许对兔子的实体进行任何操作（创建队列/ exchendzhe / bind），并且仅限于帐户权限级别-我们根本不授予配置权限。
3. 所有必需的实体都是通过集中方式创建的，而不是通过子系统来创建的，并且在所有群集上，群集都是以相同的方式完成的-确保自动切换到备用群集，反之亦然。 否则，我们可以得到一张图片：我们切换到了保留，但是队列或绑定不存在，并且可以选择连接错误或消息丢失。

现在直接在兔子上设置：

1. 本地主机无权访问Web界面
2. 通过LDAP可以组织对Web的访问-我们与AD集成在一起，并记录了网络摄像头的去向和地点。 在配置级别，我们限制AD帐户的权限，不仅我们需要属于某个组，而且还仅授予“查看”权限。 监视组绰绰有余。 并且我们将管理员权限挂在AD中的另一个组上，因此极大地限制了对传输的影响范围。
3. 为了便于管理和跟踪：
   在所有VHOST上，我们立即挂起一个级别为0的策略，并将其应用到所有队列（模式：。*）：
   
   
   • ha模式：全部 -将所有数据存储在群集的所有节点上，消息的处理速度降低，但是可以确保其安全性和可用性。
   • ha-sync-mode：自动 -指示搜寻器自动同步集群所有节点上的数据：数据的安全性和可用性也提高了。
   • 队列模式：惰性 -可能是自3.6版以来在兔子中出现的最有用的选项之一-立即在HDD上记录消息。 此选项显着减少了RAM的消耗，并在节点或整个群集的停止/崩溃期间提高了数据安全性。
   
   
4. 配置文件中的设置（ rabbitmq-main / conf / rabbitmq.config ）：
   
   
   • 兔子节： {vm_memory_high_watermark_paging_ratio，0.5} -将消息下载到磁盘50％的阈值。 启用惰性后，当我们制定第1级的保险单时，它会更多地充当保险，而我们忘记包括惰性 。
   • {vm_memory_high_watermark，0.95} -我们将兔子限制为总RAM的95％，因为只有兔子生活在服务器上，所以引入更严格的限制是没有道理的。 5％的“宽手势”就这样-离开操作系统，监视和其他有用的小东西。 由于此值是上限，因此每个人都足够。
   • {cluster_partition_handling，pause_minority} -描述发生网络分区时群集的行为，对于三个或更多节点群集，建议使用此标志-它允许群集自行恢复。
   • {disk_free_limit，“ 500MB”} -一切都很简单，当有500 MB可用磁盘空间时-消息发布将停止，只有减法才可用。
   • {auth_backends，[rabbit_auth_backend_internal，rabbit_auth_backend_ldap]} -兔子的授权顺序：首先，检查本地数据库中是否存在超声波，如果没有，请转到LDAP服务器。
   • 一节rabbitmq_auth_backend_ldap-与AD的交互配置： {servers，[“ srv_dc1”，“ srv_dc2”]} -将在其上进行身份验证的域控制器的列表。
   • 在AD，LDAP端口等中直接描述用户的参数纯粹是单独的，并在文档中进行了详细描述。
   • 对我们来说最重要的事情是对兔子的管理和访问Web界面的权利和限制的描述：tag_queries：
     [{管理员，{in_group，“ cn = Rabbitmq-admins，ou = GRP，ou = GRP_MAIN，dc = My_domain，dc = ru”}}，
     {监视，
     {in_group，“ cn = Rabbitmq-web，ou = GRP，ou = GRP_MAIN，dc = My_domain，dc = ru”}
     }] -此设计为rabbitmq-admins组的所有用户提供管理特权，并为rabbitmq-web组提供监视权限（至少足以查看访问权限）。
     
   • resource_access_query ：
     {
     [{权限，配置，{in_group，“ cn = Rabbitmq-admins，ou = GRP，ou = GRP_MAIN，dc = My_domain，dc = ru”}}，
     {权限，写，{in_group，“ cn = Rabbitmq-admins，ou = GRP，ou = GRP_MAIN，dc = My_domain，dc = ru”}}，
     {权限，读取，{恒定，正确}}}
     ]
     } -我们仅向管理员组，成功登录的其他所有人提供配置和写入权限，这些权限是只读的-它可以通过Web界面读取消息。
     

1. 最好由政客组织队列的所有其他属性（TTL，过期，最大长度等），而不是在创建队列时挂起参数。 事实证明，该结构可以灵活地进行自定义，可以根据实际情况随时进行自定义。
2. 使用TTL。 队列越长，CPU的负载就越高。 为了防止“突破上限”，最好也通过max-length限制队列长度。
3. 除了Rabbit本身之外，服务器上还有许多实用程序在运行，这很奇怪，这也需要CPU资源。 默认情况下，食的兔子会占用所有可用的内核……结果可能会令人不快：争夺资源，这很容易导致兔子的刹车。 为了避免这种情况的发生，例如，如下所示：更改erlang的启动参数-对使用的内核数实行强制性限制。 我们这样做如下：找到文件Rabbitmq-env ，查找SERVER_ERL_ARGS =参数，然后向其添加+ sct L0-Xc0-X + SY：Y。 其中X是内核数1（从0开始计数），Y是内核数-1（从1开始计数）。 + sct L0-Xc0-X-更改与内核的绑定，+ SY：Y-更改由erlang启动的泄放程序的数量。 因此，对于具有8个内核的系统，添加的参数将采用以下形式：+ sct L0-6c0-6 + S 7：7。 这样，我们只给Rabbit提供7个内核，并期望OS通过启动其他进程来发挥最佳性能，并将其挂在未加载的内核上。

操作最终动物园的细微差别

1. 停止故障群集的所有节点-hap将把负载切换到备份群集
2. RABBITMQ_NODE_PORT=5673 rabbitmq-env – , Web - 15672.
3. .

#!/usr/bin/python import subprocess import os import datetime import zipfile def LastRow(fileName,MAX_ROW=200): with open(fileName,'rb') as f: f.seek(-min(os.path.getsize(fileName),MAX_ROW),2) return (f.read().splitlines())[-1] if os.path.isfile('/data/logs/rabbitmq/startup_log'): if b'FAILED' in LastRow('/data/logs/rabbitmq/startup_log'): proc = subprocess.Popen("ps x|grep rabbitmq-server|grep -v 'grep'", shell=True, stdout=subprocess.PIPE) out = proc.stdout.readlines() if str(out) == '[]': cur_dt=datetime.datetime.now() try: os.stat('/data/logs/rabbitmq/after_crush') except: os.mkdir('/data/logs/rabbitmq/after_crush') z=zipfile.ZipFile('/data/logs/rabbitmq/after_crush/repair_log'+'-'+str(cur_dt.day).zfill(2)+str(cur_dt.month).zfill(2)+str(cur_dt.year)+'_'+str(cur_dt.hour).zfill(2)+'-'+str(cur_dt.minute).zfill(2)+'-'+str(cur_dt.second).zfill(2)+'.zip','a') z.write('/data/logs/rabbitmq/startup_err','startup_err') proc = subprocess.Popen("~/rabbitmq-main/init.d/rabbitmq-server start", shell=True, stdout=subprocess.PIPE) out = proc.stdout.readlines() z.writestr('res_restart.log',str(out)) z.close() my_file = open("/data/logs/rabbitmq/run.time", "a") my_file.write(str(cur_dt)+"\n") my_file.close() 

 if (os.path.isfile('/data/logs/rabbitmq/startup_log')) and (os.path.isfile('/data/logs/rabbitmq/startup_err')): if ((b' OK ' in LastRow('/data/logs/rabbitmq/startup_log')) or (b'FAILED' in LastRow('/data/logs/rabbitmq/startup_log'))) and not (b'Gracefully halting Erlang VM' in LastRow('/data/logs/rabbitmq/startup_err')): 

  find ${RABBITMQ_LOG_BASE}/http_api/*.log.* -maxdepth 0 -type f ! -name "*.gz" | xargs -i gzip --force {} find ${RABBITMQ_LOG_BASE}/*.log.*.back -maxdepth 0 -type f | xargs -i gzip {} find ${RABBITMQ_LOG_BASE}/*.gz -type f -mtime +30 -delete find ${RABBITMQ_LOG_BASE}/http_api/*.gz -type f -mtime +30 -delete 

  mv ${RABBITMQ_LOG_BASE}/$NODENAME.log.0 ${RABBITMQ_LOG_BASE}/$NODENAME.log.$(date +%Y%m%d-%H%M%S).back mv ${RABBITMQ_LOG_BASE}/$(echo $NODENAME)_upgrade.log.0 ${RABBITMQ_LOG_BASE}/$(echo $NODENAME)_upgrade.log.$(date +%Y%m%d-%H%M%S).back find ${RABBITMQ_LOG_BASE}/http_api/*.log.* -maxdepth 0 -type f ! -name "*.gz" | xargs -i gzip --force {} find ${RABBITMQ_LOG_BASE}/*.log.* -maxdepth 0 -type f ! -name "*.gz" | xargs -i gzip --force {} find ${RABBITMQ_LOG_BASE}/*.gz -type f -mtime +30 -delete find ${RABBITMQ_LOG_BASE}/http_api/*.gz -type f -mtime +30 -delete 

1. 使用兔子实体进行操作-创建/删除兔子实体：ekschendzhey，队列，绑定，铲子，用户，策略。 为此，在所有群集群集上都完全相同。
2. 从备份群集切换到备份群集后，需要将保留在其上的消息传输到当前群集。
3. 创建所有电路的所有集群的配置的备份副本
4. 轮廓内群集配置的完全同步
5. 停止/开始兔子
6. 要分析当前的数据流，请执行以下操作：所有消息都走了，如果走了，那么走到哪里？
7. 通过任何条件查找和捕获传递的消息