نصائح وحيل Kubernetes: تسريع عملية التمهيد لقواعد البيانات الكبيرة

• يوجد تطبيق بقاعدة بيانات في MySQL لـ 1 تيرابايت و 10 مطورين يقومون بتطوير ميزاتهم الخاصة.
• يريد المطورون حلقات اختبار فردية وزوجان أكثر تحديدًا للاختبارات و / أو العروض التوضيحية.
• بالإضافة إلى ذلك ، هناك حاجة إلى استعادة التفريغ الليلي لقاعدة الإنتاج في دارة الاختبار الخاصة بها لفترة معقولة - لإعادة إنتاج المشكلة مع العميل أو الخطأ.
• أخيرًا ، من الممكن تفتيح حجم قاعدة البيانات بما لا يقل عن 150 جيجابايت - ليس كثيرًا ، ولكن لا يزال يوفر مساحة. على سبيل المثال ما زلنا بحاجة إلى إعداد تفريغ بطريقة أو بأخرى.

الخطوة 1: تحضير قاعدة بيانات جديدة من التفريغ

  nodeSelector: dedicated: non-prod-db tolerations: - key: "dedicated" operator: "Equal" value: "non-prod-db" effect: "NoExecute" 

الحاويات الأولية: get-bindump

  - name: get-bindump image: db-dumps imagePullPolicy: Always command: [ "/bin/sh", "-c", "/get_bindump.sh" ] resources: limits: memory: "5000Mi" cpu: "1" requests: memory: "5000Mi" cpu: "1" volumeMounts: - name: dump mountPath: /dump - name: mysqlbindir mountPath: /var/lib/mysql - name: id-rsa mountPath: /root/.ssh 

 #!/bin/bash date if [ -f /dump/version.txt ]; then echo "Dump file already exists." exit 0 fi rm -rf /var/lib/mysql/* borg extract --stdout user@your.server.net:somedb-mysql::${lastdump} stdin | xbstream -x -C /var/lib/mysql/ echo $lastdump > /dump/version.txt 

حاويات التهيئة الأولية: تحضير- bindump

  - name: prepare-bindump image: db-dumps imagePullPolicy: Always command: [ "/bin/sh", "-c", "/prepare_bindump.sh" ] resources: limits: memory: "5000Mi" cpu: "1" requests: memory: "5000Mi" cpu: "1" volumeMounts: - name: dump mountPath: /dump - name: mysqlbindir mountPath: /var/lib/mysql - name: debian-cnf mountPath: /etc/mysql/debian.cnf subPath: debian.cnf 

 #!/bin/bash date if [ -f /dump/healthz ]; then echo "Dump file already exists." exit 0 fi innobackupex --apply-log /var/lib/mysql/ chown -R mysql:mysql /var/lib/mysql chown -R mysql:mysql /var/log/mysql echo "`date`: Starting mysql" /usr/sbin/mysqld --character-set-server=utf8 --collation-server=utf8_general_ci --innodb-data-file-path=ibdata1:200M:autoextend --user=root --skip-grant-tables & sleep 200 echo "`date`: Creating mysql root user" echo "update mysql.user set Password=PASSWORD('password') WHERE user='root';" | mysql -uroot -h 127.0.0.1 echo "delete from mysql.user where USER like '';" | mysql -uroot -h 127.0.0.1 echo "delete from mysql.user where user = 'root' and host NOT IN ('127.0.0.1', 'localhost');" | mysql -uroot -h 127.0.0.1 echo "FLUSH PRIVILEGES;" | mysql -uroot -h 127.0.0.1 echo "truncate somedb.somedb_table_one;" | mysql -uroot -h 127.0.0.1 -ppassword somedb /usr/bin/mysqladmin shutdown -uroot -ppassword cd /var/lib/mysql/ tar -czf /dump/mysql_bindump.tar.gz ./* touch /dump/healthz rm -rf /var/lib/mysql/* 

تحت

  - name: nginx image: nginx:alpine resources: requests: memory: "1500Mi" cpu: "400m" lifecycle: preStop: exec: command: ["/usr/sbin/nginx", "-s", "quit"] livenessProbe: httpGet: path: /healthz port: 80 scheme: HTTP timeoutSeconds: 7 failureThreshold: 5 volumeMounts: - name: dump mountPath: /usr/share/nginx/html - name: nginx-config mountPath: /etc/nginx/nginx.conf subPath: nginx.conf readOnly: false volumes: - name: dump emptyDir: {} - name: mysqlbindir emptyDir: {} 

 --- apiVersion: apps/v1beta1 kind: Deployment metadata: name: db-dumps spec: strategy: rollingUpdate: maxUnavailable: 0 revisionHistoryLimit: 2 template: metadata: labels: app: db-dumps spec: imagePullSecrets: - name: regsecret nodeSelector: dedicated: non-prod-db tolerations: - key: "dedicated" operator: "Equal" value: "non-prod-db" effect: "NoExecute" initContainers: - name: get-bindump image: db-dumps imagePullPolicy: Always command: [ "/bin/sh", "-c", "/get_bindump.sh" ] resources: limits: memory: "5000Mi" cpu: "1" requests: memory: "5000Mi" cpu: "1" volumeMounts: - name: dump mountPath: /dump - name: mysqlbindir mountPath: /var/lib/mysql - name: id-rsa mountPath: /root/.ssh - name: prepare-bindump image: db-dumps imagePullPolicy: Always command: [ "/bin/sh", "-c", "/prepare_bindump.sh" ] resources: limits: memory: "5000Mi" cpu: "1" requests: memory: "5000Mi" cpu: "1" volumeMounts: - name: dump mountPath: /dump - name: mysqlbindir mountPath: /var/lib/mysql - name: log mountPath: /var/log/mysql - name: debian-cnf mountPath: /etc/mysql/debian.cnf subPath: debian.cnf containers: - name: nginx image: nginx:alpine resources: requests: memory: "1500Mi" cpu: "400m" lifecycle: preStop: exec: command: ["/usr/sbin/nginx", "-s", "quit"] livenessProbe: httpGet: path: /healthz port: 80 scheme: HTTP timeoutSeconds: 7 failureThreshold: 5 volumeMounts: - name: dump mountPath: /usr/share/nginx/html - name: nginx-config mountPath: /etc/nginx/nginx.conf subPath: nginx.conf readOnly: false volumes: - name: dump emptyDir: {} - name: mysqlbindir emptyDir: {} - name: log emptyDir: {} - name: id-rsa secret: defaultMode: 0600 secretName: somedb-id-rsa - name: nginx-config configMap: name: somedb-nginx-config - name: debian-cnf configMap: name: somedb-debian-cnf --- apiVersion: v1 kind: Service metadata: name: somedb-db-dump spec: clusterIP: None selector: app: db-dumps ports: - name: http port: 80 

1. في حالتنا ، نقوم بإعداد مكب جديد كل ليلة باستخدام الوظيفة المجدولة في GitLab. على سبيل المثال كل ليلة ، يتم نشر هذا النشر تلقائيًا ، مما يسحب تفريغًا جديدًا ويجهزه للتوزيع على جميع بيئات اختبار المطورين.
2. لماذا نقوم أيضًا بإلقاء المجلد /dump في حاويات التهيئة (وفي البرنامج النصي هناك تحقق من وجود /dump/version.txt )؟ يتم ذلك في حالة إعادة تشغيل الخادم الذي يعمل تحته. ستبدأ الحاويات من جديد وبدون هذا الفحص ، سيبدأ تنزيل التفريغ مرة أخرى. إذا قمنا بالفعل بإعداد ملف تفريغ مرة واحدة ، في البداية التالية (في حالة إعادة تشغيل الخادم) ، سيتم إبلاغ /dump/version.txt بهذا.
3. ما هي db-dumps ؟ نجمعها مع Dappfile ويبدو Dappfile الخاص به كما يلي:
   
   

    dimg: "db-dumps" from: "ubuntu:16.04" docker: ENV: TERM: xterm ansible: beforeInstall: - name: "Install percona repositories" apt: deb: https://repo.percona.com/apt/percona-release_0.1-4.xenial_all.deb - name: "Add repository for borgbackup" apt_repository: repo="ppa:costamagnagianfranco/borgbackup" codename="xenial" update_cache=yes - name: "Add repository for mysql 5.6" apt_repository: repo: deb http://archive.ubuntu.com/ubuntu trusty universe state: present update_cache: yes - name: "Install packages" apt: name: "{{`{{ item }}`}}" state: present with_items: - openssh-client - mysql-server-5.6 - mysql-client-5.6 - borgbackup - percona-xtrabackup-24 setup: - name: "Add get_bindump.sh" copy: content: | {{ .Files.Get ".dappfiles/get_bindump.sh" | indent 8 }} dest: /get_bindump.sh mode: 0755 - name: "Add prepare_bindump.sh" copy: content: | {{ .Files.Get ".dappfiles/prepare_bindump.sh" | indent 8 }} dest: /prepare_bindump.sh mode: 0755 

الخطوة 2: تشغيل قاعدة البيانات في بيئة مطور

 spec: strategy: rollingUpdate: maxUnavailable: 0 

 curl "$DUMP_URL" | tar -C /var/lib/mysql/ -xvz 

 apiVersion: apps/v1beta1 kind: Deployment metadata: name: mysql spec: strategy: rollingUpdate: maxUnavailable: 0 template: metadata: labels: service: mysql spec: imagePullSecrets: - name: regsecret nodeSelector: dedicated: non-prod-db tolerations: - key: "dedicated" operator: "Equal" value: "non-prod-db" effect: "NoExecute" initContainers: - name: getdump image: mysql-with-getdump command: ["/usr/local/bin/getdump.sh"] resources: limits: memory: "6000Mi" cpu: "1.5" requests: memory: "6000Mi" cpu: "1.5" volumeMounts: - mountPath: /var/lib/mysql name: datadir - mountPath: /etc/mysql/debian.cnf name: debian-cnf subPath: debian.cnf env: - name: DUMP_URL value: "http://somedb-db-dump.infra-db.svc.cluster.local/mysql_bindump.tar.gz" containers: - name: mysql image: mysql:5.6 resources: limits: memory: "1024Mi" cpu: "1" requests: memory: "1024Mi" cpu: "1" lifecycle: preStop: exec: command: ["/etc/init.d/mysql", "stop"] ports: - containerPort: 3306 name: mysql protocol: TCP volumeMounts: - mountPath: /var/lib/mysql name: datadir - mountPath: /etc/mysql/debian.cnf name: debian-cnf subPath: debian.cnf env: - name: MYSQL_ROOT_PASSWORD value: "password" volumes: - name: datadir emptyDir: {} - name: debian-cnf configMap: name: somedb-debian-cnf --- apiVersion: v1 kind: Service metadata: name: mysql spec: clusterIP: None selector: service: mysql ports: - name: mysql port: 3306 protocol: TCP --- apiVersion: v1 kind: ConfigMap metadata: name: somedb-debian-cnf data: debian.cnf: | [client] host = localhost user = debian-sys-maint password = password socket = /var/run/mysqld/mysqld.sock [mysql_upgrade] host = localhost user = debian-sys-maint password = password socket = /var/run/mysqld/mysqld.sock 

الملخص

• يحصل على تفريغ قاعدة بيانات جديدة
• بطريقة ما تقوم بإعدادها للتشغيل الصحيح في بيئة اختبار (على سبيل المثال ، trankeytit بعض الجداول ، واستبدال بيانات المستخدم الحقيقية ، وجعل المستخدمين الضروريين ، وما إلى ذلك) ؛
• يوفر لكل مطور فرصة طرح قاعدة بيانات معدة على مساحة الاسم الخاصة بهم في النشر عن طريق الضغط على زر في CI - بفضل الخدمة المتوفرة فيه ، ستكون قاعدة البيانات متاحة على mysql (على سبيل المثال ، قد يكون اسم الخدمة في مساحة الاسم).

PPS

• " صفحات الأخطاء الشخصية في NGINX Ingress " ؛
• " نقل الموارد العاملة في مجموعة لإدارة Helm 2 " ؛
• " حول تخصيص العقد والحمل على تطبيق الويب " ؛
• " الوصول إلى مواقع ديف ."

• " بناء وتثبيت التطبيقات في Kubernetes باستخدام dapp و GitLab CI " ؛
• " الممارسة مع dapp. الجزء الأول: بناء تطبيقات بسيطة "؛
• " الممارسة مع dapp. الجزء 2. نشر صور Docker في Kubernetes باستخدام Helm "؛
• " CockroachDB DBMS Orchestration في Kubernetes " ؛
• " تجربتنا مع Kubernetes في المشاريع الصغيرة " (تقرير فيديو يتضمن مقدمة للجهاز الفني لـ Kubernetes) ؛
• " مرافق مفيدة عند العمل مع Kubernetes ."