DRBD9 рдФрд░ Proxmox рдХреЗ рд╕рд╛рде рд╡рд┐рд╢реНрд╡рд╕рдиреАрдп рднрдВрдбрд╛рд░рдг (рднрд╛рдЧ 1: NFS)

рдЫрд╡рд┐


рд╕рдВрднрд╡рддрдГ рд╣рд░ рдХреЛрдИ рдЬреЛ рдХрдо-рд╕реЗ-рдХрдо рдПрдХ рдмрд╛рд░ рдЙрдЪреНрдЪ-рдкреНрд░рджрд░реНрд╢рди рд╕реЙрдлреНрдЯрд╡реЗрдпрд░-рдбрд┐рдлрд╛рдЗрдВрдб рд╕реНрдЯреЛрд░реЗрдЬ рдХреА рдЦреЛрдЬ рд╕реЗ рд╣реИрд░рд╛рди рдерд╛ рдпрд╛ рдмрд╛рдж рдореЗрдВ DRBD рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╕реБрдирд╛, рдпрд╛ рд╢рд╛рдпрдж рдЗрд╕рд╕реЗ рдирд┐рдкрдЯрд╛ред


рд╕рдЪ рд╣реИ, рд╕рд┐рдл рдФрд░ рдЧреНрд▓рд╕реНрдЯрд░рдПрдлрдПрд╕ рдХреА рд▓реЛрдХрдкреНрд░рд┐рдпрддрд╛ рдХреЗ рдЪрд░рдо рдкрд░, рдЬреЛ рд╕рд┐рджреНрдзрд╛рдВрдд рд░реВрдк рдореЗрдВ рдмрд╣реБрдд рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдХрд╛рдо рдХрд░рддреЗ рд╣реИрдВ, рдФрд░ рд╕рдмрд╕реЗ рдорд╣рддреНрд╡рдкреВрд░реНрдг рдмрд╛рдд рдпрд╣ рд╣реИ рдХрд┐ рдмреЙрдХреНрд╕ рдХреЗ рдмрд╛рд╣рд░, рд╣рд░ рдХреЛрдИ рдмрд╕ рдЗрд╕рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдереЛрдбрд╝рд╛ рднреВрд▓ рдЧрдпрд╛ред рдЗрд╕рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдкрд┐рдЫрд▓реЗ рд╕рдВрд╕реНрдХрд░рдг рдиреЗ рджреЛ рд╕реЗ рдЕрдзрд┐рдХ рдиреЛрдбреНрд╕ рдХреЗ рд▓рд┐рдП рдкреНрд░рддрд┐рдХреГрддрд┐ рдХрд╛ рд╕рдорд░реНрдерди рдирд╣реАрдВ рдХрд┐рдпрд╛ рдерд╛, рдФрд░ рдЗрд╕ рд╡рдЬрд╣ рд╕реЗ, рд╡рд┐рднрд╛рдЬрди-рдорд╕реНрддрд┐рд╖реНрдХ рдХреЗ рд╕рд╛рде рд╕рдорд╕реНрдпрд╛рдУрдВ рдХрд╛ рдЕрдХреНрд╕рд░ рд╕рд╛рдордирд╛ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛, рдЬреЛ рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рдЗрд╕рдХреА рд▓реЛрдХрдкреНрд░рд┐рдпрддрд╛ рдореЗрдВ рдирд╣реАрдВ рдЬреЛрдбрд╝рд╛ рдЧрдпрд╛ рдерд╛ред


рд╕рдорд╛рдзрд╛рди рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдирдпрд╛ рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рдХрд╛рдлреА рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзреА рд╣реИред CPU рдФрд░ RAM рдХреЗ рд▓рд┐рдП рдЕрдкреЗрдХреНрд╖рд╛рдХреГрдд рдХрдо рд▓рд╛рдЧрдд рдХреЗ рд╕рд╛рде, DRBD рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рд╕реНрддрд░ рдкрд░ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рддреЗрдЬ рдФрд░ рд╕реБрд░рдХреНрд╖рд┐рдд рд╕рд┐рдВрдХреНрд░рдирд╛рдЗрдЬрд╝реЗрд╢рди рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред рдЗрд╕ рд╕рдордп рдХреЗ рджреМрд░рд╛рди, LINBIT - DRBD рдбреЗрд╡рд▓рдкрд░реНрд╕ рд╕реНрдерд┐рд░ рдирд╣реАрдВ рд╣реИрдВ рдФрд░ рдЗрд╕реЗ рд▓рдЧрд╛рддрд╛рд░ рдкрд░рд┐рд╖реНрдХреГрдд рдХрд░рддреЗ рд╣реИрдВред DRBD9 рд╕рдВрд╕реНрдХрд░рдг рдХреЗ рд╕рд╛рде рд╢реБрд░реВ, рдпрд╣ рд╕рд┐рд░реНрдл рдПрдХ рдиреЗрдЯрд╡рд░реНрдХ рджрд░реНрдкрдг рд╣реЛрдиреЗ рдХреЗ рд▓рд┐рдП рдмрдВрдж рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ рдФрд░ рдХреБрдЫ рдФрд░ рдмрди рдЬрд╛рддрд╛ рд╣реИред


рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ, рдХрдИ рд╕рд░реНрд╡рд░реЛрдВ рдХреЗ рд▓рд┐рдП рдПрдХрд▓ рд╡рд┐рддрд░рд┐рдд рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рдмрдирд╛рдиреЗ рдХрд╛ рд╡рд┐рдЪрд╛рд░ рдкреГрд╖реНрдарднреВрдорд┐ рдореЗрдВ рдлрд┐рд░ рд╕реЗ рд╢реБрд░реВ рд╣реЛ рдЧрдпрд╛ рд╣реИ, рдФрд░ рдЕрдм LINBIT LVM рдФрд░ ZFS рд╡рд┐рднрд╛рдЬрди рдХреЗ рд╢реАрд░реНрд╖ рдкрд░ рдмрдирд╛рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдХрдИ рдбреНрд░рдм рдЙрдкрдХрд░рдгреЛрдВ рдХреЛ рдСрд░реНрдХреЗрд╕реНрдЯреНрд░реЗрдЯ рдФрд░ рдкреНрд░рдмрдВрдзрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдХрд░рдг рдкреНрд░рджрд╛рди рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░ рд░рд╣рд╛ рд╣реИред


рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, DRBD9 32 рд░реЗрдкреНрд▓рд┐рдХрд╛, RDMA, рдбрд┐рд╕реНрдХрд▓реЗрд╕ рдиреЛрдбреНрд╕ рдФрд░ рдирдП рдСрд░реНрдХреЗрд╕реНрдЯреНрд░реЗрд╢рди рдЯреВрд▓ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИ рдЬреЛ рдЖрдкрдХреЛ рд╕реНрдиреИрдкрд╢реЙрдЯ, рдСрдирд▓рд╛рдЗрди рдорд╛рдЗрдЧреНрд░реЗрд╢рди рдФрд░ рдмрд╣реБрдд рдХреБрдЫ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИред


рдЗрд╕ рддрдереНрдп рдХреЗ рдмрд╛рд╡рдЬреВрдж рдХрд┐ DRBD9 рдореЗрдВ Proxmox , Kubernetes , OpenStack рдФрд░ OpenNebula рдХреЗ рд╕рд╛рде рдПрдХреАрдХрд░рдг рдЙрдкрдХрд░рдг рд╣реИрдВ, рдлрд┐рд▓рд╣рд╛рд▓ рд╡реЗ рдХреБрдЫ рд╕рдВрдХреНрд░рдордгрдХрд╛рд▓реАрди рдореЛрдб рдореЗрдВ рд╣реИрдВ, рдЬрдм рдирдП рдЙрдкрдХрд░рдг рдЕрднреА рддрдХ рд╣рд░ рдЬрдЧрд╣ рд╕рдорд░реНрдерд┐рдд рдирд╣реАрдВ рд╣реИрдВ, рдФрд░ рдмрд╣реБрдд рдЬрд▓реНрдж рдкреБрд░рд╛рдиреЗ рдШреЛрд╖рд┐рдд рдХрд┐рдП рдЬрд╛рдПрдВрдЧреЗред рдпреЗ DRBDmanage рдФрд░ Linstor рд╣реИрдВ ред


рдореИрдВ рдЗрд╕ рдХреНрд╖рдг рдХрд╛ рд▓рд╛рдн рдЙрдард╛рдКрдВрдЧрд╛ рдХрд┐ рдЙрдирдореЗрдВ рд╕реЗ рдкреНрд░рддреНрдпреЗрдХ рдХреЗ рд╡рд┐рд╡рд░рдг рдореЗрдВ рди рдЬрд╛рдКрдВ, рд▓реЗрдХрд┐рди DRBD9 рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХреЗ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдФрд░ рд╕рд┐рджреНрдзрд╛рдВрддреЛрдВ рдХреЛ рдФрд░ рдЕрдзрд┐рдХ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рдЬрд╛рдВрдЪрдиреЗ рдХреЗ рд▓рд┐рдПред рдЖрдкрдХреЛ рдЕрднреА рднреА рдпрд╣ рдкрддрд╛ рд▓рдЧрд╛рдирд╛ рд╣реИ, рдпрджрд┐ рдХреЗрд╡рд▓ рдЗрд╕рд▓рд┐рдП рдХрд┐ рд▓рд┐рдиреНрд╕реНрдЯрд░ рдирд┐рдпрдВрддреНрд░рдХ рдХрд╛ рджреЛрд╖-рд╕рд╣рд┐рд╖реНрдгреБ рд╡рд┐рдиреНрдпрд╛рд╕ рдЗрди рдЙрдкрдХрд░рдгреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдкрд░ рдЗрд╕реЗ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХрд╛ рдЕрд░реНрде рд╣реИред


рдЗрд╕ рд▓реЗрдЦ рдореЗрдВ, рдореИрдВ рдЖрдкрдХреЛ DRBD9 рдФрд░ рддреАрд╕рд░реЗ рдкрдХреНрд╖ рдХреЗ рдкреНрд▓рдЧ-рдЗрди рдХреЗ рдмрд┐рдирд╛ Proxmox рдореЗрдВ рдЗрд╕рдХреЗ рдЙрдкрдпреЛрдЧ рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдмрддрд╛рдирд╛ рдЪрд╛рд╣реВрдВрдЧрд╛ ред


DRBDmanage рдФрд░ Linstor


рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ, рдпрд╣ DRBDmanage рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдПрдХ рдмрд╛рд░ рдлрд┐рд░ рдзреНрдпрд╛рди рджреЗрдиреЗ рдпреЛрдЧреНрдп рд╣реИ , рдЬреЛ рдХрд┐ рдкреНрд░реЙрдХреНрд╕рдореЙрдХреНрд╕ рдореЗрдВ рдмрд╣реБрдд рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдПрдХреАрдХреГрдд рд╣реИред LINBIT Proxmox рдХреЗ рд▓рд┐рдП рдПрдХ рд░реЗрдбреАрдореЗрдб DRBDmanage рдкреНрд▓рдЧрдЗрди рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ рдЬреЛ рдЖрдкрдХреЛ рдЕрдкрдиреЗ рд╕рднреА рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рд╕реАрдзреЗ Proxmox рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рд╕реЗ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИред


рдпрд╣ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдЖрд╢реНрдЪрд░реНрдпрдЬрдирдХ рд▓рдЧ рд░рд╣рд╛ рд╣реИ, рд▓реЗрдХрд┐рди рджреБрд░реНрднрд╛рдЧреНрдп рд╕реЗ рдЗрд╕рдХреЗ рдХреБрдЫ рдиреБрдХрд╕рд╛рди рд╣реИрдВред


  • рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ, рдЯреИрдЧ рдХрд┐рдП рдЧрдП рд╡реЙрд▓реНрдпреВрдо рдирд╛рдо, LVM рд╕рдореВрд╣ рдпрд╛ ZFS рдкреВрд▓ рдХреЛ drbdpool рдирд╛рдо рджрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред
  • рдкреНрд░рддрд┐ рдиреЛрдб рдПрдХ рд╕реЗ рдЕрдзрд┐рдХ рдкреВрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрдерддрд╛
  • рд╕рдорд╛рдзрд╛рди рдХреА рдмрд╛рд░реАрдХрд┐рдпреЛрдВ рдХреЗ рдХрд╛рд░рдг, рдирд┐рдпрдВрддреНрд░рдХ рд╡реЙрд▓реНрдпреВрдо рдХреЗрд╡рд▓ рдПрдХ рдирд┐рдпрдорд┐рдд рдПрд▓рд╡реАрдПрдо рдкрд░ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ рдФрд░ рдЕрдиреНрдпрдерд╛ рдирд╣реАрдВ
  • рдкреАрд░рд┐рдпреЛрдбрд┐рдХ рдбрдмрд╕ рдЧреНрд▓рд┐рдЪ, рдЬрд┐рд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдбреАрдЖрд░рдмреАрдбреИрдиреЗрдЬ рджреНрд╡рд╛рд░рд╛ рдиреЛрдбреНрд╕ рдХреЗ рд╕рд╛рде рдмрд╛рддрдЪреАрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдмрд╛рд░реАрдХреА рд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред

рдирддреАрдЬрддрди, LINBIT рдиреЗ рдПрдХ рдЬрдЯрд┐рд▓ рдПрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЗ рд╕рд╛рде рд╕рднреА DRBDmanage рд▓реЙрдЬрд┐рдХ рдХреЛ рдмрджрд▓рдиреЗ рдХрд╛ рдлреИрд╕рд▓рд╛ рдХрд┐рдпрд╛, рдЬреЛ рдПрдХ рдирд┐рдпрдорд┐рдд tcp рдХрдиреЗрдХреНрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдиреЛрдбреНрд╕ рдХреЗ рд╕рд╛рде рд╕рдВрдЪрд╛рд░ рдХрд░рддрд╛ рд╣реИ рдФрд░ рдмрд┐рдирд╛ рдХрд┐рд╕реА рдЬрд╛рджреВ рдХреЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред рддреЛ рд▓рд┐рдиреНрд╕реНрдЯрд░ рдерд╛ред


Linstor рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдмрд╣реБрдд рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред рджреБрд░реНрднрд╛рдЧреНрдп рд╕реЗ, рдбреЗрд╡рд▓рдкрд░реНрд╕ рдиреЗ рд▓рд┐рдирд╕реНрдЯреЛрд░-рд╕рд░реНрд╡рд░ рдХреЛ рд▓рд┐рдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдЬрд╛рд╡рд╛ рдХреЛ рдореБрдЦреНрдп рднрд╛рд╖рд╛ рдХреЗ рд░реВрдк рдореЗрдВ рдЪреБрдирд╛, рд▓реЗрдХрд┐рди рдЖрдкрдХреЛ рдпрд╣ рдбрд░рд╛рдиреЗ рдХреА рдЬрд╝рд░реВрд░рдд рдирд╣реАрдВ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рд▓рд┐рдирд╕реНрдЯреЛрд░ рд╕реНрд╡рдпрдВ рдХреЗрд╡рд▓ рдбреАрдЖрд░рдмреАрдбреА рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЛ рд╡рд┐рддрд░рд┐рдд рдХрд░рдиреЗ рдФрд░ рдиреЛрдбреНрд╕ рдкрд░ LVM / ZFS рд╡рд┐рднрд╛рдЬрди рдХреЛ рд╕реНрд▓рд╛рдЗрд╕ рдХрд░рдиреЗ рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╣реИред


рджреЛрдиреЛрдВ рд╕рдорд╛рдзрд╛рди рдореБрдлреНрдд рд╣реИрдВ рдФрд░ рдореБрдлреНрдд GPL3 рд▓рд╛рдЗрд╕реЗрдВрд╕ рдХреЗ рддрд╣рдд рд╡рд┐рддрд░рд┐рдд рдХрд┐рдП рдЬрд╛рддреЗ рд╣реИрдВ ред

рдЖрдк рдЙрдирдореЗрдВ рд╕реЗ рдкреНрд░рддреНрдпреЗрдХ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдФрд░ рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рдкреНрд░реЙрдХреНрд╕реАреЙрдХреНрд╕ рд╡рд┐рдХреА рдкрд░ рдкреНрд░реЙрдХреНрд╕реА рдХреЗ рд▓рд┐рдП рдкреВрд░реНрд╡реЛрдХреНрдд рдкреНрд▓рдЧ-рдЗрди рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдкрдврд╝ рд╕рдХрддреЗ рд╣реИрдВ


рд╡рд┐рдлрд▓рддрд╛ NFS рд╕рд░реНрд╡рд░


рджреБрд░реНрднрд╛рдЧреНрдп рд╕реЗ, рд▓реЗрдЦрди рдХреЗ рд╕рдордп, рд▓рд┐рдирд╕реНрдЯреЛрд░ рдХрд╛ рдХреЗрд╡рд▓ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде рдПрдХреАрдХрд░рдг рд╣реИред рд▓реЗрдХрд┐рди рд╕рд╛рд▓ рдХреЗ рдЕрдВрдд рдореЗрдВ, рдбреНрд░рд╛рдЗрд╡рд░реЛрдВ рдХреЛ рдмрд╛рдХреА рдкреНрд░реЙрдХреНрд╕рдореЛрдХреНрд╕ , рдУрдкрдирдиреЗрдмреНрдпреБрд▓рд╛ , рдУрдкрдирд╕реНрдЯреИрдХ рд╕рд┐рд╕реНрдЯрдо рдХреА рдЙрдореНрдореАрдж рд╣реИред


рд▓реЗрдХрд┐рди рдЕрднреА рддрдХ рдХреЛрдИ рддреИрдпрд╛рд░ рд╕рдорд╛рдзрд╛рди рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рд╣рдо рдкреБрд░рд╛рдиреЗ рддрд░реАрдХреЗ рдпрд╛ рдХрд┐рд╕реА рдЕрдиреНрдп рддрд░рд╣ рд╕реЗ рдирд╣реАрдВ рдХрд░рддреЗ рд╣реИрдВред рдЖрдЗрдП рд╕рд╛рдЭрд╛ рд╡рд┐рднрд╛рдЬрди рдХреЗ рд▓рд┐рдП рдПрдирдПрдлрдПрд╕ рдкрд╣реБрдВрдЪ рдХреЛ рд╡реНрдпрд╡рд╕реНрдерд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкреБрд░рд╛рдиреЗ рдврдВрдЧ рд╕реЗ DRBD9 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВред


рдлрд┐рд░ рднреА, рдпрд╣ рд╕рдорд╛рдзрд╛рди рднреА рдлрд╛рдпрджреЗ рдХреЗ рдмрд┐рдирд╛ рд╕рд╛рдмрд┐рдд рдирд╣реАрдВ рд╣реЛрдЧрд╛, рдХреНрдпреЛрдВрдХрд┐ рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдЖрдкрдХреЛ рдбреАрдПрд▓рдПрдо рдХреЗ рд╕рд╛рде рдЬрдЯрд┐рд▓ рдХреНрд▓рд╕реНрдЯрд░ рдлрд╝рд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдХреЗ рдмрд┐рдирд╛ рдХрдИ рд╕рд░реНрд╡рд░реЛрдВ рд╕реЗ рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдХреА рдлрд╝рд╛рдЗрд▓ рдкреНрд░рдгрд╛рд▓реА рдХреЗ рд▓рд┐рдП рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзреА рдПрдХреНрд╕реЗрд╕ рдХреЛ рд╡реНрдпрд╡рд╕реНрдерд┐рдд рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрдЧрд╛, рдЬреИрд╕реЗ рдХрд┐ рдУрд╕реАрдПрдлрдПрд╕ рдФрд░ рдЬреАрдИ 2ред


рдЗрд╕ рд╕реНрдерд┐рддрд┐ рдореЗрдВ, рдЖрдк рдХреЗрд╡рд▓ Proxmox рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдореЗрдВ NFS рд╕рд░реНрд╡рд░ рдХреЗ рд╕рд╛рде рдХрдВрдЯреЗрдирд░ рдХреЛ рдорд╛рдЗрдЧреНрд░реЗрдЯ рдХрд░рдХреЗ рдкреНрд░рд╛рдердорд┐рдХ / рджреНрд╡рд┐рддреАрдпрдХ рдиреЛрдб рдХреА рднреВрдорд┐рдХрд╛рдУрдВ рдХреЛ рд╕реНрд╡рд┐рдЪ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛрдВрдЧреЗред


рдЖрдк рдЗрд╕ рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо рдХреЗ рдЕрдВрджрд░ рдХрд┐рд╕реА рднреА рдлрд╛рдЗрд▓ рдХреЛ рд╕реНрдЯреЛрд░ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рд╕рд╛рде рд╣реА рд╡рд░реНрдЪреБрдЕрд▓ рдбрд┐рд╕реНрдХ рдФрд░ рдмреИрдХрдЕрдк рднреА рд░рдЦ рд╕рдХрддреЗ рд╣реИрдВред


рдпрджрд┐ рдЖрдк Kubernetes рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ рддреЛ рдЖрдк рдЕрдкрдиреЗ PersVVVumes рдХреЗ рд▓рд┐рдП ReadWriteMany рдПрдХреНрд╕реЗрд╕ рдХреА рд╡реНрдпрд╡рд╕реНрдерд╛ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛрдВрдЧреЗред


рдкреНрд░реЙрдХреНрд╕реЙрдХреНрд╕ рдФрд░ рдПрд▓рдПрдХреНрд╕рд╕реА рдХрдВрдЯреЗрдирд░


рдЕрдм рд╕рд╡рд╛рд▓ рдпрд╣ рд╣реИ: рдХреНрдпреЛрдВ рдкреНрд░реЙрдХреНрд╕рдореЙрдХреНрд╕?


рд╕рд┐рджреНрдзрд╛рдВрдд рд░реВрдк рдореЗрдВ, рдРрд╕реА рдпреЛрдЬрдирд╛ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХреЗ рд╕рд╛рде-рд╕рд╛рде рдПрдХ рдХреНрд▓рд╕реНрдЯрд░ рдкреНрд░рдмрдВрдзрдХ рдХреЗ рд╕рд╛рде рд╕рд╛рдорд╛рдиреНрдп рдпреЛрдЬрдирд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рд▓реЗрдХрд┐рди Proxmox рдПрдХ рддреИрдпрд╛рд░-рдирд┐рд░реНрдорд┐рдд, рдмрд╣реБрдд рдмрд╣реБрдЖрдпрд╛рдореА рдФрд░ рдПрдХ рд╣реА рд╕рдордп рдореЗрдВ рдЖрдкрдХреЛ рдЖрд╡рд╢реНрдпрдХ рд╕рднреА рдЪреАрдЬрд╝реЛрдВ рдХреЗ рд▓рд┐рдП рд╕рд░рд▓ рдФрд░ рд╕рд╣рдЬ рдЬреНрдЮрд╛рди рдпреБрдХреНрдд рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред рдпрд╣ рдХреНрд▓рд╕реНрдЯрд░рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рд╕рдХреНрд╖рдо рдмреЙрдХреНрд╕ рд╕реЗ рдмрд╛рд╣рд░ рд╣реИ рдФрд░ рд╕реЙрдлрдЯреЙрдЧ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдмрд╛рдбрд╝ рддрдВрддреНрд░ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред рдФрд░ рдЬрдм рдПрд▓рдПрдХреНрд╕рд╕реА рдХрдВрдЯреЗрдирд░реЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ , рддреЛ рдпрд╣ рдЖрдкрдХреЛ рд╕реНрд╡рд┐рдЪрд┐рдВрдЧ рдХреЗ рджреМрд░рд╛рди рдиреНрдпреВрдирддрдо рдЯрд╛рдЗрдордЖрдЙрдЯ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИред
рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк рд╕рдорд╛рдзрд╛рди рдореЗрдВ рд╡рд┐рдлрд▓рддрд╛ рдХрд╛ рдПрдХ рднреА рдмрд┐рдВрджреБ рдирд╣реАрдВ рд╣реЛрдЧрд╛ред


рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ, рд╣рдо рдкреНрд░реЙрдХреНрд╕рдореЛрдХреНрд╕ рдХреЛ рдореБрдЦреНрдп рд░реВрдк рд╕реЗ рдХреНрд▓рд╕реНрдЯрд░-рдореИрдиреЗрдЬрд░ рдХреЗ рд░реВрдк рдореЗрдВ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВрдЧреЗ, рдЬрд╣рд╛рдВ рд╣рдо рдПрдХ рдЕрд▓рдЧ рдПрд▓рдПрдХреНрд╕рд╕реА рдХрдВрдЯреЗрдирд░ рдХреЛ рдХреНрд▓рд╛рд╕рд┐рдХ рд╣рд╛ рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдЪрд▓рдиреЗ рд╡рд╛рд▓реА рд╕реЗрд╡рд╛ рдХреЗ рд░реВрдк рдореЗрдВ рдорд╛рди рд╕рдХрддреЗ рд╣реИрдВ, рдХреЗрд╡рд▓ рдЗрд╕ рдЕрдВрддрд░ рдХреЗ рд╕рд╛рде рдХрд┐ рдХрдВрдЯреЗрдирд░ рднреА рдЕрдкрдиреЗ рд░реВрдЯ рд╕рд┐рд╕реНрдЯрдо рдХреЗ рд╕рд╛рде рдЖрддрд╛ рд╣реИ ред рдпрд╣реА рд╣реИ, рдЖрдкрдХреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдкреНрд░рддреНрдпреЗрдХ рд╕рд░реНрд╡рд░ рдкрд░ рдХрдИ рд╕реЗрд╡рд╛ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдирд╣реАрдВ рд╣реИ, рдЖрдк рдХреЗрд╡рд▓ рдХрдВрдЯреЗрдирд░ рдХреЗ рдЕрдВрджрд░ рдПрдХ рдмрд╛рд░ рдРрд╕рд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
рдпрджрд┐ рдЖрдкрдиреЗ рдХрднреА рдХреНрд▓рд╕реНрдЯрд░-рдореИрдиреЗрдЬрд░ рд╕реЙрдлрд╝реНрдЯрд╡реЗрдпрд░ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд┐рдпрд╛ рд╣реИ рдФрд░ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП HA рдкреНрд░рджрд╛рди рдХрд┐рдпрд╛ рд╣реИ, рддреЛ рдЖрдк рд╕рдордЭреЗрдВрдЧреЗ рдХрд┐ рдореЗрд░рд╛ рдХреНрдпрд╛ рдорддрд▓рдм рд╣реИред


рд╕рд╛рдорд╛рдиреНрдп рдпреЛрдЬрдирд╛


рд╣рдорд╛рд░рд╛ рд╕рдорд╛рдзрд╛рди рдПрдХ рдбреЗрдЯрд╛рдмреЗрд╕ рдХреА рдорд╛рдирдХ рдкреНрд░рддрд┐рдХреГрддрд┐ рдпреЛрдЬрдирд╛ рдЬреИрд╕рд╛ рд╣реЛрдЧрд╛ред


  • рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рддреАрди рдиреЛрдб рд╣реИрдВ
  • рдкреНрд░рддреНрдпреЗрдХ рдиреЛрдб рдореЗрдВ рдПрдХ рд╡рд┐рддрд░рд┐рдд рдбреНрд░рдм рдбрд┐рд╡рд╛рдЗрд╕ рд╣реИ ред
  • рдбрд┐рд╡рд╛рдЗрд╕ рдореЗрдВ рдПрдХ рдирд┐рдпрдорд┐рдд рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо рд╣реИ ( ext4 )
  • рдХреЗрд╡рд▓ рдПрдХ рд╕рд░реНрд╡рд░ рдорд╛рд╕реНрдЯрд░ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ
  • рдПрд▓рдПрдХреНрд╕рд╕реА рдХрдВрдЯреЗрдирд░ рдореЗрдВ рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдХреЛ рд╡рд┐рдЬрд╝рд╛рд░реНрдб рдкрд░ рд▓реЙрдиреНрдЪ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
  • рд╕рднреА рдиреЛрдбреНрд╕ рдПрдирдПрдлрдПрд╕ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ рд╕рдЦреНрддреА рд╕реЗ рдПрдХреНрд╕реЗрд╕ рдХрд░рддреЗ рд╣реИрдВ ред
  • рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ, рддреЛ рд╡рд┐рдЬрд╝рд╛рд░реНрдб NFS рд╕рд░реНрд╡рд░ рдХреЗ рд╕рд╛рде рдЕрдиреНрдп рдиреЛрдб рдореЗрдВ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ

DRBD9 рдореЗрдВ рдПрдХ рдмрд╣реБрдд рд╣реА рдЕрдЪреНрдЫреА рд╕реБрд╡рд┐рдзрд╛ рд╣реИ рдЬреЛ рд╣рд░ рдЪреАрдЬ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рддреА рд╣реИ:
рдбреНрд░рдм-рдбрд┐рд╡рд╛рдЗрд╕ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рдЙрд╕ рд╕рдордп рдкреНрд░рд╛рдердорд┐рдХ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ рдЬрдм рдпрд╣ рдХреБрдЫ рдиреЛрдб рдкрд░ рдЖрд░реЛрд╣рд┐рдд рд╣реЛрддрд╛ рд╣реИред рдпрджрд┐ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ рдкреНрд░рд╛рдердорд┐рдХ рдХреЗ рд░реВрдк рдореЗрдВ рдЪрд┐рд╣реНрдирд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ, рддреЛ рдХрд┐рд╕реА рдЕрдиреНрдп рдиреЛрдб рдкрд░ рдЗрд╕реЗ рдорд╛рдЙрдВрдЯ рдХрд░рдиреЗ рдХреЗ рдХрд┐рд╕реА рднреА рдкреНрд░рдпрд╛рд╕ рдХрд╛ рдЙрдкрдпреЛрдЧ рддреНрд░реБрдЯрд┐ рдореЗрдВ рд╣реЛрдЧрд╛ред рдпрд╣ рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рдПрдХ рд╕рд╛рде рдкрд╣реБрдВрдЪ рдХреЗ рдЦрд┐рд▓рд╛рдл рдЕрд╡рд░реБрджреНрдз рдФрд░ рдЧрд╛рд░рдВрдЯреАрдХреГрдд рд╕реБрд░рдХреНрд╖рд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИред


рдпрд╣ рд╕рдм рдмрд╣реБрдд рд╕рд░рд▓ рдХреНрдпреЛрдВ рд╣реИ? рдХреНрдпреЛрдВрдХрд┐ рдЬрдм рдХрдВрдЯреЗрдирд░ рд╢реБрд░реВ рд╣реЛрддрд╛ рд╣реИ, рддреЛ Proxmox рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рдЗрд╕ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ рдорд╛рдЙрдВрдЯ рдХрд░рддрд╛ рд╣реИ рдФрд░ рдпрд╣ рдЗрд╕ рдиреЛрдб рдкрд░ рдкреНрд░рд╛рдердорд┐рдХ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ, рдФрд░ рдЬрдм рдХрдВрдЯреЗрдирд░ рдмрдВрдж рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ, рддреЛ рдпрд╣ рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд unmounts рдФрд░ рдбрд┐рд╡рд╛рдЗрд╕ рдлрд┐рд░ рд╕реЗ рджреНрд╡рд┐рддреАрдпрдХ рдмрди рдЬрд╛рддрд╛ рд╣реИред
рдЗрд╕ рдкреНрд░рдХрд╛рд░, рд╣рдореЗрдВ рдЕрдм рдкреНрд░рд╛рдердорд┐рдХ / рдорд╛рдзреНрдпрдорд┐рдХ рдЙрдкрдХрд░рдгреЛрдВ рдХреЛ рд╕реНрд╡рд┐рдЪ рдХрд░рдиреЗ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЪрд┐рдВрддрд╛ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдирд╣реАрдВ рд╣реИ, Proxmox рдЗрд╕реЗ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ , рд╣реБрд░реНрд░реЗ рдХрд░реЗрдЧрд╛ !


DRBD рд╕реЗрдЯрдЕрдк


рдареАрдХ рд╣реИ, рд╣рдордиреЗ рдЗрд╕ рд╡рд┐рдЪрд╛рд░ рдХрд╛ рдкрддрд╛ рд▓рдЧрд╛ рд▓рд┐рдпрд╛ рд╣реИред рдЕрдм рдЪрд▓рд┐рдП рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреЗ рд▓рд┐рдП рдЖрдЧреЗ рдмрдврд╝рддреЗ рд╣реИрдВред


рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ, рд▓рд┐рдирдХреНрд╕ рдХрд░реНрдиреЗрд▓ рдореЙрдбреНрдпреВрд▓ рдХреЗ рд╕рд╛рде рдмрдВрдбрд▓ рдЖрдард╡реЗрдВ рд╕рдВрд╕реНрдХрд░рдг рдХреЗрдбрдВрдк рдЖрддрд╛ рд╣реИ, рджреБрд░реНрднрд╛рдЧреНрдп рд╕реЗ рдпрд╣ рд╣рдореЗрдВ рд╕реВрдЯ рдирд╣реАрдВ рд╣реИ рдФрд░ рд╣рдо рдореЙрдбреНрдпреВрд▓ рдХреЗ рдиреМрд╡реЗрдВ рд╕рдВрд╕реНрдХрд░рдг рд╕реЗрдЯ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред


LINBIT рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ рдФрд░ рдЕрдкрдиреА рдЬрд╝рд░реВрд░рдд рдХреА рд╣рд░ рдЪреАрдЬрд╝ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВ:


 wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add - echo "deb http://packages.linbit.com/proxmox/ proxmox-5 drbd-9.0" \ > /etc/apt/sources.list.d/linbit.list apt-get update && apt-get -y install pve-headers drbd-dkms drbd-utils drbdtop 

  • pve-headers - рдореЙрдбреНрдпреВрд▓ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд░реНрдиреЗрд▓ рд╣реЗрдбрд░ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ
  • drbd-dkms - drbd-dkms рдкреНрд░рд╛рд░реВрдк рдореЗрдВ рдХрд░реНрдиреЗрд▓ рдореЙрдбреНрдпреВрд▓
  • drbd-utils - рдореВрд▓ DRBD рдкреНрд░рдмрдВрдзрди рдЙрдкрдпреЛрдЧрд┐рддрд╛рдУрдВ
  • drbdtop рдХреЗрд╡рд▓ drbdtop рд▓рд┐рдП рд╢реАрд░реНрд╖ рдЬреИрд╕рд╛ рдПрдХ рдЗрдВрдЯрд░реИрдХреНрдЯрд┐рд╡ рдЙрдкрдХрд░рдг рд╣реИ

рдореЙрдбреНрдпреВрд▓ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж , рд╣рдо рдЬрд╛рдВрдЪ рдХрд░реЗрдВрдЧреЗ рдХрд┐ рдХреНрдпрд╛ рд╕рдм рдХреБрдЫ рдЗрд╕рдХреЗ рдХреНрд░рдо рдореЗрдВ рд╣реИ:


 # modprobe drbd # cat /proc/drbd version: 9.0.14-1 (api:2/proto:86-113) 

рдпрджрд┐ рдЖрдк рдХрдорд╛рдВрдб рдХреЗ рдЖрдЙрдЯрдкреБрдЯ рдореЗрдВ рдЖрдард╡рд╛рдВ рд╕рдВрд╕реНрдХрд░рдг рджреЗрдЦрддреЗ рд╣реИрдВ, рддреЛ рдХреБрдЫ рдЧрд▓рдд рд╣реЛ рдЧрдпрд╛ рдФрд░ рдЗрди-рдЯреНрд░реА рдХрд░реНрдиреЗрд▓ рдореЙрдбреНрдпреВрд▓ рд▓реЛрдб рд╣реЛ рдЧрдпрд╛ рд╣реИред рдХрд╛рд░рдг рдХреНрдпрд╛ рд╣реИ, рдпрд╣ рдЬрд╛рдирдиреЗ рдХреЗ dkms status рдЬрд╛рдБрдЪ рдХрд░реЗрдВред


рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдкреНрд░рддреНрдпреЗрдХ рдиреЛрдб рдореЗрдВ рдирд┐рдпрдорд┐рдд рд╡рд┐рднрд╛рдЬрди рдХреЗ рд╢реАрд░реНрд╖ рдкрд░ рдЪрд▓рдиреЗ рд╡рд╛рд▓реЗ рдПрдХ рд╣реА рдбреНрд░рдм-рдбрд┐рд╡рд╛рдЗрд╕ рд╣реЛрдЧрд╛ ред рдкрд╣рд▓реЗ рд╣рдореЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдиреЛрдб рдкрд░ рдЗрд╕ рдЕрдиреБрднрд╛рдЧ рдХреЛ рдбреНрд░рдм рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИред


рдРрд╕рд╛ рд╡рд┐рднрд╛рдЬрди рдХрд┐рд╕реА рднреА рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ, рдпрд╣ lvm, zvol, рдПрдХ рдбрд┐рд╕реНрдХ рд╡рд┐рднрд╛рдЬрди рдпрд╛ рд╕рдВрдкреВрд░реНрдг рдбрд┐рд╕реНрдХ рд╣реЛ рд╕рдХрддрд╛ рд╣реИред рдЗрд╕ рд▓реЗрдЦ рдореЗрдВ рдореИрдВ рдПрдХ рдЕрд▓рдЧ nvme рдбрд┐рд╕реНрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реВрдБрдЧрд╛ рдЬрд┐рд╕рдореЗрдВ рд╡рд┐рднрд╛рдЬрди рдХреЗ рддрд╣рдд /dev/nvme1n1p1 : /dev/nvme1n1p1


рдпрд╣ рдзреНрдпрд╛рди рджреЗрдиреЗ рдпреЛрдЧреНрдп рд╣реИ рдХрд┐ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рдирд╛рдо рдХрднреА-рдХрднреА рдмрджрд▓ рдЬрд╛рддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рдирд┐рд░рдВрддрд░ рд╕рд┐рдорд▓рд┐рдВрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдЖрджрдд рдХреЗ рд░реВрдк рдореЗрдВ рдЗрд╕реЗ рддреБрд░рдВрдд рд▓реЗрдирд╛ рдмреЗрд╣рддрд░ рд╣реИред


рдЖрдк рдЗрд╕ рддрд░рд╣ рдХреЗ рд▓рд┐рдП /dev/nvme1n1p1 рдЗрд╕ рддрд░рд╣ рдХреЗ рдПрдХ рд╕рд┐рдорд▓рд┐рдВрдХ рдкрд╛ рд╕рдХрддреЗ рд╣реИрдВ:


 # find /dev/disk/ -lname '*/nvme1n1p1' /dev/disk/by-partuuid/847b9713-8c00-48a1-8dff-f84c328b9da2 /dev/disk/by-path/pci-0000:0e:00.0-nvme-1-part1 /dev/disk/by-id/nvme-eui.0000000001000000e4d25c33da9f4d01-part1 /dev/disk/by-id/nvme-INTEL_SSDPEKKA010T7_BTPY703505FB1P0H-part1 

рд╣рдо рддреАрдиреЛрдВ рдиреЛрдбреНрд╕ рдкрд░ рдЕрдкрдиреЗ рд╕рдВрд╕рд╛рдзрди рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддреЗ рд╣реИрдВ:


 # cat /etc/drbd.d/nfs1.res resource nfs1 { meta-disk internal; device /dev/drbd100; protocol C; net { after-sb-0pri discard-zero-changes; after-sb-1pri discard-secondary; after-sb-2pri disconnect; } on pve1 { address 192.168.2.11:7000; disk /dev/disk/by-partuuid/95e7eabb-436e-4585-94ea-961ceac936f7; node-id 0; } on pve2 { address 192.168.2.12:7000; disk /dev/disk/by-partuuid/aa7490c0-fe1a-4b1f-ba3f-0ddee07dfee3; node-id 1; } on pve3 { address 192.168.2.13:7000; disk /dev/disk/by-partuuid/847b9713-8c00-48a1-8dff-f84c328b9da2; node-id 2; } connection-mesh { hosts pve1 pve2 pve3; } } 

рдпрд╣ рд╕рд▓рд╛рд╣ рджреА рдЬрд╛рддреА рд╣реИ рдХрд┐ рдбреНрд░рдЧ рд╕рд┐рдВрдХреНрд░реЛрдирд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рд▓рд┐рдП рдПрдХ рдЕрд▓рдЧ рдиреЗрдЯрд╡рд░реНрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рдПред


рдЕрдм drdd рдХреЗ рд▓рд┐рдП рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдмрдирд╛рдПрдВ рдФрд░ рдЗрд╕реЗ рдЪрд▓рд╛рдПрдВ:


 # drbdadm create-md nfs1 initializing activity log initializing bitmap (320 KB) to all zero Writing meta data... New drbd meta data block successfully created. success # drbdadm up nfs1 

рддреАрдиреЛрдВ рдиреЛрдбреНрд╕ рдкрд░ рдЗрди рдЪрд░рдгреЛрдВ рдХреЛ рджреЛрд╣рд░рд╛рдПрдВ рдФрд░ рд╕реНрдерд┐рддрд┐ рдЬрд╛рдВрдЪреЗрдВ:


 # drbdadm status nfs1 role:Secondary disk:Inconsistent pve2 role:Secondary peer-disk:Inconsistent pve3 role:Secondary peer-disk:Inconsistent 

рдЕрдм рд╣рдорд╛рд░реА рдЕрд╕рдВрдЧрдд рдбрд┐рд╕реНрдХ рддреАрдиреЛрдВ рдиреЛрдбреНрд╕ рдкрд░ рд╣реИ, рдЗрд╕рдХрд╛ рдХрд╛рд░рдг рдпрд╣ рд╣реИ рдХрд┐ рд╢рд░рд╛рдмреА рдХреЛ рдпрд╣ рдирд╣реАрдВ рдкрддрд╛ рд╣реЛрддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕ рдбрд┐рд╕реНрдХ рдХреЛ рдореВрд▓ рд░реВрдк рдореЗрдВ рд▓рд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред рд╣рдореЗрдВ рдЙрдирдореЗрдВ рд╕реЗ рдПрдХ рдХреЛ рдкреНрд░рд╛рдердорд┐рдХ рд░реВрдк рд╕реЗ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП рддрд╛рдХрд┐ рдЙрд╕рдХрд╛ рд░рд╛рдЬреНрдп рдЕрдиреНрдп рдиреЛрдбреНрд╕ рдХреЗ рд╕рд╛рде рд╕рд┐рдВрдХреНрд░рдирд╛рдЗрдЬрд╝ рд╣реЛ рдЬрд╛рдП:


 drbdadm primary --force nfs1 drbdadm secondary nfs1 

рддреБрд░рдВрдд рдмрд╛рдж рдХрд┐ рдЗрдЪреНрдЫрд╛ рд╕рд┐рдВрдХ:


 # drbdadm status nfs1 role:Secondary disk:UpToDate pve2 role:Secondary replication:SyncSource peer-disk:Inconsistent done:26.66 pve3 role:Secondary replication:SyncSource peer-disk:Inconsistent done:14.20 

рд╣рдореЗрдВ рдЗрд╕реЗ рдЦрддреНрдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЗрдВрддрдЬрд╛рд░ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдирд╣реАрдВ рд╣реИ рдФрд░ рд╣рдо рд╕рдорд╛рдирд╛рдВрддрд░ рдореЗрдВ рдЖрдЧреЗ рдХреЗ рдХрджрдо рдЙрдард╛ рд╕рдХрддреЗ рд╣реИрдВред DRBD рдореЗрдВ рд╕реНрдерд╛рдиреАрдп рдбрд┐рд╕реНрдХ рдХреА рд╡рд░реНрддрдорд╛рди рд╕реНрдерд┐рддрд┐ рдХреА рдкрд░рд╡рд╛рд╣ рдХрд┐рдП рдмрд┐рдирд╛, рдЙрдиреНрд╣реЗрдВ рдХрд┐рд╕реА рднреА рдиреЛрдб рдкрд░ рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рднреА рдЕрдиреБрд░реЛрдз рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ UpToDate рд░рд╛рдЬреНрдп рдХреЗ рд╕рд╛рде рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рд░реАрдбрд╛рдпрд░реЗрдХреНрдЯ рдХрд┐рдП рдЬрд╛рдПрдВрдЧреЗред


рдиреЛрдб рдкрд░ drdd рд╕реЗрд╡рд╛ рдХреЗ рдСрдЯреЛрд░рди рдХреЛ рд╕рдХреНрд░рд┐рдп рдХрд░рдирд╛ рди рднреВрд▓реЗрдВ:


 systemctl enable drbd.service 

рдПрдХ рдПрд▓рдПрдХреНрд╕рд╕реА рдХрдВрдЯреЗрдирд░ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдирд╛


рд╣рдо рддреАрди рдиреЛрдбреНрд╕ рдХреЗ рд╕рдореАрдкрд╕реНрде рдХреНрд▓рд╕реНрдЯрд░ рдХреЗ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рднрд╛рдЧ рдХреЛ рдЫреЛрдбрд╝ рджреЗрдВрдЧреЗ , рдЗрд╕ рднрд╛рдЧ рдХреЛ рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рд╡рд┐рдХреА рдореЗрдВ рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рд╡рд░реНрдгрд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ


рдЬреИрд╕рд╛ рдХрд┐ рдореИрдВрдиреЗ рдкрд╣рд▓реЗ рдХрд╣рд╛, рд╣рдорд╛рд░рд╛ рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдПрдХ рдПрд▓рдПрдХреНрд╕рд╕реА рдХрдВрдЯреЗрдирд░ рдореЗрдВ рдХрд╛рдо рдХрд░реЗрдЧрд╛ред рд╣рдо рдХрдВрдЯреЗрдирд░ рдХреЛ рдбрд┐рд╡рд╛рдЗрд╕ /dev/drbd100 рдЬреЛ рд╣рдордиреЗ рдЕрднреА рдмрдирд╛рдпрд╛ рд╣реИред


рдкрд╣рд▓реЗ рд╣рдореЗрдВ рдЗрд╕ рдкрд░ рдПрдХ рдлрд╝рд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо рдмрдирд╛рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ:


 mkfs -t ext4 -O mmp -E mmp_update_interval=5 /dev/drbd100 

рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ Proxmox рдореЗрдВ рдлрд╝рд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо рд╕реНрддрд░ рдкрд░ рдорд▓реНрдЯреАрдорд╛рдЙрдВрдЯ рд╕реБрд░рдХреНрд╖рд╛ рд╢рд╛рдорд┐рд▓ рд╣реИ, рд╕рд┐рджреНрдзрд╛рдВрдд рд░реВрдк рдореЗрдВ, рд╣рдо рдЗрд╕рдХреЗ рдмрд┐рдирд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдХреНрдпреЛрдВрдХрд┐ DRBD рдХреА рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдЕрдкрдиреА рд╕реБрд░рдХреНрд╖рд╛ рд╣реИ, рдпрд╣ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд▓рд┐рдП рджреВрд╕рд░реЗ рдкреНрд░рд╛рдердорд┐рдХ рдХреЛ рдкреНрд░рддрд┐рдмрдВрдзрд┐рдд рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рд╕рд╛рд╡рдзрд╛рдиреА рд╣рдореЗрдВ рдиреБрдХрд╕рд╛рди рдирд╣реАрдВ рдкрд╣реБрдВрдЪрд╛рддреА рд╣реИред


рдЕрдм рдЙрдмрдВрдЯреВ рдЯреЗрдореНрдкрд▓реЗрдЯ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ:


 # wget http://download.proxmox.com/images/system/ubuntu-16.04-standard_16.04-1_amd64.tar.gz -P /var/lib/vz/template/cache/ 

рдФрд░ рдЗрд╕рд╕реЗ рд╣рдорд╛рд░рд╛ рдХрдВрдЯреЗрдирд░ рдмрдирд╛рдПрдВ:


 pct create 101 local:vztmpl/ubuntu-16.04-standard_16.04-1_amd64.tar.gz \ --hostname=nfs1 \ --net0=name=eth0,bridge=vmbr0,gw=192.168.1.1,ip=192.168.1.11/24 \ --rootfs=volume=/dev/drbd100,shared=1 

рдЗрд╕ рдЖрджреЗрд╢ рдореЗрдВ, рд╣рдо рдпрд╣ рджрд░реНрд╢рд╛рддреЗ рд╣реИрдВ рдХрд┐ рд╣рдорд╛рд░реЗ рдХрдВрдЯреЗрдирд░ рдХреА рдЬрдбрд╝ рдкреНрд░рдгрд╛рд▓реА рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рд╕реНрдерд┐рдд рд╣реЛ рдЬрд╛рдПрдЧрд╛ /dev/drbd100 рдФрд░ рд╡рд┐рдХрд▓реНрдк рдЬреЛрдбрд╝рдиреЗ shared=1 рдХрд┐ рдХрдВрдЯреЗрдирд░ рдиреЛрдбреНрд╕ рдХреЗ рдмреАрдЪ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдорддрд┐ рд╣реЛрдЧреАред


рдпрджрд┐ рдХреБрдЫ рдЧрд▓рдд рд╣реБрдЖ рд╣реИ, рддреЛ рдЖрдк рдЗрд╕реЗ рд╣рдореЗрд╢рд╛ Proxmox рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдпрд╛ /etc/pve/lxc/101.conf рдХрдВрдЯреЗрдирд░ /etc/pve/lxc/101.conf рдорд╛рдзреНрдпрдо рд╕реЗ рдареАрдХ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ


Proxmox рдЯреЗрдореНрдкрд▓реЗрдЯ рдХреЛ рдЕрдирдкреИрдХ рдХрд░реЗрдЧрд╛ рдФрд░ рд╣рдорд╛рд░реЗ рд▓рд┐рдП рдХрдВрдЯреЗрдирд░ рд░реВрдЯ рд╕рд┐рд╕реНрдЯрдо рддреИрдпрд╛рд░ рдХрд░реЗрдЧрд╛ ред рдЙрд╕рдХреЗ рдмрд╛рдж рд╣рдо рдЕрдкрдирд╛ рдХрдВрдЯреЗрдирд░ рд▓реЙрдиреНрдЪ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:


 pct start 101 

NFS рд╕рд░реНрд╡рд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░реЗрдВред


рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ, Proxmox рдХрдВрдЯреЗрдирд░ рдореЗрдВ NFS рд╕рд░реНрд╡рд░ рдХреЛ рдЪрд▓рд╛рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рдирд╣реАрдВ рджреЗрддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдЗрд╕реЗ рд╕рдХреНрд╖рдо рдХрд░рдиреЗ рдХреЗ рдХрдИ рддрд░реАрдХреЗ рд╣реИрдВред


рдЙрдирдореЗрдВ рд╕реЗ рдПрдХ рд╕рд┐рд░реНрдл lxc.apparmor.profile: unconfined рдЬреЛрдбрд╝рдиреЗ рдХреЗ рд▓рд┐рдП рд╣реИ lxc.apparmor.profile: unconfined рд╣рдорд╛рд░реЗ рдХрдВрдЯреЗрдирд░ рдХреЗ /etc/pve/lxc/100.conf ред


рдпрд╛ рд╣рдо рдирд┐рд░рдВрддрд░ рдЖрдзрд╛рд░ рдкрд░ рд╕рднреА рдХрдВрдЯреЗрдирд░реЛрдВ рдХреЗ рд▓рд┐рдП рдПрдирдПрдлрдПрд╕ рдХреЛ рд╕рдХреНрд╖рдо рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЗрд╕рдХреЗ рд▓рд┐рдП рд╣рдореЗрдВ рд╕рднреА рдиреЛрдбреНрд╕ рдкрд░ /etc/apparmor.d/lxc/lxc-default-cgns рд▓рд┐рдП рдорд╛рдирдХ рдЯреЗрдореНрдкрд▓реЗрдЯ рдХреЛ рдЕрдкрдбреЗрдЯ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ, рдирд┐рдореНрди рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЛ /etc/apparmor.d/lxc/lxc-default-cgns :


  mount fstype=nfs, mount fstype=nfs4, mount fstype=nfsd, mount fstype=rpc_pipefs, 

рдкрд░рд┐рд╡рд░реНрддрдиреЛрдВ рдХреЗ рдмрд╛рдж, рдХрдВрдЯреЗрдирд░ рдХреЛ рдкреБрдирд░рд╛рд░рдВрдн рдХрд░реЗрдВ:


 pct shutdown 101 pct start 101 

рдЕрдм рдЗрд╕реЗ рд▓реЙрдЧ рдЗрди рдХрд░реЗрдВ:


 pct exec 101 bash 

рдЕрджреНрдпрддрди рдФрд░ NFS рд╕рд░реНрд╡рд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ:


 apt-get update apt-get -y upgrade apt-get -y install nfs-kernel-server 

рдПрдХ рдирд┐рд░реНрдпрд╛рдд рдмрдирд╛рдПрдБ:


 echo '/data *(rw,no_root_squash,no_subtree_check)' >> /etc/exports mkdir /data exportfs -a 

рд╣рд╛ рд╕реЗрдЯрдЕрдк


рд▓реЗрдЦрди рдХреЗ рд╕рдордп, рдкреНрд░реЙрдХреНрд╕рдореЙрдХреНрд╕ рд╣рд╛-рдореИрдиреЗрдЬрд░ рдХреЗ рдкрд╛рд╕ рдПрдХ рдмрдЧ рд╣реЛрддрд╛ рд╣реИ рдЬреЛ рд╣рд╛ рдХрдВрдЯреЗрдирд░ рдХреЛ рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдЕрдкрдирд╛ рдХрд╛рдо рдкреВрд░рд╛ рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рдирд╣реАрдВ рджреЗрддрд╛ рд╣реИ, рдЬрд┐рд╕рдХреЗ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк nfs рд╕рд░реНрд╡рд░ рдХреА рдХрд░реНрдиреЗрд▓-рд╕реНрдерд╛рди рдкреНрд░рдХреНрд░рд┐рдпрд╛рдПрдВ рдЬреЛ рдкреВрд░реА рддрд░рд╣ рд╕реЗ рдирд╣реАрдВ рдорд╛рд░реЗ рдЧрдП рдереЗ, рдорд╛рдзреНрдпрдорд┐рдХ рд╕реЗ рдмрд╛рд╣рд░ рдирд┐рдХрд▓рдиреЗ рд╕реЗ рдбреНрд░рдм рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ рд░реЛрдХрддреЗ рд╣реИрдВред рдпрджрд┐ рдЖрдк рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдРрд╕реА рд╕реНрдерд┐рддрд┐ рдХрд╛ рд╕рд╛рдордирд╛ рдХрд░ рдЪреБрдХреЗ рд╣реИрдВ, рддреЛ рдЖрдкрдХреЛ killall -9 nfsd рдирд╣реАрдВ рдЪрд╛рд╣рд┐рдП рдФрд░ рдмрд╕ рдЙрд╕ рдиреЛрдб рдкрд░ killall -9 nfsd рдХреЛ рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд░реЗрдВ рдЬрд╣рд╛рдВ рдХрдВрдЯреЗрдирд░ рд▓реЙрдиреНрдЪ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛ рдФрд░ рдлрд┐рд░ рдбреНрд░рдм рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ "рд░рд┐рд▓реАрдЬрд╝" рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП рдФрд░ рдпрд╣ рдорд╛рдзреНрдпрдорд┐рдХ рдореЗрдВ рдЬрд╛рдПрдЧрд╛ ред


рдЗрд╕ рдмрдЧ рдХреЛ рдареАрдХ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╕рднреА рдиреЛрдбреНрд╕ рдкрд░ рдирд┐рдореНрди рдХрдорд╛рдВрдб рдЪрд▓рд╛рдПрдБ:


 sed -i 's/forceStop => 1,/forceStop => 0,/' /usr/share/perl5/PVE/HA/Resources/PVECT.pm systemctl restart pve-ha-lrm.service 

рдЕрдм рд╣рдо рд╣рд╛-рдореИрдиреЗрдЬрд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдкрд░ рдЖрдЧреЗ рдмрдврд╝ рд╕рдХрддреЗ рд╣реИрдВред рдЖрдЗрдП рдЕрдкрдиреЗ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд▓рд┐рдП рдПрдХ рдЕрд▓рдЧ рд╣рд╛-рд╕рдореВрд╣ рдмрдирд╛рдПрдВ:


 ha-manager groupadd nfs1 --nodes pve1,pve2,pve3 --nofailback=1 --restricted=1 

рд╣рдорд╛рд░рд╛ рд╕рдВрд╕рд╛рдзрди рдЗрд╕ рд╕рдореВрд╣ рдХреЗ рд▓рд┐рдП рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдиреЛрдбреНрд╕ рдкрд░ рд╣реА рдХрд╛рдо рдХрд░реЗрдЧрд╛ред рд╣рдорд╛рд░реЗ рдХрдВрдЯреЗрдирд░ рдХреЛ рдЗрд╕ рд╕рдореВрд╣ рдореЗрдВ рдЬреЛрдбрд╝реЗрдВ:


 ha-manager add ct:101 --group=nfs1 --max_relocate=3 --max_restart=3 

рд╡рд╣ рд╕рдм рд╣реИред рд╕рд░рд▓, рд╕рд╣реА?


рдкрд░рд┐рдгрд╛рдореА nfs рдмреЙрд▓ рдХреЛ рддреБрд░рдВрдд рдЕрдиреНрдп рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрди рдФрд░ рдХрдВрдЯреЗрдирд░реЛрдВ рдХреЛ рд╕реНрдЯреЛрд░ рдХрд░рдиреЗ рдФрд░ рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП Proxmox рд╕реЗ рдЬреЛрдбрд╝рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред


рд╕рд┐рдлрд╛рд░рд┐рд╢реЗрдВ рдФрд░ рдЯреНрдпреВрдирд┐рдВрдЧ


рдХреЗрдбрдВрдк

рдЬреИрд╕рд╛ рдХрд┐ рдореИрдВрдиреЗ рдКрдкрд░ рдЙрд▓реНрд▓реЗрдЦ рдХрд┐рдпрд╛ рд╣реИ, рдкреНрд░рддрд┐рдХреГрддрд┐ рдХреЗ рд▓рд┐рдП рдПрдХ рдЕрд▓рдЧ рдиреЗрдЯрд╡рд░реНрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣рдореЗрд╢рд╛ рдЙрдЪрд┐рдд рд╣реЛрддрд╛ рд╣реИред 10-рдЧреАрдЧрд╛рдмрд┐рдЯ рдиреЗрдЯрд╡рд░реНрдХ рдПрдбреЗрдкреНрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЕрддреНрдпрдзрд┐рдХ рдЙрдЪрд┐рдд рд╣реИ, рдЕрдиреНрдпрдерд╛ рдЖрдк рдкреЛрд░реНрдЯ рдЧрддрд┐ рдореЗрдВ рдЪрд▓реЗрдВрдЧреЗред
рдпрджрд┐ рдкреНрд░рддрд┐рдХреГрддрд┐ рдкрд░реНрдпрд╛рдкреНрдд рдзреАрдореА рд▓рдЧрддреА рд╣реИ, рддреЛ DRBD рдХреЗ рд▓рд┐рдП рдХреБрдЫ рд╡рд┐рдХрд▓реНрдкреЛрдВ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВред рдпрд╣рд╛рдБ рд╡рд┐рдиреНрдпрд╛рд╕ рд╣реИ, рдЬреЛ рдореЗрд░реА рд░рд╛рдп рдореЗрдВ рдореЗрд░реЗ 10G рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рдП рдЗрд╖реНрдЯрддрдо рд╣реИ:


 # cat /etc/drbd.d/global_common.conf global { usage-count yes; udev-always-use-vnr; } common { handlers { } startup { } options { } disk { c-fill-target 10M; c-max-rate 720M; c-plan-ahead 10; c-min-rate 20M; } net { max-buffers 36k; sndbuf-size 1024k; rcvbuf-size 2048k; } } 

рдЖрдк рдЖрдзрд┐рдХрд╛рд░рд┐рдХ DRBD рдкреНрд░рд▓реЗрдЦрди рд╕реЗ рдкреНрд░рддреНрдпреЗрдХ рдкреИрд░рд╛рдореАрдЯрд░ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдкреНрд░рд╛рдкреНрдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ ред


рдПрдирдПрдлрд╝рдПрд╕ рд╕рд░реНрд╡рд░

рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдХреЗ рд╕рдВрдЪрд╛рд▓рди рдХреЛ рдЧрддрд┐ рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдХреА рдХреБрд▓ рд╕рдВрдЦреНрдпрд╛ рдХреЛ рдмрдврд╝рд╛рдиреЗ рдореЗрдВ рдорджрдж рдорд┐рд▓ рд╕рдХрддреА рд╣реИред рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ - 8 , рд╡реНрдпрдХреНрддрд┐рдЧрдд рд░реВрдк рд╕реЗ, рдЗрд╕рдиреЗ рдореБрдЭреЗ рдЗрд╕ рд╕рдВрдЦреНрдпрд╛ рдХреЛ 64 рддрдХ рдмрдврд╝рд╛рдиреЗ рдореЗрдВ рдорджрдж рдХреАред


рдЗрд╕реЗ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, RPCNFSDCOUNT=64 рдкреИрд░рд╛рдореАрдЯрд░ рдХреЛ /etc/default/nfs-kernel-server рдЕрдкрдбреЗрдЯ /etc/default/nfs-kernel-server ред
рдФрд░ рдбреЗрдореЛрдВ рдХреЛ рдлрд┐рд░ рд╕реЗ рд╢реБрд░реВ рдХрд░реЗрдВ:


 systemctl restart nfs-utils systemctl restart nfs-server 

NFSv3 рдмрдирд╛рдо NFSv4

NFSv3 рдФрд░ NFSv4 рдХреЗ рдмреАрдЪ рдЕрдВрддрд░ рдЬреНрдЮрд╛рдд рдХреАрдЬрд┐рдпреЗ ?


  • NFSv3 рдПрдХ рд╕реНрдЯреЗрдЯрд▓реЗрд╕ рдкреНрд░реЛрдЯреЛрдХреЙрд▓ рд╣реИ, рдПрдХ рдирд┐рдпрдо рдХреЗ рд░реВрдк рдореЗрдВ, рдпрд╣ рд╡рд┐рдлрд▓рддрд╛рдУрдВ рдХреЛ рдмреЗрд╣рддрд░ рдврдВрдЧ рд╕реЗ рд╕рд╣рди рдХрд░рддрд╛ рд╣реИ рдФрд░ рддреЗрдЬреА рд╕реЗ рдареАрдХ рдХрд░рддрд╛ рд╣реИред
  • NFSv4 рдПрдХ рд╕реНрдЯреЗрдЯрдлреБрд▓ рдкреНрд░реЛрдЯреЛрдХреЙрд▓ рд╣реИ , рдпрд╣ рддреЗрдЬреА рд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ рдФрд░ рдЗрд╕реЗ рдХреБрдЫ tcp рдкреЛрд░реНрдЯ рд╕реЗ рдЬреЛрдбрд╝рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рд░рд╛рдЬреНрдп рдХреА рдореМрдЬреВрджрдЧреА рдХреЗ рдХрд╛рд░рдг рдпрд╣ рд╡рд┐рдлрд▓рддрд╛рдУрдВ рдХреЗ рдкреНрд░рддрд┐ рдЕрдзрд┐рдХ рд╕рдВрд╡реЗрджрдирд╢реАрд▓ рд╣реИред рдЗрд╕рдореЗрдВ рдХрд░рдмрд░реЛрд╕ рдФрд░ рдЕрдиреНрдп рджрд┐рд▓рдЪрд╕реНрдк рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХреЗ рдПрдХ рд╕рдореВрд╣ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рдорд╛рдгреАрдХрд░рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдХреНрд╖рдорддрд╛ рднреА рд╣реИред

рд╣рд╛рд▓рд╛рдБрдХрд┐, рдЬрдм рдЖрдк showmount -e nfs_server , рддреЛ NFSv3 рдкреНрд░реЛрдЯреЛрдХреЙрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред Proxmox рднреА NFSv3 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред NFSv3 рдХрд╛ рдЙрдкрдпреЛрдЧ рдЖрдорддреМрд░ рдкрд░ рдиреЗрдЯрд╡рд░реНрдХ рдмреВрдЯ рдорд╢реАрдиреЛрдВ рдХреЛ рд╡реНрдпрд╡рд╕реНрдерд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рднреА рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред


рд╕рд╛рдорд╛рдиреНрдп рддреМрд░ рдкрд░, рдпрджрд┐ рдЖрдкрдХреЗ рдкрд╛рд╕ NFSv4 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдХреЛрдИ рд╡рд┐рд╢реЗрд╖ рдХрд╛рд░рдг рдирд╣реАрдВ рд╣реИ, рддреЛ NFSv3 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдХрд┐рд╕реА рднреА рд░рд╛рдЬреНрдп рдХреА рдХрдореА рдХреЗ рдХрд╛рд░рдг рдХрд┐рд╕реА рднреА рд╡рд┐рдлрд▓рддрд╛ рдХреЗ рд▓рд┐рдП рдХрдо рджрд░реНрджрдирд╛рдХ рд╣реИред


рдорд╛рдЙрдВрдЯ рдХрдорд╛рдВрдб рдХреЗ рд▓рд┐рдП -o vers=3 рдкреИрд░рд╛рдореАрдЯрд░ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рдХреЗ рдЖрдк NFSv3 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЧреЗрдВрдж рдХреЛ рдорд╛рдЙрдВрдЯ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:


 mount -o vers=3 nfs_server:/share /mnt 

рдпрджрд┐ рдЖрдк рдЪрд╛рд╣реЗрдВ, рддреЛ рдЖрдк рд╕рд░реНрд╡рд░ рдХреЗ рд▓рд┐рдП NFSv4 рдХреЛ рдмрд┐рд▓реНрдХреБрд▓ рдЕрдХреНрд╖рдо рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдРрд╕рд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, --no-nfs-version 4 рдЪрд░ рдореЗрдВ --no-nfs-version 4 рд╡рд┐рдХрд▓реНрдк --no-nfs-version 4 рдФрд░ рд╕рд░реНрд╡рд░ рдХреЛ рдкреБрдирд░рд╛рд░рдВрдн рдХрд░реЗрдВ, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП:


 RPCNFSDCOUNT="64 --no-nfs-version 4" 

iSCSI рдФрд░ LVM


рдЗрд╕реА рддрд░рд╣, рдПрдХ рдирд┐рдпрдорд┐рдд tgt рдбреЗрдорди рдХреЛ рдХрдВрдЯреЗрдирд░ рдХреЗ рдЕрдВрджрд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, iSCSI I / O рд╕рдВрдЪрд╛рд▓рди рдХреЗ рд▓рд┐рдП рдХрд╛рдлреА рдЙрдЪреНрдЪ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдЙрддреНрдкрд╛рджрди рдХрд░реЗрдЧрд╛, рдФрд░ рдХрдВрдЯреЗрдирд░ рдЕрдзрд┐рдХ рд╕реБрдЪрд╛рд░реВ рд░реВрдк рд╕реЗ рдХрд╛рдо рдХрд░реЗрдЧрд╛ рдХреНрдпреЛрдВрдХрд┐ tgt рд╕рд░реНрд╡рд░ рдкреВрд░реА рддрд░рд╣ рд╕реЗ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдЕрдВрддрд░рд┐рдХреНрд╖ рдореЗрдВ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред


рдЖрдорддреМрд░ рдкрд░, рдПрдХ рдирд┐рд░реНрдпрд╛рддрд┐рдд LUN LVM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдХрдИ рдЯреБрдХрдбрд╝реЛрдВ рдореЗрдВ рдХрдЯрд╛ рд╣реБрдЖ рд╣реИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдХрдИ рдмрд╛рд░реАрдХрд┐рдпреЛрдВ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ: рдПрдХ рдореЗрдЬрдмрд╛рди рд╕рдореВрд╣ рдХреЛ рдХрдИ рдореЗрдЬрдмрд╛рдиреЛрдВ рдкрд░ рд╕рд╛рдЭрд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП LVM рддрд╛рд▓реЗ рдХреИрд╕реЗ рдкреНрд░рджрд╛рди рдХрд┐рдП рдЬрд╛рддреЗ рд╣реИрдВ ред


рд╢рд╛рдпрдж рдпреЗ рдФрд░ рдЕрдиреНрдп рдмрд╛рд░реАрдХрд┐рдпрд╛рдВ рдореИрдВ рдЕрдЧрд▓реЗ рд▓реЗрдЦ рдореЗрдВ рд╡рд░реНрдгрди рдХрд░реВрдВрдЧрд╛ред

Source: https://habr.com/ru/post/hi417473/


All Articles