Neste artigo, mostrarei como executar o kubernetes master dentro de um contêiner LXC.
Este método funciona muito bem com o Proxmox e pode ser considerado uma alternativa à implantação clássica de kubernetes com vários assistentes.

Por que proxmox?

Porque o proxmox pronto para uso fornece muitos recursos úteis.
O Proxmox inclui recursos de alta disponibilidade, migração, backups automáticos, controle de acesso e tudo isso é acessível através de uma interface gráfica simples.

Você também pode implantar a configuração mais simples do kubernetes com um único assistente, o proxmox fornecerá alta disponibilidade.
Este método é ótimo para implantar clusters de teste ou pequenos.

Para implantações maiores, é recomendável colocar o etcd em contêineres separados que usarão discos locais rápidos e combiná-los em um cluster.
No entanto, o próprio kubernetes-master ainda pode permanecer um contêiner ha regular, não precisa ter armazenamento rápido.

Além disso, se você estiver lendo este artigo, presumo que na maioria dos casos você já tenha algum tipo de infraestrutura no Proxmox e talvez queira ter uma única interface para gerenciar seus serviços.

Porquê LXC?

O Kubernetes será iniciado sem problemas dentro de uma máquina virtual comum. Mas os contêineres LXC fornecem a flexibilidade que não está disponível nas máquinas virtuais convencionais.

De fato, os contêineres LXC não fornecem isolamento completo dos contêineres do host; pelo contrário, todos os processos dentro dos contêineres iniciam como processos normais do host, apenas em um espaço para nome separado.

Este método fornece um bom desempenho, mas impõe algumas limitações no nosso caso.

Vou discutir essas limitações e como lidar com elas neste artigo.

Configuração

Como, por padrão, os contêineres não têm permissão para carregar os módulos do kernel por conta própria, você deve configurá-los para carregar diretamente nos hipervisores.

Usaremos o driver de overlay para o docker, portanto, é tudo o que precisamos:

 echo overlay >> /etc/modules 

Agora precisamos adicionar mais privilégios ao nosso contêiner para permitir a execução de outros contêineres dentro dele, adicione estas linhas à configuração do seu contêiner:

 lxc.apparmor.profile: unconfined lxc.cap.drop: lxc.cgroup.devices.allow: a lxc.mount.auto: proc:rw sys:rw 

A partir da versão v11.0, o kubelet requer o modo compartilhado para todas as montagens do host.

Esse hack sujo permitirá que você consiga isso, dentro do contêiner LXC, execute:

 echo '#!/bin/sh -e mount --make-rshared /' > /etc/rc.local 

Essa ação adicionará o mount --make-rshared / ao /etc/rc.local e executará toda vez que o contêiner carregar.

Além disso, se você planeja usar o gerenciador de HA no proxmox, esteja ciente de que no momento existe um bug desagradável nº 1842 , que mata à força os processos de contêiner durante a migração, o que pode gerar processos zumbis ou até bloquear seu armazenamento.

Isso não é bom, felizmente existe uma solução simples:

 sed -i 's/forceStop => 1/forceStop => 0/' /usr/share/perl5/PVE/HA/Resources/PVECT.pm 

Além disso, você pode adicionar as seguintes opções à sua janela de encaixe:

 --storage-driver overlay2 --iptables=false --ip-masq=false 

Copie docker.service de /lib para /etc para substituir suas opções:

 cp /{lib,etc}/systemd/system/docker.service 

Agora adicione essas opções à seção ExecStart .

Isso é tudo, após essas etapas, a instalação padrão do kubeadm deve funcionar sem problemas.