Entrada
Bom dia Há meio ano, estamos executando um script (mais precisamente, um conjunto de scripts) que gera relatórios sobre o estado das máquinas virtuais (e não apenas). Decidi compartilhar a experiência de criação e o próprio código. Conto com críticas e com o fato de que esse material pode ser útil para alguém.
Temos muitas máquinas virtuais (cerca de 1500 VMs distribuídas no terceiro vCenter). Novos são criados e antigos são excluídos com bastante frequência. Para preservar a ordem, vários campos personalizados foram adicionados ao vCenter para dividir as VMs em subsistemas, indicar se elas são de teste, assim como por quem e quando. O fator humano levou ao fato de que mais da metade dos carros ficou com campos vazios, o que complicou o trabalho. A cada seis meses, alguém surtava, começava a trabalhar na atualização desses dados, mas o resultado deixou de ser relevante por uma semana e meia.
Esclarecerei imediatamente que todo mundo entende que deve haver aplicativos para criar máquinas, um processo para criá-las etc. etc. E enquanto todo esse processo é seguido rigorosamente e em ordem. Infelizmente, este não é o nosso caso, mas este não é o assunto do artigo :)
Em geral, foi decidido automatizar a verificação da correção do preenchimento dos campos.
Decidimos que uma carta diária com uma lista de máquinas preenchidas incorretamente para todos os engenheiros responsáveis e seus superiores seria um bom começo.
Nesse ponto, um dos colegas já havia implementado um script do PowerShell, que todos os dias, em uma programação, coletava informações em todas as máquinas de todos os vCenter-s e formava 3 documentos csv (cada um em seu próprio vCenter), dispostos em um disco compartilhado. Decidiu-se tomar esse script como base e complementá-lo com verificações usando a linguagem R, com a qual eu tinha alguma experiência.
No processo de finalização, a solução ficou coberta de informações por correio, um banco de dados com as tabelas principais e históricas (mais sobre isso mais adiante), além de analisar os logs do vSphere para encontrar os criadores reais da vm e a hora em que foram criados.
Para o desenvolvimento, foram utilizados o IDE RStudio Desktop e o PowerShell ISE.
O script é iniciado a partir de uma máquina virtual Windows regular.
Descrição da lógica geral.
A lógica geral dos scripts é a seguinte.
- Coletamos dados em máquinas virtuais usando o script do PowerShell, chamado via R, o resultado é combinado em um csv. A interação inversa entre idiomas é feita da mesma forma. (era possível direcionar dados diretamente do R para o PowerShell na forma de variáveis, mas é difícil e, mesmo com o CSV intermediário, é mais fácil depurar e compartilhar resultados intermediários com alguém).
- Usando R, formamos parâmetros válidos para os campos cujos valores estamos verificando. - Formamos um documento do Word que conterá os valores desses campos para inserção em uma carta informativa que será uma resposta às perguntas dos colegas "Não está bem, mas como devo preencher isso?"
- Carregamos dados em todas as VMs do csv usando R, formamos um quadro de dados, removemos campos desnecessários e formamos um documento xlsx de informações que conterá informações resumidas em todas as VMs que carregamos em um recurso compartilhado.
- Para o quadro de dados de todas as VMs, aplicamos todas as verificações para corrigir o preenchimento dos campos e formamos uma tabela contendo apenas VMs com campos preenchidos incorretamente (e somente esses campos).
- A lista resultante de VMs é enviada para outro script do PowerShell que examinará os logs do vCenter para eventos de criação de VMs, o que permitirá especificar o tempo estimado de criação da VM e o criador pretendido. É o caso quando ninguém confessa de quem é o carro. Esse script não funciona rápido, especialmente se houver muitos logs, portanto, analisamos apenas nas últimas 2 semanas e também usamos o fluxo de trabalho, que permite pesquisar informações sobre várias VMs ao mesmo tempo. No script de exemplo, há comentários detalhados sobre esse mecanismo. O resultado é adicionado ao csv, que é novamente carregado em R.
- Formamos um documento xlsx lindamente formatado no qual os campos preenchidos incorretamente serão destacados em vermelho, os filtros serão aplicados a algumas colunas e serão indicadas colunas adicionais contendo os supostos criadores e a hora da criação da VM.
- Formamos um email, onde colocamos um documento descrevendo os valores de campo válidos, bem como uma tabela com preenchimento incorreto. No texto, indicamos o número total de VMs criadas incorretamente, um link para um recurso compartilhado e uma imagem motivacional. Se não houver VMs preenchidas incorretamente, enviaremos outra carta com uma imagem motivacional mais alegre.
- Registramos dados em todas as VMs no banco de dados do SQL Server, levando em consideração o mecanismo implementado das tabelas históricas (um mecanismo muito interessante - sobre o qual mais detalhadamente)
Scripts
O arquivo principal com o código para R Script para obter a lista vm no PowerShell Script do PowerShell que extrai os logs dos criadores de máquinas virtuais e suas datas de criação A biblioteca xlsx merece atenção especial, o que possibilitou tornar o anexo à carta claramente formatado (como o manual gosta), e não apenas uma tabela csv.
Criando um lindo documento xlsx com uma lista de máquinas preenchidas incorretamente A saída é algo como isto:
Havia também uma nuance interessante na configuração do agendador do Windows. Não deu certo para escolher os parâmetros corretos de direitos e configurações para que tudo começasse como deveria. Como resultado, foi encontrada a biblioteca R, que cria uma tarefa para executar o script R e nem esquece o arquivo de log. Então você pode corrigir a tarefa com canetas.
Um pedaço de código R com dois exemplos que cria uma tarefa no Agendador do Windows library(taskscheduleR) myscript <- file.path(getwd(), "all_vm.R")
Separadamente, sobre o banco de dados
Depois de configurar o script, outras perguntas começaram a aparecer. Por exemplo, eu queria encontrar a data em que a VM foi excluída e os logs no vCenter já estavam gastos. Como o script coloca os arquivos na pasta todos os dias e não a limpa (nós as limpamos com as mãos quando lembramos), você pode examinar os arquivos antigos e encontrar o primeiro arquivo no qual esta VM não está. Mas isso não é legal.
Eu queria criar um banco de dados histórico.
A funcionalidade MS SQL SERVER foi útil - uma tabela temporal com versão do sistema. Geralmente é traduzido como tabelas temporárias (não temporárias).
Você pode ler em detalhes a documentação oficial da Microsoft .
Em resumo, criamos uma tabela, dizemos que a teremos com versão e o SQL Server cria 2 colunas de data e hora adicionais nessa tabela (a data em que o registro foi criado e a data em que o registro expirou) e uma tabela adicional na qual as alterações serão gravadas. Como resultado, obtemos informações relevantes e, por meio de consultas simples, exemplos dos quais são fornecidos na documentação, podemos ver o ciclo de vida de uma máquina virtual específica ou o estado de todas as VMs em um determinado momento.
Em termos de desempenho, a transação de gravação na tabela principal não será concluída até que a transação de gravação na tabela temporária seja concluída. I.e. em tabelas com um grande número de operações de gravação, essa funcionalidade deve ser implementada com cautela, mas, no nosso caso, é uma coisa muito legal.
Para que o mecanismo funcione corretamente, foi necessário adicionar um pequeno pedaço de código no R que comparasse a nova tabela com os dados de todas as VMs à armazenada no banco de dados e gravasse apenas linhas alteradas. O código não é muito complicado, ele usa a biblioteca compareDF, mas também darei a seguir.
Código R para gravar dados no banco de dados Total
Como resultado da introdução do script, a ordem foi mantida e mantida por vários meses. Às vezes, VMs preenchidas incorretamente aparecem, mas o script serve como um bom lembrete e uma VM rara entra na lista por 2 dias seguidos.
Também foi feita uma reserva para a análise de dados históricos.
É claro que muito disso pode ser realizado não "de joelhos", mas com software especializado, mas a tarefa foi interessante e, pode-se dizer, opcional.
R mais uma vez provou ser uma linguagem universal maravilhosa, perfeita não apenas para resolver problemas estatísticos, mas também atua como uma excelente "disposição" entre outras fontes de dados.