Entrada
Buen dia Durante medio año, hemos estado ejecutando un script (más precisamente, un conjunto de scripts) que genera informes sobre el estado de las máquinas virtuales (y no solo). Decidí compartir la experiencia de creación y el código en sí. Cuento con las críticas y el hecho de que este material puede ser útil para alguien.
Tenemos muchas máquinas virtuales (alrededor de 1500 máquinas virtuales distribuidas en el tercer vCenter). Se crean nuevos y los antiguos se eliminan con bastante frecuencia. Para preservar el orden, se agregaron varios campos personalizados a vCenter para dividir las máquinas virtuales en subsistemas, indicando si son prueba, así como quién y cuándo. El factor humano ha llevado al hecho de que más de la mitad de los autos se quedaron con campos vacíos, lo que complicó el trabajo. Una vez cada seis meses, alguien se asustó y comenzó a trabajar en la actualización de estos datos, pero el resultado dejó de ser relevante durante una semana y media.
Aclararé de inmediato que todos entienden que debería haber aplicaciones para crear máquinas, un proceso para crearlas, etc. etc. Y mientras todo este proceso se sigue estrictamente y en orden. Desafortunadamente, este no es el caso con nosotros, pero este no es el tema del artículo :)
En general, se decidió automatizar la verificación de la corrección del llenado de los campos.
Decidimos que un buen comienzo sería una carta diaria con una lista de máquinas llenadas incorrectamente para todos los ingenieros responsables y sus superiores.
En este punto, uno de los colegas ya había implementado un script de PowerShell, que todos los días recopilaba información en todas las máquinas de todos los vCenter-s y formaba 3 documentos csv (cada uno en su propio vCenter), que se distribuían en un disco compartido. Se decidió tomar este script como base y complementarlo con controles utilizando el lenguaje R, con el que tenía algo de experiencia.
En el proceso de finalización, la solución se cubrió de información por correo, una base de datos con las tablas principales e históricas (más sobre esto más adelante), así como el análisis de los registros de vSphere para encontrar los creadores reales de vm y el momento en que se crearon.
Para el desarrollo, se utilizaron IDE RStudio Desktop y PowerShell ISE.
El script se inicia desde una máquina virtual de Windows normal.
Descripción de la lógica general.
La lógica general de los scripts es la siguiente.
- Recopilamos datos en máquinas virtuales usando el script PowerShell, que se llama a través de R, el resultado se combina en un csv. La interacción inversa entre idiomas se realiza de manera similar. (era posible conducir datos directamente de R a PowerShell en forma de variables, pero es difícil, e incluso con csv intermedio es más fácil depurar y compartir resultados intermedios con alguien).
- Usando R, formamos parámetros válidos para los campos cuyos valores estamos verificando. - Estamos formando un documento de Word que contendrá los valores de estos campos para insertarlos en una carta de información que será una respuesta a las preguntas de los colegas "No está bien, pero ¿cómo debo completar esto?"
- Cargamos datos en todas las máquinas virtuales desde csv usando R, formamos un marco de datos, eliminamos campos innecesarios y formamos un documento xlsx de información que contendrá información resumida sobre todas las máquinas virtuales que cargamos en un recurso compartido.
- En el marco de datos para todas las máquinas virtuales, aplicamos todas las comprobaciones de la corrección del llenado de los campos y formamos una tabla que contiene solo máquinas virtuales con campos rellenados incorrectamente (y solo estos campos).
- La lista resultante de máquinas virtuales se envía a otro script de PowerShell, que examinará los registros de vCenter para eventos de creación de máquinas virtuales, lo que le permitirá especificar el tiempo estimado de creación de la máquina virtual y el creador previsto. Este es el caso cuando nadie confiesa el auto de quién. Este script no funciona rápido, especialmente si hay muchos registros, por lo que solo observamos las últimas 2 semanas, y también utilizamos el flujo de trabajo, que le permite buscar información en varias máquinas virtuales al mismo tiempo. En el script de ejemplo, hay comentarios detallados sobre este mecanismo. El resultado se agrega a csv, que nuevamente se carga en R.
- Formamos un documento xlsx bellamente formateado en el que los campos rellenados incorrectamente se resaltarán en rojo, los filtros se aplicarán a algunas columnas y se indicarán las columnas adicionales que contienen los presuntos creadores y el momento de la creación de la VM.
- Formamos un correo electrónico, donde ponemos un documento que describe los valores de campo válidos, así como una tabla con un relleno incorrecto. En el texto indicamos el número total de máquinas virtuales creadas incorrectamente, un enlace a un recurso compartido y una imagen motivadora. Si no hay máquinas virtuales incorrectamente pobladas, enviamos otra carta con una imagen motivadora más alegre.
- Registramos datos en todas las máquinas virtuales en la base de datos de SQL Server, teniendo en cuenta el mecanismo implementado de las tablas históricas (un mecanismo muy interesante, sobre el cual se detalla más)
Guiones
El archivo principal con el código para R Script para obtener la lista de vm en PowerShell Script de PowerShell que extrae los registros de los creadores de máquinas virtuales y sus fechas de creación La biblioteca xlsx merece una atención especial, lo que hizo posible que el archivo adjunto a la carta tuviera un formato claro (como le gusta al manual), y no solo una tabla csv.
Crear un hermoso documento xlsx con una lista de máquinas llenas incorrectamente El resultado es algo como esto:
También hubo un matiz interesante en la configuración del programador de Windows. No funcionó recoger los derechos correctos y los parámetros de configuración para que todo comenzara como debería. Como resultado, se encontró la biblioteca R, que a su vez crea una tarea para ejecutar el script R y ni siquiera se olvida del archivo de registro. Luego puede corregir la tarea con bolígrafos.
Una pieza de código R con dos ejemplos que crea una tarea en el Programador de Windows library(taskscheduleR) myscript <- file.path(getwd(), "all_vm.R")
Por separado, sobre la base de datos
Después de configurar el guión, comenzaron a aparecer otras preguntas. Por ejemplo, quería encontrar la fecha en que se eliminó la VM y los registros en vCenter ya estaban desgastados. Dado que el script coloca los archivos en la carpeta todos los días y no lo limpia (lo limpiamos con nuestras manos cuando lo recordamos), puede mirar los archivos antiguos y encontrar el primer archivo en el que esta VM no existe. Pero eso no es genial.
Quería crear una base de datos histórica.
La funcionalidad de MS SQL SERVER fue de gran ayuda: una tabla temporal con versión del sistema. Generalmente se traduce como tablas temporales (no temporales).
Puede leer en detalle en la documentación oficial de Microsoft .
En resumen, creamos una tabla, decimos que la tendremos con versiones y SQL Server crea 2 columnas de fecha y hora adicionales en esta tabla (la fecha en que se creó el registro y la fecha en que expiró el registro) y una tabla adicional en la que se escribirán los cambios. Como resultado, obtenemos información relevante y, a través de consultas simples, cuyos ejemplos se dan en la documentación, podemos ver el ciclo de vida de una máquina virtual en particular o el estado de todas las máquinas virtuales en un determinado momento.
En términos de rendimiento, la transacción de escritura en la tabla principal no se completará hasta que se complete la transacción de escritura en la tabla temporal. Es decir en tablas con una gran cantidad de operaciones de escritura, esta funcionalidad debe implementarse con precaución, pero en nuestro caso es algo muy bueno.
Para que el mecanismo funcionara correctamente, era necesario agregar un pequeño fragmento de código en R que comparara la nueva tabla con los datos de todas las máquinas virtuales con la que está almacenada en la base de datos y solo escribiría las filas cambiadas. El código no es muy complicado, usa la biblioteca compareDF, pero también lo daré a continuación.
Código R para escribir datos en la base de datos Total
Como resultado de la introducción del guión, el orden se mantuvo y mantuvo durante varios meses. A veces, aparecen máquinas virtuales pobladas incorrectamente, pero el script sirve como un buen recordatorio y una máquina virtual rara entra en la lista durante 2 días seguidos.
También se hizo una reserva para el análisis de datos históricos.
Está claro que gran parte de esto puede realizarse no "sobre la rodilla", sino con un software especializado, pero la tarea fue interesante y, podría decirse, opcional.
Una vez más, R demostró ser un maravilloso lenguaje universal, que es perfecto no solo para resolver problemas estadísticos, sino que también actúa como un excelente "tendido" entre otras fuentes de datos.