😴 👛 👧🏿 تقارير حالة الجهاز الافتراضية اليومية مع R و PowerShell 😉 👩🏼‍🚀 🛤️

دخول

يوم جيد. منذ نصف عام الآن ، نقوم بتشغيل برنامج نصي (بشكل أكثر دقة ، مجموعة من النصوص) التي تنشئ تقارير عن حالة الأجهزة الظاهرية (وليس فقط). قررت مشاركة تجربة الخلق والرمز نفسه. أنا أعول على النقد وحقيقة أن هذه المواد قد تكون مفيدة لشخص ما.

تحتاج تشكيل

لدينا الكثير من الأجهزة الافتراضية (حوالي 1500 VMs موزعة على 3rd vCenter). يتم إنشاء أخرى جديدة ويتم حذف القديمة منها في كثير من الأحيان. للاحتفاظ بالترتيب ، تمت إضافة العديد من الحقول المخصصة إلى vCenter لتقسيم VMs إلى أنظمة فرعية ، أشر إلى ما إذا كانت اختبارًا ، وكذلك من قبل من ومتى. أدى العامل البشري إلى حقيقة أن أكثر من نصف السيارات تركت مع حقول فارغة ، مما أدى إلى تعقيد العمل. مرة واحدة كل ستة أشهر ، بدأ شخص ما مفزعًا في العمل على تحديث هذه البيانات ، لكن النتيجة لم تعد ذات صلة لمدة أسبوع ونصف.
سأوضح على الفور أن الجميع يدرك أنه يجب أن تكون هناك تطبيقات لإنشاء آلات ، وعملية لإنشاءها ، إلخ. إلخ وبينما يتم اتباع كل هذه العملية بدقة وبالترتيب. لسوء الحظ ، هذا ليس هو الحال معنا ، ولكن هذا ليس موضوع المقال :)

بشكل عام ، تقرر أتمتة التحقق من صحة ملء الحقول.
قررنا أن تكون الرسالة اليومية مع قائمة بالآلات المملوءة بشكل غير صحيح لجميع المهندسين المسؤولين ورؤسائهم بداية جيدة.

في هذه المرحلة ، كان أحد الزملاء قد قام بالفعل بتنفيذ برنامج نصي PowerShell ، يقوم كل يوم وفقًا لجدول زمني بجمع معلومات على جميع الأجهزة من جميع vCenter-s وشكلوا 3 مستندات بتنسيق csv (كل منها في vCenter خاص به) ، والتي وضعت على قرص مشترك. تقرر اتخاذ هذا البرنامج النصي كأساس وإكماله بشيكات باستخدام لغة البحث ، والتي كانت لدي بعض الخبرة فيها.

في عملية وضع اللمسات الأخيرة ، غمر الحل بالإبلاغ عن طريق البريد وقاعدة بيانات تحتوي على الجداول الرئيسية والتاريخية (المزيد حول هذا لاحقًا) ، بالإضافة إلى تحليل سجلات vSphere للعثور على منشئي vm الفعلي والوقت الذي تم إنشائها.

لأغراض التطوير ، تم استخدام IDE RStudio Desktop و PowerShell ISE.

يتم تشغيل البرنامج النصي من جهاز ظاهري منتظم في Windows.

وصف المنطق العام.

المنطق العام للنصوص هو على النحو التالي.

نقوم بجمع البيانات على الأجهزة الافتراضية باستخدام برنامج PowerShell النصي ، والذي يسمى عبر R ، يتم دمج النتيجة في ملف CSV واحد. التفاعل العكسي بين اللغات يتم بالمثل. (كان من الممكن نقل البيانات مباشرةً من R إلى PowerShell في شكل متغيرات ، ولكن من الصعب ، وحتى مع csv الوسيط ، من السهل تصحيح الأخطاء ومشاركة النتائج الوسيطة مع شخص ما).
باستخدام R ، نقوم بتكوين معلمات صالحة للحقول التي نتحقق من قيمها. - نقوم بتكوين مستند كلمة يحتوي على قيم هذه الحقول لإدراجها في خطاب معلومات سيكون إجابة على أسئلة الزملاء "ليس جيدًا ، ولكن كيف ينبغي أن أقوم بملء هذا؟"
نقوم بتحميل البيانات على جميع VMs من ملف CSV باستخدام R ، ونشكل إطار بيانات ، ونزيل الحقول غير الضرورية ونشكل وثيقة معلومات xlsx تحتوي على معلومات موجزة عن جميع VMs التي نقوم بتحميلها إلى مورد مشترك.
بالنسبة إلى dataframe لجميع VM ، نطبق جميع عمليات التحقق من صحة ملء الحقول ونشكل جدولًا يحتوي على VMs فقط مع الحقول التي تم ملؤها بشكل غير صحيح (وهذه الحقول فقط).
يتم إرسال قائمة VMs الناتجة إلى برنامج نصي PowerShell آخر ، والذي سيبحث في سجلات vCenter لأحداث إنشاء VM ، مما سيتيح لك تحديد الوقت المقدر لإنشاء VM والمنشئ المقصود. هذا هو الحال عندما لا يعترف أحد بسيارته. لا يعمل هذا البرنامج النصي بسرعة ، خاصةً إذا كان هناك الكثير من السجلات ، لذلك نحن ننظر فقط في الأسبوعين الأخيرين ، ونستخدم أيضًا سير العمل ، والذي يسمح لك بالبحث عن المعلومات على العديد من VMs في نفس الوقت. في البرنامج النصي المثال ، هناك تعليقات مفصلة على هذه الآلية. تتم إضافة النتيجة إلى ملف CSV ، والذي يتم تحميله مرة أخرى في R.
نقوم بتكوين مستند xlsx منسق بشكل جميل يتم فيه تمييز الحقول المملوءة بشكل غير صحيح باللون الأحمر ، وسيتم تطبيق المرشحات على بعض الأعمدة ، وستتم الإشارة إلى أعمدة إضافية تحتوي على منشئي المزعوم وسيتم الإشارة إلى وقت إنشاء VM.
نحن نشكل بريدًا إلكترونيًا ، حيث نضع مستندًا يصف قيم الحقول الصالحة ، بالإضافة إلى جدول معبأ بشكل غير صحيح. في النص ، نشير إلى العدد الإجمالي لأجهزة VM التي تم إنشاؤها بشكل غير صحيح ، ورابط لمورد مشترك وصورة تحفيزية. إذا لم تكن هناك أجهزة VM مكتظة بالسكان بشكل غير صحيح ، فنحن نرسل خطابًا آخر به صورة تحفيزية أكثر متعة.
نقوم بتسجيل البيانات على جميع VMs في قاعدة بيانات SQL Server ، مع الأخذ في الاعتبار الآلية المنفذة للجداول التاريخية (آلية مثيرة للاهتمام للغاية - حولها بمزيد من التفصيل)

في الواقع مخطوطات

الملف الرئيسي مع رمز ل R

#     (       ) setwd("C:\\Scripts\\getVm") ####    #### library(tidyverse) library(xlsx) library(mailR) library(rmarkdown) #####         ##### source(file = "const.R", local = T, encoding = "utf-8") #        ,  . if (file.exists(filenameVmCreationRules)) {file.remove(filenameVmCreationRules)} ####       render("VM_name_rules.Rmd", output_format = word_document(), output_file = filenameVmCreationRules) #        ,   if (file.exists(allVmXlsxPath)) {file.remove(allVmXlsxPath)} ####       PowerShell .    csv. system(paste0("powershell -File ", getVmPsPath)) #  df fullXslx_df <- allVmXlsxPath %>% read.csv2(stringsAsFactors = FALSE) #     full_df <- fullXslx_df %>% mutate( #       ,    ,      , isSubsystemCorrect = Subsystem %>% gsub("[[:space:]]", "", .) %>% str_split(., ",") %>% map(function(x) (all(x %in% AllowedValues$Subsystem))) %>% as.logical(), isOwnerCorrect = Owner %in% AllowedValues$Owner, isCategoryCorrect = Category %in% AllowedValues$Category, isCreatorCorrect = (!is.na(Creator) & Creator != ''), isCreation.DateCorrect = map(Creation.Date, IsDate) ) #        ,  . if (file.exists(filenameAll)) {file.remove(filenameAll)} ####  xslx    #### #      full_df %>% write.xlsx(file=filenameAll, sheetName=names[1], col.names=TRUE, row.names=FALSE, append=FALSE) ####  xslx      #### #  df incorrect_df <- full_df %>% select(VM.Name, IP.s, Owner, Subsystem, Creator, Category, Creation.Date, isOwnerCorrect, isSubsystemCorrect, isCategoryCorrect, isCreatorCorrect, vCenter.Name) %>% filter(isSubsystemCorrect == F | isOwnerCorrect == F | isCategoryCorrect == F | isCreatorCorrect == F) #        ,  . if (file.exists(filenameIncVM)) {file.remove(filenameIncVM)} #   VM     csv incorrect_df %>% select(VM.Name) %>% write_csv2(path = filenameIncVM, append = FALSE) #      incorrect_df_filtered <- incorrect_df %>% select(VM.Name, IP.s, Owner, Subsystem, Category, Creator, vCenter.Name, Creation.Date ) #    numberOfRows <- nrow(incorrect_df) ####   #### #        ,  . #   -     if (numberOfRows > 0) { #       ,  . if (file.exists(creatorsFilePath)) {file.remove(creatorsFilePath)} #  PowerShell ,     VM.    csv. system(paste0("powershell -File ", getCreatorsPath)) #     creators_df <- creatorsFilePath %>% read.csv2(stringsAsFactors = FALSE) #     ,       incorrect_df_filtered <- incorrect_df_filtered %>% select(VM.Name, IP.s, Owner, Subsystem, Category, Creator, vCenter.Name, Creation.Date ) %>% left_join(creators_df, by = "VM.Name") %>% rename(` ` = CreatedBy, `  ` = CreatedOn) #    emailBody <- paste0( '<html> <h3> ,  .</h3> <p>           H:  :<p> <p>\\\\server.ru\\VM\\', sourceFileFormat, '</p> <p>      <strong> </strong> .   <strong>', numberOfRows,'</strong>.</p> <p>   2  . <strong> </strong>  <strong>  </strong>,     vCenter   2 </p> <p>        .      </p> <p><img src="data/meme.jpg"></p> </html>' ) #    if (file.exists(filenameIncorrect)) {file.remove(filenameIncorrect)} #       .. source(file = "email.R", local = T, encoding = "utf-8") ####       #### send.mail(from = emailParams$from, to = emailParams$to, subject = "    ", body = emailBody, encoding = "utf-8", html = TRUE, inline = TRUE, smtp = emailParams$smtpParams, authenticate = TRUE, send = TRUE, attach.files = c(filenameIncorrect, filenameVmCreationRules), debug = FALSE) ####   ,      #### } else { #    emailBody <- paste0( '<html> <h3> ,  </h3> <p>           H:  :<p> <p>\\\\server.ru\\VM\\', sourceFileFormat, '</p> <p>,   ,     </p> <p><img src="data/meme_correct.jpg"></p> </html>' ) ####      VM #### send.mail(from = emailParams$from, to = emailParams$to, subject = " ", body = emailBody, encoding = "utf-8", html = TRUE, inline = TRUE, smtp = emailParams$smtpParams, authenticate = TRUE, send = TRUE, debug = FALSE) } #######     ##### source(file = "DB.R", local = T, encoding = "utf-8")

النصي للحصول على قائمة vm على PowerShell

 #       $vCenterNames = @( "vcenter01", "vcenter02", "vcenter03" ) $vCenterUsername = "myusername" $vCenterPassword = "mypassword" $filename = "C:\Scripts\getVm\data\allvm\all-vm-$(get-date -f yyyy-MM-dd).csv" $destinationSMB = "\\server.ru\myfolder$\vm" $IP0="" $IP1="" $IP2="" $IP3="" $IP4="" $IP5="" #    vCenter,    .  ,      (, ) Connect-VIServer -Server $vCenterNames -User $vCenterUsername -Password $vCenterPassword write-host "" #       vCenter- function Get-VMinventory { #       ,   $AllVM = Get-VM | Sort Name $cnt = $AllVM.Count $count = 1 #            foreach ($vm in $AllVM) { $StartTime = $(get-date) $IP0 = $vm.Guest.IPAddress[0] $IP1 = $vm.Guest.IPAddress[1] $IP2 = $vm.Guest.IPAddress[2] $IP3 = $vm.Guest.IPAddress[3] $IP4 = $vm.Guest.IPAddress[4] $IP5 = $vm.Guest.IPAddress[5] If ($IP0 -ne $null) {If ($IP0.Contains(":") -ne 0) {$IP0=""}} If ($IP1 -ne $null) {If ($IP1.Contains(":") -ne 0) {$IP1=""}} If ($IP2 -ne $null) {If ($IP2.Contains(":") -ne 0) {$IP2=""}} If ($IP3 -ne $null) {If ($IP3.Contains(":") -ne 0) {$IP3=""}} If ($IP4 -ne $null) {If ($IP4.Contains(":") -ne 0) {$IP4=""}} If ($IP5 -ne $null) {If ($IP5.Contains(":") -ne 0) {$IP5=""}} $cluster = $vm | Get-Cluster | Select-Object -ExpandProperty name $Bootime = $vm.ExtensionData.Runtime.BootTime $TotalHDDs = $vm.ProvisionedSpaceGB -as [int] $CreationDate = $vm.CustomFields.Item("CreationDate") -as [string] $Creator = $vm.CustomFields.Item("Creator") -as [string] $Category = $vm.CustomFields.Item("Category") -as [string] $Owner = $vm.CustomFields.Item("Owner") -as [string] $Subsystem = $vm.CustomFields.Item("Subsystem") -as [string] $IPS = $vm.CustomFields.Item("IP") -as [string] $vCPU = $vm.NumCpu $CorePerSocket = $vm.ExtensionData.config.hardware.NumCoresPerSocket $Sockets = $vCPU/$CorePerSocket $Id = $vm.Id.Split('-')[2] -as [int] #       $Vmresult = New-Object PSObject $Vmresult | add-member -MemberType NoteProperty -Name "Id" -Value $Id $Vmresult | add-member -MemberType NoteProperty -Name "VM Name" -Value $vm.Name $Vmresult | add-member -MemberType NoteProperty -Name "Cluster" -Value $cluster $Vmresult | add-member -MemberType NoteProperty -Name "Esxi Host" -Value $VM.VMHost $Vmresult | add-member -MemberType NoteProperty -Name "IP Address 1" -Value $IP0 $Vmresult | add-member -MemberType NoteProperty -Name "IP Address 2" -Value $IP1 $Vmresult | add-member -MemberType NoteProperty -Name "IP Address 3" -Value $IP2 $Vmresult | add-member -MemberType NoteProperty -Name "IP Address 4" -Value $IP3 $Vmresult | add-member -MemberType NoteProperty -Name "IP Address 5" -Value $IP4 $Vmresult | add-member -MemberType NoteProperty -Name "IP Address 6" -Value $IP5 $Vmresult | add-member -MemberType NoteProperty -Name "vCPU" -Value $vCPU $Vmresult | Add-Member -MemberType NoteProperty -Name "CPU Sockets" -Value $Sockets $Vmresult | Add-Member -MemberType NoteProperty -Name "Core per Socket" -Value $CorePerSocket $Vmresult | add-member -MemberType NoteProperty -Name "RAM (GB)" -Value $vm.MemoryGB $Vmresult | add-member -MemberType NoteProperty -Name "Total-HDD (GB)" -Value $TotalHDDs $Vmresult | add-member -MemberType NoteProperty -Name "Power State" -Value $vm.PowerState $Vmresult | add-member -MemberType NoteProperty -Name "OS" -Value $VM.ExtensionData.summary.config.guestfullname $Vmresult | Add-Member -MemberType NoteProperty -Name "Boot Time" -Value $Bootime $Vmresult | add-member -MemberType NoteProperty -Name "VMTools Status" -Value $vm.ExtensionData.Guest.ToolsStatus $Vmresult | add-member -MemberType NoteProperty -Name "VMTools Version" -Value $vm.ExtensionData.Guest.ToolsVersion $Vmresult | add-member -MemberType NoteProperty -Name "VMTools Version Status" -Value $vm.ExtensionData.Guest.ToolsVersionStatus $Vmresult | add-member -MemberType NoteProperty -Name "VMTools Running Status" -Value $vm.ExtensionData.Guest.ToolsRunningStatus $Vmresult | add-member -MemberType NoteProperty -Name "Creation Date" -Value $CreationDate $Vmresult | add-member -MemberType NoteProperty -Name "Creator" -Value $Creator $Vmresult | add-member -MemberType NoteProperty -Name "Category" -Value $Category $Vmresult | add-member -MemberType NoteProperty -Name "Owner" -Value $Owner $Vmresult | add-member -MemberType NoteProperty -Name "Subsystem" -Value $Subsystem $Vmresult | add-member -MemberType NoteProperty -Name "IP's" -Value $IPS $Vmresult | add-member -MemberType NoteProperty -Name "vCenter Name" -Value $vm.Uid.Split('@')[1].Split(':')[0] #           .   ,      . $elapsedTime = $(get-date) - $StartTime $totalTime = "{0:HH:mm:ss}" -f ([datetime]($elapsedTime.Ticks*($cnt - $count))) clear-host Write-Host "Processing" $count "from" $cnt Write-host "Progress:" ([math]::Round($count/$cnt*100, 2)) "%" Write-host "You have about " $totalTime "for cofee" Write-host "" $count++ #  ,   ""       $Vmresult } } #         csv $allVm = Get-VMinventory | Export-CSV -Path $filename -NoTypeInformation -UseCulture -Force #         ,   ,  . try { Copy-Item $filename -Destination $destinationSMB -Force -ErrorAction SilentlyContinue } catch { $error | Export-CSV -Path $filename".error" -NoTypeInformation -UseCulture -Force }

البرنامج النصي PowerShell يسحب سجلات منشئي الأجهزة الظاهرية وتواريخ إنشائهم

 #   ,      VM $VMfilePath = "C:\Scripts\getVm\creators_VM\creators_VM_$(get-date -f yyyy-MM-dd).csv" #   ,      $filePath = "C:\Scripts\getVm\data\creators\creators-$(get-date -f yyyy-MM-dd).csv" #   Workflow GetCreators-Wf { # ,        param([string[]]$VMfilePath) # ,     workflow $vCenterUsername = "myusername" $vCenterPassword = "mypassword" $daysToLook = 14 $start = (get-date).AddDays(-$daysToLook) $finish = get-date # ,     csv  ,       $UnknownUser = "UNKNOWN" $UnknownCreatedTime = "0000-00-00" #      ,      . $vCenterNames = @( "vcenter01", "vcenter02", "vcenter03" ) #   VM  csv     $list = Import-Csv $VMfilePath -UseCulture | select -ExpandProperty VM.Name # ,     ( 5   ) foreach -parallel ($row in $list) { #  ,       ,     $Using InlineScript { #      $StartTime = $(get-date) Write-Host "" Write-Host "Processing $Using:row started at $StartTime" Write-Host "" #    ,         $con = Connect-VIServer -Server $Using:vCenterNames -User $Using:vCenterUsername -Password $Using:vCenterPassword #   vm $vm = Get-VM -Name $Using:row #  2  .     ,  - .   , $Event = $vm | Get-VIEvent -Start $Using:start -Finish $Using:finish -Types Info | Where { $_.Gettype().Name -eq "VmBeingDeployedEvent" -or $_.Gettype().Name -eq "VmCreatedEvent" -or $_.Gettype().Name -eq "VmRegisteredEvent" -or $_.Gettype().Name -eq "VmClonedEvent"} # $Event = $vm | Get-VIEvent -Types Info | Where { $_.Gettype().Name -eq "VmBeingDeployedEvent" -or $_.Gettype().Name -eq "VmCreatedEvent" -or $_.Gettype().Name -eq "VmRegisteredEvent" -or $_.Gettype().Name -eq "VmClonedEvent"} #      ,      - If (($Event | Measure-Object).Count -eq 0){ $User = $Using:UnknownUser $Created = $Using:UnknownCreatedTime $CreatedFormat = $Using:UnknownCreatedTime } Else { If ($Event.Username -eq "" -or $Event.Username -eq $null) { $User = $Using:UnknownUser } Else { $User = $Event.Username } # Else $CreatedFormat = $Event.CreatedTime #     ,      ,   .      . $Created = $Event.CreatedTime.ToString('yyyy-MM-dd') } # Else Write-Host "Creator for $vm is $User. Creating object." #  .  . $Vmresult = New-Object PSObject $Vmresult | add-member -MemberType NoteProperty -Name "VM Name" -Value $vm.Name $Vmresult | add-member -MemberType NoteProperty -Name "CreatedBy" -Value $User $Vmresult | add-member -MemberType NoteProperty -Name "CreatedOn" -Value $CreatedFormat $Vmresult | add-member -MemberType NoteProperty -Name "CreatedOnFormat" -Value $Created #   $Vmresult } # Inline } # ForEach } $Creators = GetCreators-Wf $VMfilePath #     $Creators | select 'VM Name', CreatedBy, CreatedOn | Export-Csv -Path $filePath -NoTypeInformation -UseCulture -Force Write-Host "CSV generetion finisghed at $(get-date). PROFIT"

تستحق مكتبة xlsx اهتمامًا خاصًا ، مما مكّن من جعل المرفق بالحرف منسقًا بوضوح (كما يحب الدليل) ، وليس فقط جدول csv.

إنشاء مستند xlsx جميل مع قائمة الأجهزة المملوءة بشكل غير صحيح

 #    #   : "xls"  "xlsx" wb<-createWorkbook(type="xlsx") #         TABLE_ROWNAMES_STYLE <- CellStyle(wb) + Font(wb, isBold=TRUE) TABLE_COLNAMES_STYLE <- CellStyle(wb) + Font(wb, isBold=TRUE) + Alignment(wrapText=TRUE, horizontal="ALIGN_CENTER") + Border(color="black", position=c("TOP", "BOTTOM"), pen=c("BORDER_THIN", "BORDER_THICK")) #    sheet <- createSheet(wb, sheetName = names[2]) #   addDataFrame(incorrect_df_filtered, sheet, startRow=1, startColumn=1, row.names=FALSE, byrow=FALSE, colnamesStyle = TABLE_COLNAMES_STYLE, rownamesStyle = TABLE_ROWNAMES_STYLE) #  ,     autoSizeColumn(sheet = sheet, colIndex=c(1:ncol(incorrect_df))) #   addAutoFilter(sheet, cellRange = "C1:G1") #   fo2 <- Fill(foregroundColor="red") cs2 <- CellStyle(wb, fill = fo2, dataFormat = DataFormat("@")) #              rowsOwner <- getRows(sheet, rowIndex = (which(!incorrect_df$isOwnerCorrect) + 1)) cellsOwner <- getCells(rowsOwner, colIndex = which( colnames(incorrect_df_filtered) == "Owner" )) lapply(names(cellsOwner), function(x) setCellStyle(cellsOwner[[x]], cs2)) #              rowsSubsystem <- getRows(sheet, rowIndex = (which(!incorrect_df$isSubsystemCorrect) + 1)) cellsSubsystem <- getCells(rowsSubsystem, colIndex = which( colnames(incorrect_df_filtered) == "Subsystem" )) lapply(names(cellsSubsystem), function(x) setCellStyle(cellsSubsystem[[x]], cs2)) #    rowsCategory <- getRows(sheet, rowIndex = (which(!incorrect_df$isCategoryCorrect) + 1)) cellsCategory <- getCells(rowsCategory, colIndex = which( colnames(incorrect_df_filtered) == "Category" )) lapply(names(cellsCategory), function(x) setCellStyle(cellsCategory[[x]], cs2)) #  rowsCreator <- getRows(sheet, rowIndex = (which(!incorrect_df$isCreatorCorrect) + 1)) cellsCreator <- getCells(rowsCreator, colIndex = which( colnames(incorrect_df_filtered) == "Creator" )) lapply(names(cellsCreator), function(x) setCellStyle(cellsCreator[[x]], cs2)) #   saveWorkbook(wb, filenameIncorrect)

الإخراج هو شيء مثل هذا:

كان هناك أيضا فارق بسيط للاهتمام في إعداد جدولة ويندوز. لم ينجح الأمر في التقاط المعلمات الصحيحة للحقوق والإعدادات حتى يبدأ كل شيء كما يجب. نتيجة لذلك ، تم العثور على مكتبة R ، والتي تنشئ نفسها مهمة لتشغيل البرنامج النصي R ولا تنسى حتى ملف السجل. ثم يمكنك تصحيح المهمة مع الأقلام.

جزء من رمز R مع مثالين يقوم بإنشاء مهمة في Windows Scheduler

 library(taskscheduleR) myscript <- file.path(getwd(), "all_vm.R") ##    62  taskscheduler_create(taskname = "getAllVm", rscript = myscript, schedule = "ONCE", starttime = format(Sys.time() + 62, "%H:%M")) ##      09:10 taskscheduler_create(taskname = "getAllVmDaily", rscript = myscript, schedule = "WEEKLY", days = c("MON", "TUE", "WED", "THU", "FRI"), starttime = "02:00") ##   taskscheduler_delete(taskname = "getAllVm") taskscheduler_delete(taskname = "getAllVmDaily") #   ( 4 ) tail(readLines("all_vm.log"), sep ="\n", n = 4)

بشكل منفصل ، حول قاعدة البيانات

بعد إعداد البرنامج النصي ، بدأت أسئلة أخرى في الظهور. على سبيل المثال ، أردت أن أجد التاريخ الذي تم فيه حذف VM ، وكانت السجلات في vCenter قد تم ارتداؤها بالفعل. نظرًا لأن البرنامج النصي يضع الملفات في المجلد يوميًا ولا يقوم بتنظيفها (نقوم بتنظيفها بأيدينا عندما نتذكر) ، يمكنك إلقاء نظرة على الملفات القديمة والعثور على الملف الأول الذي لا يوجد فيه جهاز VM هذا. لكن هذا ليس باردا.

كنت أرغب في إنشاء قاعدة بيانات تاريخية.

جاءت وظيفة MS SQL SERVER للمساعدة - جدول زمني تم إصداره بواسطة النظام. تتم ترجمته عادةً كجداول مؤقتة (غير مؤقتة).

يمكنك قراءة التفاصيل في وثائق Microsoft الرسمية .

باختصار ، نقوم بإنشاء جدول ، ونقول إننا سنوفره مع الإصدار وأن SQL Server ينشئ عمودين إضافيين في هذا الجدول (تاريخ إنشاء السجل وتاريخ انتهاء صلاحية السجل) وجدولًا إضافيًا سيتم كتابة التغييرات به. نتيجة لذلك ، نحصل على المعلومات ذات الصلة ، ومن خلال الاستعلامات البسيطة ، التي ترد أمثلة عنها في الوثائق ، يمكننا أن نرى إما دورة حياة جهاز ظاهري معين أو حالة جميع أجهزة VM في وقت معين.

فيما يتعلق بالأداء ، لن تكتمل معاملة الكتابة إلى الجدول الرئيسي حتى يتم إكمال معاملة الكتابة إلى الجدول المؤقت. أي في الجداول التي تحتوي على عدد كبير من عمليات الكتابة ، يجب تنفيذ هذه الوظيفة بحذر ، ولكن في حالتنا ، هذا شيء رائع للغاية.

لكي تعمل الآلية بشكل صحيح ، كان من الضروري إضافة جزء صغير من التعليمات البرمجية على R من شأنه مقارنة الجدول الجديد بالبيانات الخاصة بجميع أجهزة VM بالجهاز المخزن في قاعدة البيانات وكتابة الصفوف التي تم تغييرها إليها فقط. الرمز ليس صعبًا جدًا ، فهو يستخدم مكتبة comparDF ، لكنني سأعطيه أيضًا أدناه.

رمز R لكتابة البيانات إلى قاعدة البيانات

 #   library(odbc) library(compareDF) #   con <- dbConnect(odbc(), Driver = "ODBC Driver 13 for SQL Server", Server = DBParams$server, Database = DBParams$database, UID = DBParams$UID, PWD = DBParams$PWD, Port = 1433) ####    .   - . #### if (!dbExistsTable(con, DBParams$TblName)) { ####   #### create <- dbSendStatement( con, paste0( 'CREATE TABLE ', DBParams$TblName, '( [Id] [int] NOT NULL PRIMARY KEY CLUSTERED, [VM.Name] [varchar](255) NULL, [Cluster] [varchar](255) NULL, [Esxi.Host] [varchar](255) NULL, [IP.Address.1] [varchar](255) NULL, [IP.Address.2] [varchar](255) NULL, [IP.Address.3] [varchar](255) NULL, [IP.Address.4] [varchar](255) NULL, [IP.Address.5] [varchar](255) NULL, [IP.Address.6] [varchar](255) NULL, [vCPU] [int] NULL, [CPU.Sockets] [int] NULL, [Core.per.Socket] [int] NULL, [RAM..GB.] [int] NULL, [Total.HDD..GB.] [int] NULL, [Power.State] [varchar](255) NULL, [OS] [varchar](255) NULL, [Boot.Time] [varchar](255) NULL, [VMTools.Status] [varchar](255) NULL, [VMTools.Version] [int] NULL, [VMTools.Version.Status] [varchar](255) NULL, [VMTools.Running.Status] [varchar](255) NULL, [Creation.Date] [varchar](255) NULL, [Creator] [varchar](255) NULL, [Category] [varchar](255) NULL, [Owner] [varchar](255) NULL, [Subsystem] [varchar](255) NULL, [IP.s] [varchar](255) NULL, [vCenter.Name] [varchar](255) NULL, DateFrom datetime2 GENERATED ALWAYS AS ROW START NOT NULL, DateTo datetime2 GENERATED ALWAYS AS ROW END NOT NULL, PERIOD FOR SYSTEM_TIME (DateFrom, DateTo) ) ON [PRIMARY] WITH (SYSTEM_VERSIONING = ON (HISTORY_TABLE = ', DBParams$TblHistName,'));' ) ) #    dbClearResult(create) } # if ####     #### #  ,     allVM_db_con <- tbl(con, DBParams$TblName) ####   #### #     (   ) allVM_db <- allVM_db_con %>% select(c(-"DateTo", -"DateFrom")) %>% collect() #     .   Id #       -,   +,   -  + ctable_VM <- fullXslx_df %>% compare_df(allVM_db, c("Id")) ####   #### #  Id ,      remove_Id <- ctable_VM$comparison_df %>% filter(chng_type == "-") %>% select(Id) # ,    (   -     ) if (remove_Id %>% nrow() > 0) { #        delete <- dbSendStatement(con, paste0(' DELETE FROM ', DBParams$TblName, ' WHERE "Id"=? ') # paste ) # send #      dbBind(delete, remove_Id) #    dbClearResult(delete) } # if ####   #### #  ,  ,   . allVM_add <- ctable_VM$comparison_df %>% filter(chng_type == "+") %>% select(-chng_type) # ,   ,      (  -  ) if (allVM_add %>% nrow() > 0) { #       dbWriteTable(con, DBParams$TblName, allVM_add, overwrite = FALSE, append = TRUE) } # if ####     #### dbDisconnect(con)

في المجموع

نتيجة لإدخال البرنامج النصي ، تم الحفاظ على النظام والحفاظ عليه لعدة أشهر. في بعض الأحيان تظهر VMs المكتظة بشكل غير صحيح ، ولكن البرنامج النصي بمثابة تذكير جيد ويتم إدخال VM نادر في القائمة لمدة يومين على التوالي.

تم إجراء احتياطي أيضًا لتحليل البيانات التاريخية.

من الواضح أن الكثير من هذا لا يمكن تحقيقه "على الركب" ، ولكن مع البرامج المتخصصة ، ولكن المهمة كانت مثيرة للاهتمام ، وقد يقول المرء أنها اختيارية.

أثبتت R مرة أخرى أنها لغة عالمية رائعة ، وهي مثالية ليس فقط لحل المشكلات الإحصائية ، ولكن أيضًا بمثابة "وضع" ممتاز بين مصادر البيانات الأخرى.