Jenkins SQL Server自动化:精美返回结果

再次延续在RDS下重新安排零接触PROD的主题 。 未来的DBA将无法直接连接到PROD服务器,但将能够使用Jenkins作业进行有限的一组操作。 DBA开始工作,过了一会儿收到一封信,其中包含有关此操作完成的报告。 让我们看看将这些结果呈现给用户的方法。



纯文字


让我们从最琐碎的事情开始。 第一种方法是如此简单,以至于无话可说(以下作者使用FreeStyle作业):



sqlcmd做一些事情,我们将其呈现给用户。 例如,理想的备份作业:



顺便说一下,我们不会忘记在RDS下备份/还原是异步的,因此我们应该等待它:

declare @rds table (id int, task_type varchar(128), database_name sysname, pct int, duration int, lifecycle varchar(128), taskinfo varchar(max) null, upd datetime, cre datetime, s3 varchar(256), ovr int, KMS varchar(256) null) waitfor delay '00:00:20' insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' select @xid=max(id) from @rds again: waitfor delay '00:00:02' delete from @rds insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' # {db} substituted with db name by powershell select @stat=lifecycle,@info=taskinfo from @rds where id=@xid if @stat not in ('ERROR','SUCCESS','CANCELLED') goto again 

第二种方式,CSV


这里的一切也非常简单:



但是,仅当返回到CSV的数据“简单”时,此方法才有效。 例如,如果您尝试返回TOP N CPU密集型查询列表,则CSV将“损坏”,原因是查询文本可以包含任何字符-逗号,引号,甚至换行符。 因此,我们需要更复杂的东西。

漂亮的HTML标签


我马上给你一个代码片段

 $Header = @" <style> TABLE {border-width: 1px; border-style: solid; border-color: black; border-collapse: collapse;} TH {border-width: 1px; padding: 3px; border-style: solid; border-color: black; background-color: #6495ED;} TD {border-width: 1px; padding: 3px; border-style: solid; border-color: black;} </style> "@ $Result = invoke-Sqlcmd -ConnectionString $jstr -Query "select * from DbInv" ` | Select-Object -Property * -ExcludeProperty "ItemArray", "RowError", "RowState", "Table", "HasErrors" if ($Result -eq $null) { $cnt = 0; } elseif ($Result.getType().FullName -eq "System.Management.Automation.PSCustomObject") { $cnt = 1; } else { $cnt = $Result.Rows.Count; } if ($cnt -gt 0) { $body = "<h2>My table</h2>" $Result | ConvertTo-HTML -Title "Rows" -Head $header -body $body ` | Out-File "res.log" -Append -Encoding UTF8 } else { "<h3>No data</h3>" | Out-File "res.log" -Append -Encoding UTF8 } 

顺便说一下,请注意System.Management.Automation.PSCustomObject所在的行,这很神奇,如果网格中只有一行,那么就会出现一些问题。 这个决定是从互联网上做出的,没有太多了解。 结果,您得到的输出如下所示:



绘制图形


警告:以下错误代码!

对SQL服务器有一个有趣的查询,它显示最近N分钟的CPU-事实证明,马洛同志会记住一切! 试试这个:

 DECLARE @ts_now bigint = (SELECT cpu_ticks/(cpu_ticks/ms_ticks) FROM sys.dm_os_sys_info WITH (NOLOCK)); SELECT TOP(256) DATEADD(ms, -1 * (@ts_now - [timestamp]), GETDATE()) AS [EventTime], SQLProcessUtilization AS [SQLCPU], 100 - SystemIdle - SQLProcessUtilization AS [OtherCPU] FROM (SELECT record.value('(./Record/@id)[1]', 'int') AS record_id, record.value('(./Record/SchedulerMonitorEvent/SystemHealth/SystemIdle)[1]', 'int') AS [SystemIdle], record.value('(./Record/SchedulerMonitorEvent/SystemHealth/ProcessUtilization)[1]', 'int') AS [SQLProcessUtilization], [timestamp] FROM (SELECT [timestamp], CONVERT(xml, record) AS [record] FROM sys.dm_os_ring_buffers WITH (NOLOCK) WHERE ring_buffer_type = N'RING_BUFFER_SCHEDULER_MONITOR' AND record LIKE N'%<SystemHealth>%') AS x) AS y ORDER BY 1 DESC OPTION (RECOMPILE); 

现在使用这种格式($ Fragment变量)
 <table style="width: 100%"><tbody><tr style="background-color: white; height: 2pt;"> <td style="width: SQLCPU%; background-color: green;"></td> <td style="width: OtherCPU%; background-color: blue;"></td> <td style="width: REST%; background-color: #C0C0C0;"></td></tr></tbody> </table> 

我们可以形成这封信的正文:
 $Result = invoke-Sqlcmd -ConnectionString $connstr -Query $Query ` | Select-Object -Property * -ExcludeProperty ` "ItemArray", "RowError", "RowState", "Table", "HasErrors" if ($Result.HasRows) { foreach($item in $Result) { $time = $itemEventTime $sqlcpu = $item.SQLCPU $other = $itemOtherCPU $rest = 100 - $sqlcpu - $other $f = $fragment -replace "SQLCPU", $sqlcpu $f = $f -replace "OtherCPU", $other $f = $f -replace "REST", $rest $f | Out-File "res.log" -Append -Encoding UTF8 } 

看起来像这样:



是的,Monsieur对变态知识了解很多! 有趣的是,此代码包含:Powershell(写在上面),SQL,Xquery,HTML。 遗憾的是我们不能将Javascript添加到HTML(因为这是为了编写),但是研磨Python代码(可以在SQL中使用)是每个人的责任!

SQL事件探查器跟踪输出


显然,由于TextData字段,跟踪不会“适合”到CSV中。 但是,以字母显示网格也很奇怪-既因为尺寸大,又因为经常将这些数据用于进一步分析。 因此,我们执行以下操作:我们通过invoke-SqlCmd调用某个脚本,该脚本在其肠道中完成

 select SPID,EventClass,TextData, Duration,Reads,Writes,CPU, StartTime,EndTime,DatabaseName,HostName, ApplicationName,LoginName from ::fn_trace_gettable ( @filename , default ) 

此外,在DBA可以访问的另一台服务器上,有一个带有空空白的Traces基座,一个Model板,准备接受所有指定的列。 我们将此模型复制到具有唯一名称的新表中:

 $dt = Get-Date -format "yyyyMMdd" $tm = Get-Date -format "hhmmss" $tableName = $srv + "_" + $dt + "_" + $tm $copytab = "select * into " + $tableName + " from Model" invoke-SqlCmd -ConnectionString $tstr -Query $copytab 

现在我们可以使用Data.SqlClient.SqlBulkCopy向它写入跟踪信息 -上面已经给出了一个示例。 是的,最好屏蔽TextData中的常量:

 # mask data foreach ($Row in $Result) { $v = $Row["TextData"] $v = $v -replace "'([^']{2,})'", "'str'" -replace "[0-9][0-9]+", '999' $Row["TextData"] = $v } 

我们用多个字符替换长度为999的数字,并用'str'替换长度超过一个字符的字符串。 从0到9的数字通常用作标志,我们不使用它们,也不使用空字符和单字符字符串-其中经常出现'Y','N'等。

为我们的生活增添色彩(至少18岁以上)


在平板电脑中,您通常要突出显示需要注意的单元格。 例如,失败,高级别的碎片等。 当然,这也可以在裸露的SQL上完成,使用PRINT形成HTML,在Jenkins中,您可以设置HTML文件类型:

 declare @body varchar(max), @chunk varchar(max) set @body='<font face="Lucida Console" size="3">' set @body=@body+'<b>Server name: '+@@servername+'</b><br>' set @body=@body+'<br><br>' set @body=@body+'<table><tr><th>Job</th><th>Last Run</th><th>Avg Duration, sec</th><th>Last Run, Sec</th><th>Last Status</th></tr>' print @body DECLARE tab CURSOR FOR SELECT '<tr><td>'+name+'</td><td>'+ LastRun+'</td><td>'+ convert(varchar,AvgDuration)+'</td><td>'+ convert(varchar,LastDuration)+'</td><td>'+ case when LastStatus<>'Succeeded' then '<font color="red">' else '' end+ LastStatus+ case when LastStatus<>'Succeeded' then '</font>' else '' end+ +'</td><td>' from #j2 OPEN tab; FETCH NEXT FROM tab into @chunk WHILE @@FETCH_STATUS = 0 BEGIN print @chunk FETCH NEXT FROM tab into @chunk; END CLOSE tab; DEALLOCATE tab; print '</table>' 

我为什么要编写这样的代码?



但是,还有一个更漂亮的解决方案。 ConvertTo-HTML不允许我们对单元进行着色,但是我们可以在事后进行。 例如,我们要选择碎片级别大于80且大于90的单元。添加样式:

 <style> .SQLmarkup-red { color: red; background-color: yellow; } .SQLmarkup-yellow { color: black; background-color: #FFFFE0; } .SQLmarkup-default { color: black; background-color: white; } </style> 

在qi本身中,我们将直接向要着色列添加一个虚拟列。 该列应称为SQLmarkup-
 case when ps.avg_fragmentation_in_percent>=90.0 then 'SQLmarkup-red' when ps.avg_fragmentation_in_percent>=80.0 then 'SQLmarkup-yellow' else 'SQLmarkup-default' end as [SQLmarkup-1], ps.avg_fragmentation_in_percent, 

现在,在接收到Powershell创建的HTML之后,我们将从标题中删除虚拟列,并将该列中的值传输到数据主体中的样式。 只需两个排列即可完成:

 $html = $html ` -replace "<th>SQLmarkup[^<]*</th>", "" ` -replace "<td>SQLmarkup-(.+?)</td><td>",'<td class="SQLmarkup-$1">' 

结果:



不优雅吗? 虽然没有,但这种颜色使我想起

Source: https://habr.com/ru/post/zh-CN447242/


All Articles