Linux पर Powershell से MS SQL के साथ कार्य करना

यह लेख विशुद्ध रूप से व्यावहारिक है और मेरी दुखद कहानी को समर्पित है।

RDS (MS SQL) के लिए Zero Touch PROD के लिए तैयारी करना, जिसके बारे में हमारे सभी कान गुलजार थे, मैंने स्वचालन की एक प्रस्तुति (POC - प्रूफ ऑफ कॉन्सेप्ट) बनाई: पॉवरशेल स्क्रिप्ट का एक सेट। प्रस्तुति के बाद, जब जोर से, लंबे समय तक तालियां बजती रहीं, तो एक विमोचित ओवेशन में बदल गया, मुझे बताया गया कि यह सब अच्छा है, लेकिन केवल वैचारिक कारणों से हम सभी के पास जेनेकस दास लिनक्स के तहत चल रहे हैं!

क्या यह संभव है? विंडोज के नीचे से ऐसी गर्म, ट्यूब डीबीए लेने के लिए और इसे लिनक्स के तहत पावरशेल की बहुत गर्मी में डालें? क्या वह क्रूर नहीं है?


मुझे प्रौद्योगिकी के इस अजीब संयोजन में गोता लगाना था। बेशक, मेरी सभी 30+ स्क्रिप्ट्स ने काम करना बंद कर दिया। मेरे आश्चर्य के लिए, एक कार्य दिवस में मैं सब कुछ ठीक करने में कामयाब रहा। मैं गर्म खोज में लिख रहा हूं। तो, विंडोज से लिनक्स में पॉवरशेल स्क्रिप्ट को पोर्ट करते समय आप किन नुकसानों का सामना कर सकते हैं?

sqlcmd बनाम आह्वान-SqlCmd

मुझे उनके बीच मुख्य अंतर की याद दिलाएं। अच्छी पुरानी sqlcmd उपयोगिता लगभग समान कार्यक्षमता के साथ, लिनक्स के तहत भी काम करती है। हम -क्वेरी को -Q, इनपुट फाइल as -i, और आउटपुट -o पास करते हैं। यहाँ केवल फ़ाइल नाम हैं, ज़ाहिर है, केस-संवेदी। यदि आप -i का उपयोग करते हैं, तो अंत में फ़ाइल में लिखें:

GO EXIT 

यदि अंत में कोई EXIT नहीं है, तो sqlcmd इनपुट की प्रतीक्षा करने के लिए जाएगा, और अगर EXIT से पहले कोई GO नहीं है, तो अंतिम कमांड काम नहीं करेगा। सभी आउटपुट, सेलेक्ट, मैसेज, प्रिंट इत्यादि, आउटपुट फाइल को प्राप्त होते हैं।

Invoke-SqlCmd एक DataSet, DataTables या DataRows के रूप में परिणाम देता है। इसलिए, यदि आप sqlcmd के माध्यम से एक सरल चयन के परिणाम को संसाधित कर सकते हैं, इसके आउटपुट को पार्स कर रहे हैं, तो कुछ जटिल आउटपुट करना लगभग असंभव है: इसके लिए Invoke-SqlCmd है। लेकिन इस टीम के अपने चुटकुले हैं:

• यदि आप इसे -InputFile के माध्यम से फ़ाइल पास करते हैं, तो EXIT की आवश्यकता नहीं है, इसके अलावा, यह एक सिंटैक्स त्रुटि देता है
• -OutputFile नहीं, कमांड आपको ऑब्जेक्ट के रूप में परिणाम देता है
• एक सर्वर को निर्दिष्ट करने के लिए दो वाक्यविन्यास हैं: -ServerInstance -Username -Password -Database और through -ConnectionString । अजीब तरह से, पहले मामले में, आप 1433 के अलावा एक पोर्ट निर्दिष्ट नहीं कर सकते।
• पाठ आउटपुट, टाइप PRINT, जो कि प्राथमिक रूप से sqlcmd द्वारा "पकड़ा गया" है, Invoke-SqlCmd के लिए एक मुद्दा है
• और सबसे महत्वपूर्ण बात: सबसे अधिक संभावना है कि यह cmdlet आपके लिनक्स में नहीं है!

और यह मुख्य समस्या है। केवल मार्च में यह cmdlet नॉन-विंडोज प्लेटफॉर्म के लिए उपलब्ध हो गया , और आखिरकार हम आगे बढ़ सकते हैं!

चर प्रतिस्थापन

Sqlcmd -v के साथ चर प्रतिस्थापन है, जैसे:

 # $conn    sqlcmd $cmd = $conn + " -i D:\apps\SlaveJobs\KillSpid.sql -o killspid.res -v spid =`"" + $spid + "`" -v age =`"" + $age + "`"" Invoke-Expression $cmd 

SQL स्क्रिप्ट में, हम प्रतिस्थापन का उपयोग करते हैं:

 set @spid=$(spid) set @age=$(age) 

तो यहाँ है। * निक्स में , चर प्रतिस्थापन कार्य नहीं करते हैं । -V विकल्प को नजरअंदाज किया जाता है। आह्वान- SqlCmd उपेक्षा -वरि । हालाँकि जो पैरामीटर स्वयं चर सेट करता है, उसे अनदेखा किया जाता है, प्रतिस्थापन स्वयं काम करते हैं - आप शेल से किसी भी चर का उपयोग कर सकते हैं। हालाँकि, मैं चर से नाराज था और उन पर निर्भर न रहने का फैसला किया, और मैंने मोटे तौर पर और आदिम रूप से काम किया, क्योंकि एसक्यूएल के लिए स्क्रिप्ट कम हैं:

 # prepend the parameters "declare @age int, @spid int" | Add-Content "q.sql" "set @spid=" + $spid | Add-Content "q.sql" "set @age=" + $age | Add-Content "q.sql" foreach ($line in Get-Content "Sqlserver/Automation/KillSpid.sql") { $line | Add-Content "q.sql" } $cmd = "/opt/mssql-tools/bin/" + $conn + " -i q.sql -o res.log" 

यह, जैसा कि आप समझते हैं, यूनिक्स संस्करण से एक परीक्षण है।

फाइलें अपलोड करें

विंडोज संस्करण में, मेरे पास कोई भी ऑपरेशन एक ऑडिट के साथ था: हमने sqlcmd का प्रदर्शन किया, आउटपुट फ़ाइल में किसी प्रकार का दुरुपयोग किया, इस फाइल को ऑडिट प्लेट में संलग्न किया। सौभाग्य से, SQL सर्वर ने जेनकिन्स के समान सर्वर पर काम किया, यह कुछ इस तरह से किया गया था:

 CREATE procedure AuditUpload @id int, @filename varchar(256) as set nocount on declare @sql varchar(max) CREATE TABLE #multi (filer NVARCHAR(MAX)) set @sql='BULK INSERT #multi FROM '''+@filename +''' WITH (ROWTERMINATOR = ''\0'',CODEPAGE = ''ACP'')' exec (@sql) select @sql=filer from #multi update JenkinsAudit set multiliner=@sql where ID=@id return 

इस प्रकार, हम पूरी BCP फ़ाइल को निगल लेते हैं, और ऑडिट टेबल को nvarchar (अधिकतम) फ़ील्ड में हिलाते हैं। बेशक, यह पूरी प्रणाली चरमरा गई, क्योंकि SQL सर्वर के बजाय मुझे RDS मिला, और BULK INSERT ने \\ UNC पर काम नहीं किया, क्योंकि किसी फ़ाइल पर अनन्य लॉक लगाने की कोशिश की जा रही थी, और RDS के साथ यह आमतौर पर शुरुआत से ही लागू है। इसलिए मैंने ऑडिट लाइन को लाइन से स्टोर करते हुए सिस्टम के डिज़ाइन को बदलने का फैसला किया:

 CREATE TABLE AuditOut ( ID int NULL, TextLine nvarchar(max) NULL, n int IDENTITY(1,1) PRIMARY KEY ) 

और इस तालिका को इस तरह लिखें:

 function WriteAudit([string]$Filename, [string]$ConnStr, [string]$Tabname, [string]$Jobname) { # get $lastid of the last execution --    #create grid and populate it with data from file $audit = Get-Content $Filename $DT = new-object Data.DataTable $COL1 = new-object Data.DataColumn; $COL1.ColumnName = "ID"; $COL1.DataType = [System.Type]::GetType("System.Int32") $COL2 = new-object Data.DataColumn; $COL2.ColumnName = "TextLine"; $COL2.DataType = [System.Type]::GetType("System.String") $DT.Columns.Add($COL1) $DT.Columns.Add($COL2) foreach ($line in $audit) { $DR = $dt.NewRow() $DR.Item("ID") = $lastid $DR.Item("TextLine") = $line $DT.Rows.Add($DR) } # write it to table $conn=new-object System.Data.SqlClient.SQLConnection $conn.ConnectionString = $ConnStr $conn.Open() $bulkCopy = new-object ("Data.SqlClient.SqlBulkCopy") $ConnStr $bulkCopy.DestinationTableName = $Tabname $bulkCopy.BatchSize = 50000 $bulkCopy.BulkCopyTimeout = 0 $bulkCopy.WriteToServer($DT) $conn.Close() } 

सामग्री का चयन करने के लिए, आईडी द्वारा चयन करें, क्रम में n (पहचान) का चयन करें।

अगले लेख में मैं और अधिक विस्तार से बताऊंगा कि यह सब जेनकिन्स के साथ कैसे बातचीत करता है।