MySQL प्रक्रिया पर्ल में स्क्रिप्ट की निगरानी

सभी को नमस्कार।

पांच साल से अधिक समय से मैं एक होस्टिंग कंपनी में एक सिस्टम एडमिनिस्ट्रेटर के रूप में काम कर रहा हूं, जो कि फ्रीबेस और सेंटोस के साथ सौ से अधिक सर्वरों की सेवा कर रहा है। इस समय के दौरान, कई स्व-लिखित स्क्रिप्ट जमा हुई हैं जो मेरे जीवन को आसान बनाती हैं। मैं इन लिपियों को समुदाय के साथ साझा करना चाहता हूं, और स्वस्थ आलोचना सुनने से कभी दुख नहीं होगा।

पृष्ठभूमि।

कई साल पहले, मेरे एक मित्र ने अपने बटुए में पैसे का अधिशेष होने के कारण, एक-यूनिट इंटेल सर्वर के रूप में सर्वर हार्डवेयर खरीदा, इसे सबसे सस्ते डेटा सेंटर में रखा (जैसा कि अब इसे कॉल करने के लिए फैशनेबल है - कॉलोकोलेशन पर), और पहले अपनी साइटों को पोस्ट करना शुरू किया, फिर शुरू किया। दोस्तों को होस्टिंग वितरित करने के लिए, दोस्तों ने अपने पेज पोस्ट करना शुरू किया, फिर अपने दोस्तों और नियोक्ताओं की साइटें खींचीं। चूँकि मेरे दोस्त को LAMP को स्थापित करने और कॉन्फ़िगर करने में बुरी तरह से महारत हासिल थी, इसलिए आगे की हलचल के बिना, उन्होंने Cpanel WHM स्थापित किया, लेकिन मैं इस सभी अर्थव्यवस्था को प्रशासित करने के लिए आकर्षित हुआ, जिसे "भोजन के लिए" कहा जाता है, एक स्वतंत्र श्रम शक्ति के रूप में, मुझे होस्टिंग की भी आवश्यकता थी।

कई वर्षों के लिए, बहुत सारी साइटों ने सर्वर पर रूट लिया, भार बढ़ता गया, जिसके साथ मैंने अलग-अलग सफलता के साथ संघर्ष किया। समय-समय पर, mysql के साथ समस्याएं शुरू हुईं। कुछ उपयोगकर्ताओं ने धीमे अनुरोधों को उत्पन्न किया, जो बाद के लोगों को अवरुद्ध करते हैं, दूसरों ने जोइनों के एक समूह के साथ बहु-कहानी अनुरोधों का उत्पादन किया, जो अभी भी निश्चित बग के कारण नहीं है , प्रोसेसर के संसाधनों का उपभोग करते हुए, आंकड़े राज्य में लटका दिया गया है। अंत में, mysql ने प्रक्रियाओं को बंद कर दिया और जवाब देना बंद कर दिया। एक निगरानी स्क्रिप्ट की आवश्यकता थी जो कि mysql प्रक्रियाओं की सूची को देखेगा और आपातकाल के मामले में अलार्म को ध्वनि देगा।

पहले मैंने बैश में स्क्रिप्ट लिखी। फिर, जब मुझे अपनी मुख्य नौकरी की प्रकृति से मोती को जानना पड़ा, तो मैंने इसे पर्ल में लिखा।

जैसा कि अभ्यास से पता चलता है, सामान्य ऑपरेशन के दौरान, mysql सर्वर एक साथ पाँच "धीमी" प्रश्नों की प्रक्रिया करता है, यहां तक ​​कि अत्यधिक लोड किए गए सर्वरों के लिए भी, और यदि कोई हो, तो यह इन प्रश्नों का अध्ययन करने का एक अवसर है। बेशक, आपको समय-समय पर धीमी क्वेरी के लॉग का विश्लेषण करने की भी आवश्यकता है, लेकिन यह अगले लेख के लिए विषय है, एक स्क्रिप्ट के बारे में जो विश्लेषण करता है और यहां तक ​​कि स्वचालित रूप से सरल सूचकांक बनाता है।

मॉनिटरिंग स्क्रिप्ट का तर्क सरल है। हम मानते हैं कि mysql सर्वर को जोखिम है, अगर सत्यापन के समय, दस से अधिक (उदाहरण के लिए) "धीमी" क्वेरी एक साथ चल रही हैं - अवधि में एक सेकंड से अधिक। हम इस स्थिति को "गंभीर" कहते हैं। यदि स्थिति गंभीर है, तो आपको अलार्म बजने की आवश्यकता है।

आगे के अभ्यास से पता चला है कि अगर mysql कुछ समय के लिए एक पूर्व अवस्था में रहा हो तो अलार्म बजाना अच्छा होगा। यही है, एक ही समय में 10 प्रक्रियाएं नहीं हैं, लेकिन हर मिनट के साथ लंबे समय तक चलने वाले अनुरोधों की संख्या बढ़ती है। अनिश्चित स्थिति के लिए, हम एक आंकड़ा लेते हैं, कहते हैं, 5।

एक मिनट में एक बार स्क्रिप्ट चलाएँ। हम प्रक्रियाओं की सूची को देखते हैं, हम उस सब पर विचार करते हैं जो नींद की स्थिति में नहीं है और एक सेकंड से अधिक समय लेता है। यदि संख्या 10 से अधिक है, तो हम प्रक्रियाओं की सूची के साथ व्यवस्थापक को एक पत्र भेजते हैं। परिणामी संख्या को फ़ाइल में सहेजें। हम इस फ़ाइल के मानों को अंतिम 5 मानों के लिए पढ़ते हैं - अंतिम 5 मिनटों के लिए, और यदि इस अवधि के दौरान 5 पूर्व-राजनैतिक राज्य थे, तो हम व्यवस्थापक को एक ईमेल भेजते हैं।

इसके बाद, एक ब्लॉक को स्क्रिप्ट में डाला गया था, जो बहु-मंजिला प्रश्नों को पकड़ता था, जो सांख्यिकी राज्य में निलंबित कर दिए गए थे।

दरअसल, स्क्रिप्ट।

#!/usr/bin/perl #use strict; use DBI; use DBD::mysql; use POSIX; ($sysname, $hostname, $release, $version, $machine) = POSIX::uname(); my $slowtime=1; #       my $warnlevel=5; #       my $warncounter=5; #  $warncounter     my $alarmcounter=10; #     >= $alarmcounter     my $socket='/tmp/mysql56.sock'; #    my $email="admin\@myemail.net"; #   my $wrkdir='/tmp/'; my $procfile=$wrkdir.'alarm.proclist'; #      my $datfile=$wrkdir.'alarm.dat'; #        my $pidfile=$wrkdir.'alarm.pid'; # pid .  mysql         if (-e "$pidfile") { printf("pid file found. Exit.\n"); exit(255); } open (PIDFILE,">$pidfile") || die "cant create $pidfile\n"; print PIDFILE "$$\n"; close PIDFILE; open (PROCFILE,">$procfile") || die "cant create $procfile\n"; my ($proc, $dbh, $sth, $totalcounter, $slowcounter, $sleepcounter, $user, $time, $state, $command, $info, $i); until ($dbh = DBI->connect("DBI:mysql:mysql_socket=$socket", "user", "password")){ unlink($pidfile); die("Can't connect: $DBI::errstr\n"); } $sth = $dbh->prepare("SHOW FULL PROCESSLIST"); $sth->execute; my @proclist=(); $totalcounter=$slowcounter=$sleepcounter=0; while (my $row = $sth->fetchrow_hashref()) { $user=$row->{'User'}; $time=$row->{'Time'}; $state=$row->{'State'}; $command=$row->{'Command'}; $info=$row->{'Info'}; $totalcounter++; next if ($user =~ m/root/); if ($command =~ m/(Sleep|Delayed|Binlog)/){ $sleepcounter++; next; }; ###      statistics if ($state =~ m/statistics/ && $time > 5){ $statinfo="$user: killed $mid: $dbuser | $db | $time | $state | $command | $info\n\n"; $sth2 = $dbh->prepare("kill $mid"); $sth2->execute; $sth2->finish; open (MAIL,"|/usr/sbin/sendmail -F$hostname $email"); print MAIL "To:$email\nSubject:".$subj."Hanged query in the statistics state: $hostname, user $user \n\n"; print MAIL $statinfo; close (MAIL); }; ### if ($time>$slowtime) { $slowcounter++; } $info =~ s/[\r\n\t]+/ /g; push (@proclist,sprintf("%-24s | %4d | %s | %s | %s \n", $user, $time, $state, $command, $info)); printf PROCFILE ("%-24s | %4d | %s | %s | %s \n", $user, $time, $state, $command, $info); } $sth->finish; close PROCFILE; #print "--- $slowcounter slow queries from total $totalcounter ($sleepcounter are sleep) ---- \n"; my @data=(); ### read slowcounter timings from dat file open (DATFILE,"<$datfile"); while(<DATFILE>){ my($line) = $_; chomp($line); push (@data,$line); } close(DATFILE); ### if dat file is smaller than warnlevel then fill timings by zeros if (scalar(@data)<$warnlevel) { for $i ( 0 .. $warnlevel-scalar(@data) ) { push (@data,0); } } ### shift timings with last slowcounter push (@data,$slowcounter); shift(@data); ### dumping slowcounter timings to dat file open (DATFILE,"+>$datfile") || die "cant create $datfile\n"; foreach (@data) { print DATFILE "$_\n"; } close(DATFILE); ### get number of bad states for last minutes my $cnt=0; foreach (@data) { if($_ >= $warnlevel) { $cnt++; } } my $subj=" "; if ($slowcounter>=$alarmcounter) { # very critical state $subj=" VERY "; } my $warnmessage="Critical state of $hostname! There was a $warncounter checks with at least $warnlevel long queries!\n"; if ($slowcounter>=$alarmcounter) { # very critical state $warnmessage=$warnmessage."--- !!! Last check shows $slowcounter long queries!\n"; } if (($cnt >= $warncounter) || $slowcounter>=$alarmcounter){ open (MAIL,"|/usr/sbin/sendmail -F$hostname $email"); print MAIL "To:$email\nSubject:".$subj."Critical state of $hostname\n\n"; print MAIL $warnmessage; print MAIL "---------------------------------------------------------------------------------------------------\n"; print MAIL "--- $slowcounter slow queries from total $totalcounter ($sleepcounter are sleep) \n"; print MAIL "---------------------------------------------------------------------------------------------------\n"; foreach (@proclist) { print MAIL "$_"; } close (MAIL); } unlink($pidfile); 

मैं निज़नी नोवगोरोड अंग्रेजी में टिप्पणियों के लिए माफी माँगता हूँ।

भविष्य में, स्क्रिप्ट को होस्टिंग कंपनी में mysql कॉम्बैट सर्वर पर लागू किया गया था, जहाँ मैं काम करता हूं, और कई बार मैसकारल सर्वर को सेवा से वंचित होने से रोकने में मदद की, और बस कुछ उपयोगकर्ताओं द्वारा बेकार संसाधन को बर्बाद करने की सूचना दी।

स्क्रिप्ट काम करती है:

- जब स्पैम बॉट भगवान-भूल गए मंचों पर हमला करते हैं। लोड के तहत, प्रदर्शन ड्रॉप, फोरम टेबल क्रैश होने लगते हैं, अनुरोध "लॉक" स्थिति में कतार में ढेर हो जाते हैं। स्क्रिप्ट से प्रक्रियाओं की एक बहुत ही विशिष्ट और सहज सूची आती है;

- जब अंधे SQL इंजेक्शन में उपयोगकर्ता साइटों पर एक बेंचमार्क हमला किया जाता है;

- जब mysql बेवकूफी से लटकता है, और यह कभी-कभार लोड के तहत होता है (एक प्रक्रिया अनिश्चित काल तक काम करती है, अन्य सभी बिना किसी स्थिति के बस लटकाते हैं, और जब तक कनेक्शन सीमा नहीं चुनी जाती है, तब तक) - स्क्रिप्ट mysql पोर्ट की निगरानी करने वाले सिस्टम की तुलना में तेजी से काम करता है ;

- जब उपयोगकर्ताओं के पास डेटा की मात्रा के मामले में प्रभावशाली तालिकाएँ होती हैं और इतने अचूक प्रश्न होते हैं कि एक क्वेरी को कई सेकंड या कुछ मिनटों के लिए भी निष्पादित किया जाता है। तालिका के शेष प्रश्न संचित हो जाते हैं और बंद स्थिति में कतार की प्रतीक्षा करते हैं। पत्र में एक अडॉप्टिव क्वेरी तुरंत दिखाई देती है, आप जल्दी से व्याख्या क्वेरी देख सकते हैं और यदि आवश्यक हो तो एक इंडेक्स बना सकते हैं। यदि इनोडब का उपयोग किया जाता है, तो निगरानी स्क्रिप्ट गहन धीमी क्वेरी पर भी काम करती है, क्योंकि उनका बंडल "भेजा गया डेटा" या "tmp तालिका के लिए प्रतिलिपि" की स्थिति में लटका हुआ है। बड़ी संख्या में ऐसे अनुरोध बहुत खतरनाक होते हैं, क्योंकि वे सर्वर के प्रदर्शन को बहुत कम कर देते हैं;

- जब मल्टी स्टोरी जॉइन अनुरोधों को लटकाते हैं। स्क्रिप्ट उन्हें स्वचालित रूप से नाखून देती है, लेकिन कभी-कभी वे मारे नहीं जाते हैं - mysql को पुनरारंभ करने का एक कारण;

- कई बार स्क्रिप्ट पकड़ा गया mysql विशिष्ट प्रश्नों पर लटका हुआ है, जिसके आगे अध्ययन ने एक अद्यतन का नेतृत्व किया, बगट्रैक पर समान प्रश्नों के साथ बग का पता लगाने के बाद।

कभी-कभी, निश्चित रूप से, झूठी सकारात्मकताएं आती हैं यदि कोई व्यक्ति एक बड़ी तालिका की मरम्मत, अनुकूलन या डंप करता है।

मुझे खुशी होगी अगर यह स्क्रिप्ट किसी के लिए उपयोगी है।