आज हम शर्लक प्रणाली के कुछ नवीनतम अपडेट के बारे में बात करना चाहते हैं [यह स्टैनफोर्ड विश्वविद्यालय में एक उच्च प्रदर्शन क्लस्टर है - लगभग। प्रति।], जो बड़ी संख्या में प्रविष्टियों के साथ निर्देशिकाओं में फ़ाइलों की सूची को गति प्रदान करता है।

नियमित लेखों के विपरीत, यह हमारे उपयोगकर्ताओं के लिए सर्वोत्तम संभव तरीके से बनाए रखने के लिए शर्लक पर नियमित काम कैसे चल रहा है, इस पर एक अंदरूनी रिपोर्ट की अधिक है। हम भविष्य में इस तरह के और अधिक लेख प्रकाशित करने की उम्मीद करते हैं।

कई फाइलों को सूचीबद्ध करने में समय लगता है

यह सब उपयोगकर्ता से एक तकनीकी सहायता प्रश्न के साथ शुरू हुआ। उन्होंने एक समस्या की सूचना दी कि रनिंग ls ने एक निर्देशिका में $SCRATCH में 15,000 से अधिक प्रविष्टियों के साथ [अस्थायी फ़ाइलों के लिए निर्देशिका] लगभग कई मिनट का समय लिया। ट्रांस।]।

एक डायरेक्टरी में हजारों फाइलें आमतौर पर फाइल सिस्टम के लिए मुश्किलें खड़ी करती हैं और यह निश्चित रूप से अनुशंसित नहीं है। उपयोगकर्ता को यह पता था और यह स्वीकार किया कि यह अच्छा नहीं था, लेकिन उल्लेख किया कि उसके लैपटॉप पर लिस्टिंग शर्लक की तुलना में 1000 गुना तेज है। बेशक, इसने हमें मारा। इसलिए, हमने गहराई से देखा।

क्योंकि ls देखने में सुंदर लगता है

हमने देखा कि एक निर्देशिका को सूचीबद्ध करते समय वास्तव में क्या करता है, और इस प्रक्रिया में इतना समय क्यों लगता है। अधिकांश आधुनिक वितरणों पर, ls चूक को ls --color=auto , क्योंकि सभी को रंग पसंद है।

लेकिन सुंदर रंगों का एक मूल्य होता है: प्रत्येक फ़ाइल के लिए, ls को उचित रंग का चयन करने के लिए फ़ाइल प्रकार, इसके रिज़ॉल्यूशन, झंडे, उन्नत विशेषताओं और इसी तरह की जानकारी मिलनी चाहिए।

समस्या के सरल समाधानों में से एक है, एलएस में पूरी तरह से रंग को निष्क्रिय करना, लेकिन उपयोगकर्ताओं के आक्रोश की कल्पना करना। किसी भी मामले में आप रंग आउटपुट नहीं ले सकते, हम राक्षस नहीं हैं।

इसलिए, हमने गहराई से देखा। ls LS_COLORS पर्यावरण LS_COLORS माध्यम से प्रविष्टियों को LS_COLORS है, जो dircolors(1) dir_colors(5) कॉन्फ़िगरेशन फ़ाइल के आधार पर सेट करता है। हां, निष्पादन योग्य फ़ाइल एक पर्यावरण चर बनाने के लिए कॉन्फ़िगरेशन फ़ाइल को पढ़ता है जो तब ls का उपयोग करता है (और यदि आपको दरवाजे (डू) फ़ाइलों के बारे में नहीं पता है, तो dir_colors काम करेंगे , कोई फर्क नहीं पड़ता)।

हम और अधिक विस्तार से समझेंगे

यह निर्धारित करने के लिए कि कौन सी रंगीकरण योजनाओं में मंदी का कारण है, हमने एक प्रयोगात्मक वातावरण बनाया:

 $ mkdir $SCRATCH/dont $ touch $SCRATCH/dont/{1..10000} # don't try this at home! $ time ls --color=always $SCRATCH/dont | wc -l 10000 real 0m12.758s user 0m0.104s sys 0m0.699s 

10,000 फाइलों के लिए 12.7 सेकंड, बहुत अच्छा नहीं।

वैसे, हमें ध्वज की आवश्यकता है --color=always : हालाँकि यह ls --color=auto ओर मुड़ जाता है, लेकिन जब यह टर्मिनल से कनेक्ट नहीं होता है तो ls पता लगाता है (उदाहरण के लिए, चैनल के माध्यम से या आउटपुट पुनर्निर्देशन के साथ) और इसे auto सेट होने पर निष्क्रिय कर देता है। स्मार्ट आदमी।

तो क्या इतना लंबा समय लगता है? हमने strace साथ देखा:

 $ strace -c ls --color=always $SCRATCH/dont | wc -l 10000 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 44.21 0.186617 19 10000 lstat 42.60 0.179807 18 10000 10000 getxattr 12.19 0.051438 5 10000 capget 0.71 0.003002 38 80 getdents 0.07 0.000305 10 30 mmap 0.05 0.000217 12 18 mprotect 0.03 0.000135 14 10 read 0.03 0.000123 11 11 open 0.02 0.000082 6 14 close [...] 

Wow: 10,000 कॉल्स को lstat() , 10,000 कॉल्स to getxattr() (जो हर कोई विफल हो जाता है क्योंकि हमारे वातावरण में ऐसी कोई विशेषताएँ नहीं हैं जो ls capget() ), 10,000 कॉल टू capget() ।

निश्चित रूप से यह अनुकूलित किया जा सकता है।

क्षमताओं का गुण Nea

10 साल पहले बग की सलाह के बाद, हमने क्षमताओं की जाँच को अक्षम करने का प्रयास किया:

 $ eval $(dircolors -b | sed s/ca=[^:]*:/ca=:/) $ time strace -c ls --color=always $SCRATCH/dont | wc -l 10000 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 98.95 0.423443 42 10000 lstat 0.78 0.003353 42 80 getdents 0.04 0.000188 10 18 mprotect 0.04 0.000181 6 30 mmap 0.02 0.000085 9 10 read 0.02 0.000084 28 3 mremap 0.02 0.000077 7 11 open 0.02 0.000066 5 14 close [...] ------ ----------- ----------- --------- --------- ---------------- 100.00 0.427920 10221 6 total real 0m8.160s user 0m0.115s sys 0m0.961s 

वाह, 8 सेकंड तक त्वरण! हम इन सभी महंगे getxattr() कॉल से छुटकारा पा गए, और capget() कॉल भी गायब हो गए, शानदार।

लेकिन फिर भी इन कष्टप्रद कॉल के लिए lstat() बने रहे, हालांकि ...

आपको कितने फूलों की आवश्यकता है?

इसलिए, हमने LS_COLORS की अधिक विस्तार से जांच की।

सबसे पहले, उन्होंने बस इस चर को बंद कर दिया:

  $ गूंज $ LS_COLORS
 rs = 0: di = 01; 34: ln = 01; 36: mh = 00: pi = 40; 33: so = 01; 35: do = 01; 35: bd = 40; 33; 01: cd = 40; 33; 01: या = 40; 31; 01: सु = 37; 41: एसजी = 30; 43: सीए = ट्व = 30; 42: ओउ = 34; 42: सेंट = 37; 44: पूर्व = 01; 32; : *। tar = 01; 31: *। tgz = 01; 31: *। आर्क = 01; 31: *। arj = 01; 31: *। taz = 01; 31: *। lha = 01; 31: * .lz4 = 01; 31: *। lzh = 01; 31: *। lzma = 01; 31: *। tlz = 01; 31: *। txz = 01; 31: *। tzo = 01; 31; *: t7z। = 01; 31: *। ज़िप = 01; 31: *। Z = 01; 31: *। Z = 01; 31: *। Dz = 01; 31: *। Gz = 01; 31: *। Lrz = 01 ; 31: *। Lz = 01; 31: *। Lzo = 01; 31: *। Xz = 31; *: Bz2 = 01; 31: *। Bz = 01; 31: *। Tbz = 01; 31 : *। tbz2 = 01; 31: *। tz = 01; 31: *। बहस = 01; 31: *। rpm = 01; 31: *। jar = 01; 31: *। war = 01; 31: * .ear = 01; 31: *। sar = 01; 31: *। rar = 01; 31: *। alz = 01; 31: *। ace = 01; 31: *। zoo = 01; 31: *। cp; = 01; 31: *। 7z = 01: 31: *। Rz = 01; 31: *। टैक्सी = 01; 31: *। Jpg = 01; 35: *। Jpeg = 01; 35: *। Gif = 01। ; 35: *। Bmp = 01; 35: *। Pbm = 01; 35: *। Pgm = 01; 35: *। पीपीएम = 01; 35: *। Tga = 01; 35: *। Xbm / 01; 35; : *। xpm = 01; 35: *। tif = 01; 35: *। tiff = 01; 35: *। png = 01; 35: *। svg = 01; 35: *। svgz = 01; 35: * .mng = 01; 35: *। pcx = 01; 35: *। Mov = 01; 35: *। mpg = 01; 35: *। एमपीईजी = 01; 35: *। m2v = 01; 35: *। mk = 01; 35: *। वेबम = 01; 35: *। ऑग्म = 01; 35: *। M44 = 01; 35: *। M4v = 01; 35: *। Mp4v = 01; 35: *। Vob = 01 ; 35: *। Qt = 01; 35: *। नुव = 01; 35: *।  wmv = 01; 35: *। asf = 01; 35: *। rm = 01; 35: *। rmvb = 01; 35: *। flc = 01; 35: *। avi = 01; 35: *। fli =। 01; 35: *। Flv = 01; 35: *। Gl = 01; 35: *। Dl = 35; 35: *। Xcf = 01; 35: *। Xwd = 01; 35: *। Yuv = 01; 35: *। Cgm = 01; 35: *। Emf = 01; 35: *। Axv = 35: *; Anx = 01; 35: *। Ogv = 01; 35: *। Ogx = 01; 35:; * .aac = 00; 36: *। au = 00; 36: *। flac = 00; 36: * mid = 00; 36: *। midi = 00; 36: *। mka = 00; 36: *। mp3 = 00; 36: *। mpc = 00; 36: *। ogg = 00; 36: *। ra = 00; 36: *। wav = 00; 36: *। axa = 00; 36: *। oga =। 00; 36: *। Spx = 00; 36: *। Xspf = 00; 36;
 $ परेशान LS_COLORS
 $ गूंज $ LS_COLORS

 $ समय ls - रंग = हमेशा $ SCRATCH / NOT |  wc -l
 10000

 वास्तविक 0m13.037s
 उपयोगकर्ता 0m0.077s
 sys 0m1.092s 

क्या!?! अभी भी 13 सेकंड?

यह पता चला है कि जब LS_COLORS पर्यावरण LS_COLORS परिभाषित नहीं किया गया है या केवल इसका एक तत्व <type>=color: गायब है, तो यह डिफ़ॉल्ट रूप से अंतर्निहित डेटाबेस का उपयोग करता है और अभी भी रंगों का उपयोग करता है। इसलिए, यदि आप किसी विशिष्ट फ़ाइल प्रकार के लिए रंग को अक्षम करना चाहते हैं, तो आपको इसे DIR_COLORS फ़ाइल में <type>=: या <type> 00 साथ ओवरराइड करना होगा।

बहुत परीक्षण और त्रुटि के बाद, हमने अपनी खोज को इस तक सीमित कर दिया:

 EXEC 00 SETUID 00 SETGID 00 CAPABILITY 00 

जैसा लिखा है

 LS_COLORS='ex=00:su=00:sg=00:ca=00:' 

इसका मतलब यह है: फाइलों को या तो क्षमताओं के अनुसार रंग न दें, setuid/setgid बिट्स द्वारा, या निष्पादन योग्य ध्वज द्वारा।

तेजी से ls

और यदि आप इनमें से कोई भी चेक नहीं करते हैं, तो कॉल करने के लिए lstat() गायब हो जाता है, और अब यह पूरी तरह से अलग मामला है:

 $ export LS_COLORS='ex=00:su=00:sg=00:ca=00:' $ time strace -c ls --color=always $SCRATCH/dont | wc -l 10000 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 63.02 0.002865 36 80 getdents 8.10 0.000368 12 30 mmap 5.72 0.000260 14 18 mprotect 3.72 0.000169 15 11 open 2.79 0.000127 13 10 read [...] ------ ----------- ----------- --------- --------- ---------------- 100.00 0.004546 221 6 total real 0m0.337s user 0m0.032s sys 0m0.029s 

10,000 फाइलों की सूची में 0.3 सेकंड, एक रिकॉर्ड।

शर्लक को कॉन्फ़िगर करें

13 सेकंड से डिफ़ॉल्ट सेटिंग्स के साथ 0.3 सेकंड में एक छोटी सी सेटिंग के साथ LS_COLORS मतलब है कि setgid / setgid और रंगीन निष्पादन योग्य फ़ाइलों की अनुपस्थिति के कारण 40-गुना त्वरण। इतना बड़ा नुकसान नहीं।

बेशक, अब यह प्रत्येक उपयोगकर्ता के लिए शर्लक में कॉन्फ़िगर किया गया है।

लेकिन अगर आप रंग भरना चाहते हैं, तो आप डिफ़ॉल्ट सेटिंग्स पर वापस जा सकते हैं:

 $ unset LS_COLORS 

लेकिन फिर बड़ी संख्या में फ़ाइलों के साथ निर्देशिकाओं पर, सुनिश्चित करें कि ls काम कर रहा है, जबकि कॉफी बनाना सुनिश्चित करें।