اليوم نريد أن نتحدث عن بعض التحديثات الأخيرة لنظام شيرلوك [هذه مجموعة عالية الأداء في جامعة ستانفورد - تقريبًا. في.] ، مما يسرع إلى حد كبير قائمة الملفات في الدلائل مع عدد كبير من الإدخالات.

على عكس المقالات المعتادة ، يعد هذا تقريرًا داخليًا حول كيفية سير العمل المنتظم في Sherlock من أجل الحفاظ عليه بأفضل طريقة ممكنة لمستخدمينا. نأمل في نشر المزيد من هذه المقالات في المستقبل.

سرد العديد من الملفات يستغرق وقتا

بدأ كل شيء بسؤال دعم فني من المستخدم. لقد أبلغ عن مشكلة في أن تشغيل ls استغرق عدة دقائق في الدليل مع أكثر من 15000 إدخالات في $SCRATCH [دليل للملفات المؤقتة - تقريبًا. العابرة.].

الآلاف من الملفات في دليل واحد عادة ما تخلق صعوبات لنظام الملفات وهذا بالتأكيد غير مستحسن. عرف المستخدم ذلك وأقر بأنه لم يكن جيدًا ، لكنه ذكر أن بطاقة البيانات على جهاز الكمبيوتر المحمول كانت أسرع بـ 1000 مرة من شيرلوك. بالطبع ، لقد ضربنا. لذلك ، نظرنا أعمق.

لأن تبدو جميلة

نظرنا إلى ما تفعله بالفعل عند سرد الدليل ، ولماذا تستغرق العملية وقتًا طويلاً. في معظم التوزيعات الحديثة ، يتم تعيين ls افتراضيًا على ls --color=auto ، لأن الجميع يحب اللون.

لكن الألوان الجميلة لها سعر: لكل ملف ، يجب أن تحصل ls على معلومات حول نوع الملف ودقة الوضوح والأعلام والسمات المتقدمة وما شابه ذلك من أجل تحديد اللون المناسب.

أحد الحلول البسيطة للمشكلة هو تعطيل اللون في ls تمامًا ، ولكن تخيل غضب المستخدمين. في أي حال من الأحوال يمكنك أن تأخذ إخراج اللون ، نحن لسنا الوحوش.

لذلك ، نظرنا أعمق. يرسم ls السجلات من خلال LS_COLORS البيئة LS_COLORS ، والذي dircolors(1) استنادًا إلى ملف التكوين dir_colors(5) . نعم ، يقرأ الملف القابل للتنفيذ ملف التكوين لإنشاء متغير بيئة يستخدم بعد ذلك (وإذا كنت لا تعرف ملفات الباب (يعمل) ، فسوف تعمل dir_colors ، بغض النظر عن ذلك).

سوف نفهم بمزيد من التفاصيل

لتحديد أي من مخططات التلوين التي تسبب تباطؤًا ، أنشأنا بيئة تجريبية:

 $ mkdir $SCRATCH/dont $ touch $SCRATCH/dont/{1..10000} # don't try this at home! $ time ls --color=always $SCRATCH/dont | wc -l 10000 real 0m12.758s user 0m0.104s sys 0m0.699s 

12.7 ثانية لـ 10000 ملف ، ليست جيدة جدًا.

بالمناسبة ، نحتاج إلى العلم - --color=always : على الرغم من أنه يتحول إلى ls --color=auto ، لكن ls يكتشف عندما يكون غير متصل بالمحطة الطرفية (على سبيل المثال ، عبر قناة أو مع إعادة توجيه الإخراج) وتعطيل التلوين إذا تم ضبطه على auto . رجل ذكي.

إذن ما الذي يستغرق وقتًا طويلاً؟ نظرنا strace :

 $ strace -c ls --color=always $SCRATCH/dont | wc -l 10000 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 44.21 0.186617 19 10000 lstat 42.60 0.179807 18 10000 10000 getxattr 12.19 0.051438 5 10000 capget 0.71 0.003002 38 80 getdents 0.07 0.000305 10 30 mmap 0.05 0.000217 12 18 mprotect 0.03 0.000135 14 10 read 0.03 0.000123 11 11 open 0.02 0.000082 6 14 close [...] 

نجاح باهر: 10000 مكالمة إلى lstat() ، و 10000 مكالمة إلى getxattr() (والتي يفشل فيها الجميع لأنه في بيئتنا لا توجد سمات تبحث عنها) ، و 10000 مكالمة capget() .

بالتأكيد هذا يمكن أن يكون الأمثل.

سمة القدرات نيا

بعد نصيحة الخطأ قبل 10 سنوات ، حاولنا تعطيل التحقق من سمة القدرات :

 $ eval $(dircolors -b | sed s/ca=[^:]*:/ca=:/) $ time strace -c ls --color=always $SCRATCH/dont | wc -l 10000 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 98.95 0.423443 42 10000 lstat 0.78 0.003353 42 80 getdents 0.04 0.000188 10 18 mprotect 0.04 0.000181 6 30 mmap 0.02 0.000085 9 10 read 0.02 0.000084 28 3 mremap 0.02 0.000077 7 11 open 0.02 0.000066 5 14 close [...] ------ ----------- ----------- --------- --------- ---------------- 100.00 0.427920 10221 6 total real 0m8.160s user 0m0.115s sys 0m0.961s 

واو ، تسارع يصل إلى 8 ثوان! لقد تخلصنا من جميع مكالمات getxattr() باهظة الثمن هذه ، كما اختفت مكالمات capget() كبيرة جدًا.

ولكن لا تزال هذه الدعوات المزعجة إلى lstat() ظلت ، على الرغم من ...

كم عدد الزهور التي تحتاجها؟

لذلك ، درسنا LS_COLORS بمزيد من التفاصيل.

أولاً ، لقد أوقفوا هذا المتغير ببساطة:

  صدى $ LS_COLORS
 rs = 0: di = 01؛ 34: ln = 01؛ 36: mh = 00: pi = 40؛ 33: so = 01؛ 35: do = 01؛ 35: bd = 40؛ 33؛ 01: cd = 40؛ 33؛ 01: أو = 40؛ 31؛ 01: su = 37؛ 41: sg = 30؛ 43: ca =: tw = 30؛ 42: ow = 34؛ 42: st = 37؛ 44: ex = 01؛ 32 : *. tar = 01؛ 31: *. tgz = 01؛ 31: *. arc = 01؛ 31: *. arj = 01؛ 31: *. taz = 01؛ 31: *. lha = 01؛ 31: * .lz4 = 01 ؛ 31: *. lzh = 01 ؛ 31: *. lzma = 01 ؛ 31: *. tlz = 01 ؛ 31: *. txz = 01 ؛ 31: *. tzo = 01 ؛ 31: *. = 01 ؛ 31: *. الرمز البريدي = 01 ؛ 31: *. Z = 01 ؛ 31: *. Z = 01 ؛ 31: *. Dz = 01 ؛ 31: *. Gz = 01 ؛ 31: *. Lrz = 01 ؛ 31: *. Lz = 01 ؛ 31: *. Lzo = 01 ؛ 31: *. Xz = 01 ؛ 31: *. Bz2 = 01 ؛ 31: *. Bz = 01 ؛ 31: *. Tbz = 01 ؛ 31 : *. tbz2 = 01 ؛ 31: *. tz = 01 ؛ 31: *. deb = 01 ؛ 31: *. rpm = 01 ؛ 31: *. jar = 01؛ 31: *. war = 01؛ 31: * .ear = 01؛ 31: *. sar = 01؛ 31: *. rar = 01؛ 31: *. alz = 01؛ 31: *. ace = 01؛ 31: *. zoo = 01؛ 31: *. cpio = 01 ؛ 31: *. 7z = 01 ؛ 31: *. Rz = 01 ؛ 31: *. الكابينة = 01 ؛ 31: *. Jpg = 01 ؛ 35: *. Jpeg = 01 ؛ 35: *. Gif = 01 ؛ 35: *. Bmp = 01 ؛ 35: *. Pbm = 01 ؛ 35: *. Pgm = 01 ؛ 35: *. Ppm = 01 ؛ 35: *. Tga = 01 ؛ 35: *. Xbm = 01 ؛ 35 : *. xpm = 01؛ 35: *. tif = 01؛ 35: *. tiff = 01؛ 35: *. png = 01؛ 35: *. svg = 01؛ 35: *. svgz = 01؛ 35: * .mng = 01؛ 35: *. pcx = 01؛ 35: *. mov = 01؛ 35: *. mpg = 01؛ 35: *. mpeg = 01؛ 35: *. m2v = 01؛ 35: *. mkv = 01 ؛ 35: *. Webm = 01 ؛ 35: *. Ogm = 01 ؛ 35: *. Mp4 = 01 ؛ 35: *. M4v = 01 ؛ 35: *. Mp4v = 01 ؛ 35: *. Vob = 01 ؛ 35: *. Qt = 01 ؛ 35: *. Nuv = 01 ؛ 35: *.  wmv = 01؛ 35: *. asf = 01؛ 35: *. rm = 01؛ 35: *. rmvb = 01؛ 35: *. flc = 01؛ 35: *. avi = 01؛ 35: *. fli = 01؛ 35: *. Flv = 01؛ 35: *. Gl = 01؛ 35: *. Dl = 01؛ 35: *. Xcf = 01؛ 35: *. Xwd = 01؛ 35: *. Yuv = 01؛ 35: *. Cgm = 01 ؛ 35: *. Emf = 01 ؛ 35: *. Axv = 01 ؛ 35: *. Anx = 01؛ 35: *. Ogv = 01؛ 35: *. Ogx = 01؛ 35: * .aac = 00 ؛ 36: *. au = 00 ؛ 36: *. flac = 00 ؛ 36: *. mid = 00 ؛ 36: *. midi = 00 ؛ 36: *. mka = 00 ؛ 36: *. mp3 = 00؛ 36: *. mpc = 00؛ 36: *. ogg = 00؛ 36: *. ra = 00؛ 36: *. wav = 00؛ 36: *. axa = 00؛ 36: *. oga = 00 ؛ 36: *. Spx = 00 ؛ 36: *. Xspf = 00 ؛ 36:
 $ unset LS_COLORS
 صدى $ LS_COLORS

 $ time ls - اللون = دائمًا SCRATCH / dont |  مرحاض
 10000

 0m13.037s الحقيقي
 المستخدم 0m0.077s
 تميز الكلية 0m1.092s 

ما!؟! لا يزال 13 ثانية؟

اتضح أنه عندما لا LS_COLORS تعريف LS_COLORS البيئة LS_COLORS أو إذا كان أحد عناصره <type>=color: مفقودًا فقط ، فإنه يستخدم قاعدة البيانات المدمجة بشكل افتراضي ولا يزال يستخدم الألوان. لذلك ، إذا كنت ترغب في تعطيل التلوين لنوع ملف معين ، فستحتاج إلى تجاوزه بـ <type>=: أو <type> 00 في ملف DIR_COLORS .

بعد الكثير من التجربة والخطأ ، قمنا بتضييق نطاق بحثنا إلى هذا:

 EXEC 00 SETUID 00 SETGID 00 CAPABILITY 00 

ما هو مكتوب باسم

 LS_COLORS='ex=00:su=00:sg=00:ca=00:' 

وهذا يعني: عدم تلوين الملفات إما عن طريق إمكانيات atrut أو بتات setuid/setgid أو بالعلم القابل للتنفيذ .

تسريع ls

وإذا لم تقم بأي من عمليات الفحص هذه ، lstat() مكالمات lstat() ، والآن أصبح الأمر مختلفًا تمامًا:

 $ export LS_COLORS='ex=00:su=00:sg=00:ca=00:' $ time strace -c ls --color=always $SCRATCH/dont | wc -l 10000 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 63.02 0.002865 36 80 getdents 8.10 0.000368 12 30 mmap 5.72 0.000260 14 18 mprotect 3.72 0.000169 15 11 open 2.79 0.000127 13 10 read [...] ------ ----------- ----------- --------- --------- ---------------- 100.00 0.004546 221 6 total real 0m0.337s user 0m0.032s sys 0m0.029s 

0.3 ثانية على قائمة من 10000 ملف ، وهو رقم قياسي.

تكوين شيرلوك

من 13 ثانية مع الإعدادات الافتراضية إلى 0.3 ثانية مع إعداد صغير ، يعني LS_COLORS 40 مرة بسبب عدم وجود setuid / setgid والملفات القابلة للتنفيذ الملونة. ليست هذه خسارة كبيرة.

بالطبع ، الآن تم تكوين هذا في شيرلوك لكل مستخدم.

ولكن إذا كنت ترغب في إرجاع التلوين ، يمكنك فقط العودة إلى الإعدادات الافتراضية:

 $ unset LS_COLORS 

ولكن بعد ذلك ، في الدلائل التي تحتوي على عدد كبير من الملفات ، تأكد من إعداد القهوة أثناء العمل.