हम ग्राफिक फ़ाइलों के साथ काम करने के लिए एक तेज सार्वभौमिक पुस्तकालय की तलाश कर रहे हैं, Google बेंचमार्क को समझें

आजकल, जब तंत्रिका नेटवर्क बिग डेटा के विस्तार को हल करते हैं, और कृत्रिम बुद्धिमत्ता विचार कर रही है कि बिटकॉइन में अपने काम के लिए वेतन प्राप्त करना उसके लिए लाभदायक है या नहीं, मुझे ग्राफिक फाइलों को लोड करने, सहेजने और ट्रांसकोडिंग के लिए सबसे तेज ओपन क्रॉस-प्लेटफॉर्म लाइब्रेरी खोजने का काम मिला, जो एक वास्तविक अभिग्राहिता की तरह लग रहा था । लेकिन वास्तव में, यह कार्य पहले से कहीं अधिक प्रासंगिक है - कंप्यूटर दृष्टि और मशीन सीखने की सभी तकनीकों के लिए, चित्रों के गीगाबाइट को डाउनलोड किया जाना चाहिए, और कभी-कभी मध्यवर्ती डेटा को छवियों के रूप में सहेजा जाना चाहिए। तो सबसे तेज़ तरीके से ऐसा करने के लिए बहुत वांछनीय है। इस लेख में हमें वह लाइब्रेरी मिलेगी जिसकी हम तलाश कर रहे हैं, और सबसे महत्वपूर्ण बात यह है कि हम एक बहुत ही उपयोगी उत्पाद से निपटेंगे जो समान और कई अन्य कार्यों को सरल करता है - Google बेंचमार्क।

तो, समस्या का सटीक विवरण बताता है: आवेदन में, 24 और 8 बिट रंग की गहराई के साथ जेपी और टिफ़ फाइलें, साथ ही 32-बिट बीएमपी को मेमोरी में लोड किया गया है। छवि का आकार छोटे (32x32 पिक्सेल) से बड़े तक होता है, जिसमें 15K का संकल्प होता है। प्रक्रिया में, फ़ाइलों को संशोधित किया जाता है, जिसके बाद उन्हें निर्दिष्ट स्वरूपों में डिस्क में सहेजने की आवश्यकता होती है। और यह एक क्रॉस-प्लेटफ़ॉर्म ओपन सोर्स लाइब्रेरी द्वारा किया जाना चाहिए, जिसमें वेक्टर निर्देश AVX2 के समर्थन के साथ आधुनिक इंटेल प्रोसेसर पर अधिकतम प्रदर्शन होता है। पुस्तकालय DirectX DXT1 संकुचित बनावट प्रारूप पुस्तकालय का भी समर्थन करता है। विंडोज इमेजिंग कंपोनेंट को प्रदर्शन के लिए मानदंड के रूप में लिया जाता है - विंडोज पर छवियों के साथ काम करने के लिए मानक रूपरेखा, अर्थात, आपको एक पुस्तकालय खोजने की आवश्यकता है जो WIC की तुलना में बराबर या तेज़ी से काम करता है।

लेकिन सबसे महत्वपूर्ण आवश्यकता यह है कि अभी एक समाधान की आवश्यकता है, लेकिन बेहतर कल की।

Bmp, tiff, jpeg के साथ काम करने के लिए पुस्तकालयों से मिलें

समाधान की शुरुआत एक स्पष्ट और बिना सोचे समझे की जाती है, यद्यपि यह बहुत जल्दी कदम नहीं है - वांछित पुस्तकालय की भूमिका के लिए उपयुक्त उम्मीदवारों की तलाश में विकिलिक्स गिथब , स्टैकओवरफ़्लो और अन्य Google का गहन अध्ययन। इनमें से कुछ थे:

• FreeImage । प्रसिद्ध पुस्तकालयों LibJPEG, LibPNG, LibTIFF पर एक शेल। DXT1 समर्थन प्लगइन के माध्यम से मौजूद है। नुकसान यह है कि एपीआई में जेपीईजी की बचत की गुणवत्ता बहुत ही विवेकपूर्वक निर्धारित की गई है - 100, 75.50 और 25%। इस पैरामीटर को बदलने के लिए, आपको कोड को समझना और संपादित करना होगा। परियोजना जीवंत और विकासशील है - नवीनतम संस्करण 3.18.0 31 जुलाई, 2018 को जारी किया गया था। विंडोज के तहत असेंबली तुच्छ है, सभी घटक स्वचालित रूप से निर्मित होते हैं।
• Cimg यह एक C ++ हैडर फ़ाइल रैपर है जो एक प्राचीन आर्टिफ़िशियल पैकेज ImageMagick पर है । पैकेज को एक अलग बिल्ड-इंस्टॉलेशन की आवश्यकता होती है, इसे सीधे उपयोग करना भी संभव है, Cimg को दरकिनार करना। इसमें छवियों के साथ काम करने की बहुत अधिक संभावनाएं हैं: फिल्टर, रूपांतरण, आकारिकी की परिभाषा, आदि। एचडीआर का समर्थन करता है, डीएक्सटी 1 का समर्थन नहीं करता है।
• डेविल ( डेवलपर की छवि लाइब्रेरी )। एक बहुत ही सरल ओपन-स्टाइल सी लाइब्रेरी। इसमें LibJPEG, LibPNG, LibTIFF पर एक शेल शामिल है, लेकिन इसमें व्यापक अंतर्निहित कार्यक्षमता भी है, इसके अतिरिक्त DXT1 सहित कई छवि प्रारूप का समर्थन करता है। विधानसभा के लिए सीएमके का उपयोग करता है। अधिकांश निर्भरताएं, जिनमें LibJPEG, LibPNG, LibTIFF, शैतान में शामिल नहीं हैं और उन्हें स्वतंत्र रूप से डाउनलोड किया जाना चाहिए और अलग से संकलित किया जाना चाहिए। बिल्ड सिस्टम के बारे में नवीनतम डेविल अपडेट 01/01/2017 दिनांकित है, और पिछला एक आम तौर पर 2014 में हुआ था, इसलिए यदि लाइब्रेरी के साथ संभावित समस्याएं हैं, तो उनके समाधान के साथ समस्याएं हो सकती हैं।
• OpenImageIO । यह छवियों के साथ काम करने के लिए पेशेवर सॉफ़्टवेयर के लिए डेवलपर टूल के रूप में तैनात है। यह कई विदेशी फोटो प्रारूपों और यहां तक ​​कि वीडियो के साथ प्लग-इन काम के रूप में समर्थन करता है। विंडोज के लिए बिल्ड को पहले से तैयार बूस्ट और क्यूटी 4 की आवश्यकता होती है। परीक्षण के लिए कोई तैयार-किए गए इकट्ठे संस्करण नहीं है।
• बूस्ट जीआईएल (जेनेरिक इमेज लाइब्रेरी) बूस्ट और यही है। हालांकि, सभी नहीं। इस लाइब्रेरी में LibJPEG, LibPNG और LibTIFF पर एक आवरण भी है।
• SDL_image 2.0 SDL लाइब्रेरी के साथ उपयोग किया जाता है और, आप हँसेंगे, लेकिन इसमें LibJPEG, LibPNG और LibTIFF पर एक शेल भी शामिल है।

सभी पाए गए पुस्तकालयों को विजुअल स्टूडियो कंपाइलर और / आर्क: AVX2 स्विच के अधिकतम स्तर का उपयोग करके विंडोज के तहत संकलित किया गया था।

ताजा OpenCV लाइब्रेरी पैकेज से लिए गए काम को गति देने के लिए LibJPEG, LibPNG और LibTIFF लाइब्रेरी पर भी यही बात लागू होती है।

Google बेंचमार्क को पूरा करें

अगला समाधान कदम भी स्पष्ट है - पाया पुस्तकालयों के प्रदर्शन की तुलना के लिए एक बेंचमार्क का निर्माण, और Google बेंचमार्क माइक्रोबेनमार्किंग लाइब्रेरी का उपयोग, जो व्यापक रूप से संकीर्ण हलकों में जाना जाता है, इसे सरल और तेज बनाता है।
Google बेंचमार्क आपके द्वारा C ++ 11 चक्र के शरीर में डाले गए कोड के टुकड़ों के प्रदर्शन को सही ढंग से माप सकता है।

static void BM_foo1(benchmark::State& state) { //     Init_your_code(); for (auto _ : state){ //  -  your_code_to_benchmark(); } 

एक बेंचमार्क के रूप में पंजीकृत कार्यों में

 //       BENCHMARK(BM_foo1); 

और उन्हें चलाएं:

 BENCHMARK_MAIN(); 

फिर निर्दिष्ट प्रारूप में एक रिपोर्ट जारी करें - कंसोल आउटपुट, json, csv।

रिपोर्ट में निष्पादन प्रणाली (प्रोसेसर, कैश कॉन्फ़िगरेशन) पर डेटा होगा, प्रत्येक मापा कार्यों के कुल वैश्विक परिचालन समय, साथ ही साथ वे प्रोसेसर लेने का समय भी। ये समय आम तौर पर भिन्न होते हैं - पहला, उदाहरण के लिए, एक पढ़ने / लिखने में देरी शामिल है, और बहु-थ्रेडेड बेंचमार्क के लिए दूसरा सभी कोर के ऑपरेटिंग समय का योग है।

Google बेंचमार्क द्वारा प्रदर्शित अंतिम पैरामीटर फ़ंक्शन के लिए निष्पादित पुनरावृत्तियों की संख्या है, जो इसके संचालन समय के सांख्यिकीय रूप से सही सटीक माप के लिए आवश्यक है। प्रारंभिक माप करते हुए, सिस्टम अपने आप इसका चयन कर लेता है।

रनटाइम का "सटीक माप" क्या है? आप इस विषय पर शोध प्रबंध लिख सकते हैं, लेकिन इस मामले में यह कहना पर्याप्त है कि:

• डिफ़ॉल्ट रूप से, माप प्रोसेसर समूहों में होता है, अर्थात सटीकता का सैद्धांतिक क्रम बिल्कुल यही है। डिफ़ॉल्ट आउटपुट नैनोसेकंड में है;
• मेरे द्वारा देखे गए सभी परीक्षणों के परिणाम लॉन्च से लॉन्च तक बहुत स्थिर हैं;
• मेरे बुद्धिमत्ता के आंकड़ों के अनुसार, Google बेंचमार्क का उपयोग और इसके परिणामों पर पूरी तरह से भरोसा किया जाता है, जो दुनिया के किसी भी ऑटोमोबाइल चिंता के ऑन-बोर्ड कंप्यूटर सॉफ़्टवेयर के डेवलपर्स द्वारा किया जाता है। तो हम विश्वास करेंगे।

केवल ध्यान देने योग्य बात: बेंचमार्क पुनरावृत्तियों की शुरुआत के बीच Google बेंचमार्क कैश की "सफाई" प्रदान नहीं करता है। यदि आवश्यक हो, तो आपको इस बात का ध्यान रखना चाहिए।

लेकिन Google बेंचमार्क कई अन्य काम कर सकता है:

• एल्गोरिथ्म (ओ) की स्पर्शोन्मुख जटिलता की गणना;
• मल्टी-थ्रेडेड बेंचमार्क के साथ सही ढंग से काम करते हैं, उनकी अवधि को प्रोसेसर टिक्स में नहीं, बल्कि "वास्तविक समय" मोड (दीवार घड़ी) में मापते हैं;
• "मैनुअल" समय माप के अपने स्वयं के फ़ंक्शन का उपयोग करें, जो उपयोगी हो सकता है, उदाहरण के लिए, जब GPU पर काम मापते हैं;
• स्वचालित रूप से मापा फ़ंक्शन के किसी दिए गए निकाय के लिए अलग-अलग तर्क के साथ बेंचमार्क सेट करें;
• बेंचमार्क की कई शुरुआत के लिए औसत मूल्य, औसत और मानक विचलन दिखाएं;
• अपने स्वयं के काउंटर और टैग सेट करें जो Google बेंचमार्क रिपोर्ट में दिखाई देंगे।

Google बेंचमार्क को जीथब रिपॉजिटरी से डाउनलोड किया जाता है , सीमेक (विंडोज के लिए विजुअल स्टूडियो असेंबली उपलब्ध है) का उपयोग करके उपयुक्त प्लेटफ़ॉर्म के लिए इकट्ठा किया जाता है, जिसके परिणामस्वरूप लाइब्रेरी आपके प्रोजेक्ट से जुड़ेगी (विंडोज़ के मामले में, शाल्ली लाइब्रेरी के साथ एक लिंक भी आवश्यक है), बेंचमार्क हेडर फ़ाइल आपके कोड में जुड़ जाती है। .h, जिसके बाद सब कुछ ऊपर वर्णित के रूप में काम करता है।

यदि यह काम नहीं करता है, तो एकमात्र स्थान, पहले से संकेतित साइट के अलावा, जहां आप कम से कम कुछ जानकारी प्राप्त कर सकते हैं और Google बेंचमार्क पर मदद एक विशेष उत्पाद मंच है ।

हमारे मामले में, सब कुछ समस्याओं के बिना काम किया। ग्राहकों के साथ संवाद करने के बाद, 4 बेंचमार्क परिभाषित किए गए, जो एक अलग नाम के तहत लोड और बचत कर रहे हैं:

• 15k के रिज़ॉल्यूशन के साथ 8-बिट jpeg फ़ाइल
• 15k के संकल्प के साथ 24-बिट जेपीआर फ़ाइल
• 15k के संकल्प के साथ 24-बिट टिफ़ फ़ाइल
• 32x32 के रिज़ॉल्यूशन के साथ 32-बिट बीएमपी फ़ाइल

नतीजे मिलते हैं

यह मूल रूप से योजनाबद्ध था कि सभी पाए गए पुस्तकालयों, अर्थात्, FreeImage, Cimg, DevIL, OpenImageIO, Boost GIL और SDL_image 2.0, विंडोज इमिशन कंपोनेंट (WIC) के साथ परीक्षण-तुलना में भाग लेंगे। लेकिन बूस्ट और एसडीएल जैसे "राक्षसों" के आधार पर अंतिम तीन पुस्तकालयों को ग्राहकों से आपातकालीन स्थिति में आरक्षित स्थिति में छोड़ने के लिए कहा गया था, यदि वांछित पुस्तकालय पहले तीन में से नहीं मिला है। और, सौभाग्य से, वह मिली थी। हालांकि तुरंत नहीं।

निम्नलिखित Google बेंचमार्क द्वारा बनाई गई एक रिपोर्ट है, जो दर्शाती है कि:

• पूरी तरह से एक कुचल स्कोर के साथ FreeImage सभी परीक्षणों में WIC खो देता है, इसलिए इसे अब नहीं माना जा सकता है।
• Cimg WIC को लोडिंग टिफ को छोड़कर हर जगह साफ-सुथरा खो देता है, जहां यह थोड़ा (5% से कम) तेजी से होता है। काश, उसे भी हटाना पड़ेगा। इसके अलावा, यह ImageMagick पैकेज के प्रत्यक्ष उपयोग पर लागू होता है।

शैतान पुस्तकालय बनी हुई है। यह bmp और tiff (WIC की तुलना में 3 और 2.8 गुना अधिक!) लोड करने के मामलों में उत्कृष्ट परिणाम दिखाता है, काले और सफेद jpeg (WIC की तुलना में 1.75x बेहतर), लेकिन यह नियमित 24-बिट jpeg लोड करने पर थोड़ा धीमा हो जाता है - यह 3 से करता है WIC के मुकाबले% धीमा।

08/15/18 11:15:44 Running c:\WIC\WIC_test\Release\WIC_test.exe Run on (8 X 4008 MHz CPU s) CPU Caches: L1 Data 32K (x4) L1 Instruction 32K (x4) L2 Unified 262K (x4) L3 Unified 8388K (x1)
Benchmark	Time	CPU	Iterations
BM_WIC8jpeg	72 ms	70 ms	11
BM_cimg8jpeg	562 ms	52 ms	10
BM_FreeImage8jpeg	147 ms	144 ms	5
BM_devIL8jpeg	41 ms	41 ms	17
BM_WIC24jpeg	266 ms	260 ms	3
BM_cimg24jpeg	656 ms	128 ms	6
BM_FreeImage24jpeg	594 ms	594 ms	1
BM_devIL24jpeg	276 ms	276 ms	3
BM_WIC24tiff	844 ms	844 ms	1
BM_cimg24tiff	808 ms	131 ms	5
BM_FreeImage24tiff	953 ms	938 ms	1
BM_devIL24tiff	305 ms	305 ms	2
BM_WIC32	3 ms	3 ms	236
BM_cimg32	71 ms	7 ms	90
BM_FreeImage32	6 ms	5 ms	112
BM_devIL32	1 ms	1 ms	747

बेशक, इस स्तर पर डेविल को भी अस्वीकार किया जा सकता है, लेकिन यहां एक और पुस्तकालय फ्रेम में दिखाई देता है - लिबजप्रेस-टर्बो ।

इसका आउटपुट आसानी से तालियों से मिल सकता है - लिबजप्रेस-टर्बो एक क्रॉस-प्लेटफ़ॉर्म लाइब्रेरी है जो पूरी तरह से libjpeg कार्यक्षमता (एपीआई) को लागू करता है और अपनी कार्यक्षमता जोड़ता है (उदाहरण के लिए, 32-बिट बफ़र्स के साथ काम करना)। एक ही समय में, x86 आर्किटेक्चर के लिए Libjpeg-टर्बो सक्रिय रूप से वेक्टर निर्देशों (SSE2, AVX2) का उपयोग करता है और, इसके रचनाकारों के अनुसार, libjpeg (!) से 2-6 गुना तेज है।

इसलिए, अगला कदम libjpeg के बजाय Libjpeg-टर्बो के साथ Devil का निर्माण करना है। Libakepeg- टर्बो सीएमके की मदद से विजुअल स्टूडियो को बिना किसी समस्या के बनाता है, और फिर लगभग तुरंत (केवल #define के प्रतिस्थापन के साथ, जो डेविल हेडर फ़ाइल में libjpeg का संस्करण निर्धारित करता है) Devil के हिस्से के रूप में काम करना शुरू कर देता है।

परिणामस्वरूप, Google बेंचमार्क रिपोर्ट इस तरह दिखाई देती है:

Benchmark	Time	CPU	Iterations
BM_WIC8jpeg	72 ms	68 ms	9
BM_cimg8jpeg	565 ms	39 ms	10
BM_FreeImage8jpeg	148 ms	141 ms	5
BM_devIL8jpeg	31 ms	31 ms	24
BM_WIC24jpeg	269 ms	266 ms	2
BM_cimg24jpeg	675 ms	131 ms	5
BM_FreeImage24jpeg	604 ms	594 ms	1
BM_devIL24jpeg	149 ms	150 ms	5
BM_WIC24tiff	833 ms	828 ms	1
BM_cimg24tiff	785 ms	138 ms	5
BM_FreeImage24tiff	943 ms	938 ms	1
BM_devIL24tiff	318 ms	320 ms	2
BM_WIC32	4 ms	3 ms	236
BM_cimg32	74 ms	8 ms	56
BM_FreeImage32	6 ms	5 ms	100
BM_devIL32	1 ms	1 ms	747

बेशक, jpeg के साथ प्रदर्शन में सुधार libjpeg की तुलना में दोगुना नहीं है, लेकिन ऐसा होना चाहिए - क्योंकि गति श्रेष्ठता केवल jpeg एन्कोडिंग / डिकोडिंग पर लागू होती है, और परीक्षण में फ़ाइल पढ़ने / लिखने का ओवरहेड शामिल है।

लेकिन यह देखा जा सकता है कि औसतन शैतान 8-बिट जेपीईजी के मामले में 2.3 गुना, 24-बिट जेपीईजी 1.8 गुना, 24-बिट टिफ़ - 2.7 गुना, 32-बिट बीएमपी - 3.5 गुना के मामले में डब्ल्यूआईसी से तेज है।

समस्या हल हो गई है। तीन ग्रीष्मकालीन पूर्व-अवकाश कार्य दिवस पूरी तरह से निर्णय पर खर्च किए गए थे। बेशक, अगर थोड़ा और अधिक होता, तो यह संभव होगा कि एक और अधिक प्रभावशाली परिणाम के साथ एक पुस्तकालय होगा, और यदि यह बहुत अधिक होगा, तो शायद मैं उस पुस्तकालय को लिखूंगा जिसे मैं खुद के लिए देख रहा था।

लेकिन यहां तक ​​कि जो प्रभावशाली है। इसलिए, यदि आप ग्राफिक फ़ाइलों के साथ काम करने के लिए एक क्रॉस-प्लेटफॉर्म लाइब्रेरी की तलाश कर रहे हैं जो हर दृष्टि से त्वरित और आसान है, तो DevIL पर ध्यान दें , और यदि आपको कोड की तुलनात्मक माप जल्दी और सटीक करने की आवश्यकता है, तो Google बेंचमार्क आपकी सेवा में है।