PHP, YII2 और बड़ी एक्सेल फाइलों का निर्माण

शुरुआत

हमारी कंपनी द्वारा समर्थित एक लेखा और रिपोर्टिंग प्रणाली संग्रहीत डेटा की मात्रा में बहुत तेज़ी से बढ़ने लगी। सिस्टम Yii2 फ्रेमवर्क का उपयोग करके PHP में लिखा गया है। प्रारंभ में, रिपोर्टें PhpSpreadsheet लाइब्रेरी के माध्यम से बनाई गई थीं, जो कि लंबे समय से पदावनत किए गए PhpExcel की जगह लेती थीं।

विभिन्न प्रकार की रिपोर्टिंग के बीच, एक बहुत बड़ा था - वास्तव में, डेटाबेस में संग्रहीत सभी डेटा का पूरा सेट एक एक्सेल टेबल पर अपलोड किया जाना चाहिए। प्रारंभिक स्तर पर, कोई समस्या नहीं थी, लेकिन जब वॉल्यूम कई सैकड़ों हजारों रिकॉर्ड से अधिक होने लगा, तो अनलोडिंग गठन स्क्रिप्ट टाइमआउट सीमा पर गिरना शुरू हो गई। शुरू करने के लिए, हमने इस सीमा को बढ़ाया और समस्या को हल करने के तरीकों की तलाश शुरू की। लेकिन एक अस्थायी समाधान लंबे समय तक नहीं चला - समय सीमा के साथ समस्या स्मृति सीमा के साथ एक समस्या में बदल गई। उन्होंने सर्वर पर "RAM" फेंक दिया और इस विशेष ऑपरेशन के लिए memory_limit को हटा दिया। बहुत जल्द, उपयोगकर्ताओं ने फिर से रनटाइम त्रुटियों के बारे में शिकायत करना शुरू कर दिया। मुझे पूरी रिपोर्ट के लिए समय सीमा निकालनी थी। लेकिन लोडिंग इंडिकेटर के साथ स्क्रीन पर एक दर्जन मिनट बैठना और देखना ज्यादा मजेदार नहीं है। इसके अलावा, कभी-कभी एक रिपोर्ट "यहाँ और अब" की आवश्यकता थी, और इसके गठन पर खर्च किया गया प्रत्येक मिनट महत्वपूर्ण निकला। पर्यावरण सेटिंग्स के साथ प्रयोगों को रोक दिया गया, सिर के पीछे खरोंच कर दिया और कोड को अनुकूलित करना शुरू कर दिया।

समाधान के लिए खोजें

पहली बात यह थी कि रिपोर्टिंग स्क्रिप्ट को पृष्ठभूमि प्रक्रिया में रखा गया था, और उपयोगकर्ता "प्रगति बार" के माध्यम से प्रगति की निगरानी करता है। भंडारण के लिए रेडिस का उपयोग करके कतार तंत्र के माध्यम से पृष्ठभूमि नौकरी निष्पादन को लागू किया गया था। सिस्टम में काम बंद नहीं होता है, आप अन्य कार्यों को कर सकते हैं और समय-समय पर रिपोर्ट पेज पर वापस आ सकते हैं कि फाइल तैयार है या नहीं। जैसे ही फ़ाइल बनती है, उपयोगकर्ता को एक डाउनलोड लिंक की पेशकश की जाती है। लेकिन, जैसा कि ऊपर उल्लेख किया गया है, कभी-कभी फ़ाइल को "तुरंत" आवश्यक था, और बढ़ती उपयोगिता ने इस समस्या को हल नहीं किया। इस बीच, डेटा की मात्रा बढ़ती रही और फ़ाइल बनाने में लगने वाला समय 79 मिनट तक पहुंच गया! यह पूरी तरह से अस्वीकार्य है, विशेष रूप से यह देखते हुए कि रिपोर्टिंग इस प्रणाली की कार्यक्षमता की नींव में से एक है। नहीं, अन्य सभी भागों ने घड़ी की कल की तरह काम किया, लेकिन मरहम में इस मक्खी ने समग्र प्रभाव को खराब कर दिया।

पहला परिणाम

हम कोड विश्लेषण के लिए फिर से बैठ गए। पहली चीज जो परीक्षण की गई थी वह डेटाबेस से डेटा का चयन करने की प्रक्रिया थी। लेकिन प्रश्नों को पहले से ही अधिकतम संभव तरीके से अनुकूलित किया गया है। हालांकि सबसे लंबा अनुरोध राक्षसी FIAS को पांच या छह कॉल के साथ एक भयानक नमूना था, इसने 2-5 सेकंड में काम किया। कमजोर बिंदु उसे नहीं था, लेकिन फ़ाइल "एक्सेलनिक" का गठन था। इस प्रक्रिया को अनुकूलित करने के प्रयास शुरू हो गए हैं। रेडियों में कैशिंग से शुरू होकर, विकृतियों तक, जैसे समानांतर धाराओं में अलग-अलग छोटे "एक्सेल" के गठन के बाद, एक फ़ाइल में चिपकाने के बाद। लेकिन परिणाम हमेशा एक ही था: समय के साथ समस्या स्मृति और इसके विपरीत एक समस्या में बदल गई। कोई बीच का रास्ता नहीं था, केवल एक चरम से दूसरे तक बह रहा था। एक निश्चित मात्रा में डेटा के बाद, पुस्तकालय की संसाधन खपत तेजी से बढ़ने लगी और इसे हराना संभव नहीं था। PhpSpreadsheet - बड़ी फ़ाइलों के लिए उपयुक्त नहीं है। परिणामस्वरूप, पुस्तकालय को बदलने का निर्णय लिया गया। एक विकल्प के रूप में - पूर्व फाइलों के निर्माण के लिए अपना खुद का एनालॉग लिखना।

विश्लेषण और उपकरण चयन

उन्होंने साइकिल लिखने में जल्दबाजी नहीं की, लेकिन शुरू करने के लिए, उन्होंने मौजूदा समाधानों का विश्लेषण किया। संभावित विकल्पों में से, केवल बॉक्स / टोंटी ब्याज की थी। इस लाइब्रेरी का उपयोग करके मॉड्यूल को जल्दी से फिर से लिखना। परिणामस्वरूप, 145 सेकंड में एक पूर्ण रिपोर्ट प्राप्त हुई। आपको याद दिला दूं कि PhpSpreadsheet के साथ नवीनतम परीक्षण 79 मिनट और यहां 2.5 मिनट हैं! आयोजित परीक्षण: डेटा की मात्रा में 2 गुना की वृद्धि हुई। रिपोर्ट 172 सेकंड में जनरेट की गई थी। अंतर आश्चर्यजनक है। बेशक, लाइब्रेरी में PhpSpreadsheet के समान सभी कार्य नहीं हैं, लेकिन इस मामले में उपकरण का न्यूनतम सेट पर्याप्त है, क्योंकि गति महत्वपूर्ण है।

Yii2 के लिए एक्सटेंशन

अंतिम निर्णय Yii2 के विस्तार के रूप में तैयार किया गया था। शायद कोई काम आएगा। एक्सटेंशन आपको फ़िल्टरिंग और सॉर्टिंग को बनाए रखते हुए ग्रिड से किसी भी डेटासेट को एक्सेल में अपलोड करने की अनुमति देता है। यह निर्भरता के रूप में yii / कतार और बॉक्स / टोंटी का उपयोग करता है। यह वास्तव में बड़ी फ़ाइलों को बनाने के लिए विस्तार का उपयोग करने के लिए समझ में आता है, अच्छी तरह से, कम से कम 50,000 लाइनें =) फिलहाल, मॉड्यूल, जो विस्तार का आधार बन गया है, लगभग 600,000 लाइनों के भार के साथ प्रसिद्ध रूप से मुकाबला करता है।

Github का लिंक: Yii2 ExcelReport Extension

आपका ध्यान के लिए धन्यवाद!