एक उदाहरण के रूप में Apache इग्नाइट का उपयोग करके जावा प्रोजेक्ट के टेस्ट कवरेज का आकलन करना

मैं खुले स्रोत अपाचे इग्नाइट परियोजना के विकास में भाग लेता हूं, परियोजना पर काम करते समय परीक्षण कवरेज का मूल्यांकन करना मेरे लिए दिलचस्प हो गया और यही से यह हुआ।

टेस्ट कवरेज सबसे लोकप्रिय मीट्रिक है जिसका उपयोग उत्पाद परीक्षण की गुणवत्ता का आकलन करने में किया जाता है।

यह कुछ मेट्रिक्स में से एक है जो आपको उन क्षेत्रों की पहचान करने की अनुमति देता है जो एक त्रुटि के जोखिम के कारण ध्यान देने की आवश्यकता होती है, और मॉड्यूल या प्रोजेक्ट घटकों पर काम को प्राथमिकता देते हैं।

पूर्ण जावा परीक्षण कवरेज मूल्यांकन रिपोर्ट प्राप्त करने का सबसे आसान तरीका इंटेलीजे आईडीईए में निर्मित कवरेज धावक का उपयोग करना है। यह आपको कुछ क्लिकों में मैट्रिक्स के संग्रह को कॉन्फ़िगर करने और बाद की रिपोर्ट पीढ़ी के साथ परीक्षण चलाने की अनुमति देता है।

अपाचे इग्नाइट प्रोजेक्ट में परीक्षण

अपाचे इग्नाइट प्रोजेक्ट परीक्षण के लिए अपने स्वयं के परीक्षण ढांचे का उपयोग करता है, जिसे JUnit 3 के आधार पर लागू किया गया है। लेखन के समय, कोर प्रोजेक्ट मॉड्यूल में ~ 82 हजार परीक्षण होते हैं, जिनमें से अधिकांश घटक होते हैं और अलग-अलग JVM सहित कई नोड्स से क्लस्टर उठाने की आवश्यकता होती है। पर्यावरण की सहवर्ती तैयारी के साथ।

यह ध्यान देने योग्य है कि इतने बड़े प्रतिगमन आधार की परिचालनता सुनिश्चित करना आसान काम नहीं है। समुदाय लगातार उत्पाद की स्थिति की निगरानी करता है और मेक टीमसिटी ग्रीन अगेन पहल के हिस्से के रूप में पाए जाने वाले कीड़े को ठीक करता है।

संकेतित परियोजना सुविधाएँ निम्नलिखित कारणों से एक बार JVM में सभी परीक्षण चलाने की अनुमति नहीं देती हैं:

• संभव त्रुटि OutOfMemoryError;
• जेवीएम की संभावित दुर्घटना;
• संभव गतिरोध;
• पिछले परीक्षण में बिना रुके नोड के कारण परीक्षण शुरू करने में असमर्थता;
• रन एक कंप्यूटर पर तीन दिन लगेगा।

यह सब परियोजना के सभी परीक्षणों पर एक रिपोर्ट प्राप्त करने के लिए IntelliJ IDEA का उपयोग करना असंभव बनाता है और समस्या को हल करने के लिए एक विशेष दृष्टिकोण की आवश्यकता होती है।

परीक्षण कवरेज मूल्यांकन तैयार करना और संचालित करना

किए गए कार्य के आधार पर, कार्य को पूरा करने के लिए सबसे विश्वसनीय दृष्टिकोण चुना गया था, जिसमें निम्न चरण शामिल हैं:

1. परीक्षण कक्षाओं के एक सेट को परिभाषित करना;
2. प्रत्येक परीक्षण वर्ग के लिए निष्पादन:
   2.1। वॉचडॉग टाइमर के साथ एक अलग JVM में कक्षा परीक्षणों का एक सेट शुरू और चलाएं जो परीक्षणों के साथ जमा या समस्याओं के मामले में थ्रेड को समाप्त करेगा;
   2.2। परीक्षण कवरेज मैट्रिक्स प्राप्त करने और बचाने के लिए संचालन;
   2.3। परीक्षणों के पूरा होने पर पर्यावरण की सफाई;
3. अनुच्छेद 2 में प्राप्त सभी मीट्रिक का विलय;
4. पूरी रिपोर्ट पीढ़ी।

परीक्षण कवरेज के मूल्यांकन के लिए कई उपकरण हैं, जिनमें से सबसे लोकप्रिय हैं:

• JaCoCo
• Cobertura
• तिपतिया घास

मैं उनके मतभेदों पर ध्यान केंद्रित नहीं करूंगा; परीक्षण कवरेज का आकलन करने के लिए उपकरणों की क्षमताओं की तुलना करने वाली एक दृश्य तालिका यहां प्रस्तुत की गई है ।

समस्या को हल करने के लिए, JaCoCo लाइब्रेरी को टीमसिटी पर समाधान को एम्बेड करने में सक्षम होने के लिए चुना गया था, जिस पर अपाचे इग्नाइट परियोजना का मौजूदा परीक्षण बुनियादी ढाँचा आधारित है। टीमसिटी JaCoCo के साथ बॉक्स से बाहर काम कर सकती है।

वर्णित एल्गोरिदम को स्वचालित करने के लिए, एक बैश स्क्रिप्ट और मावेन का उपयोग किया गया था । जैकोको मावेन प्लगइन का कॉन्फ़िगरेशन pom.xml में एक अलग मावेन प्रोफाइल द्वारा लागू किया गया है।

JaCoCo प्लगइन की कॉन्फ़िगरेशन प्रोफ़ाइल नीचे दी गई है और इसका अर्थ है 2 अलग-अलग प्रारंभों में एक पृथक्करण:

1. टेस्ट कवरेज मेट्रिक्स इकट्ठा करने के लिए कनेक्टेड JCoCo एजेंट ( रेडी -एजेंट ) के साथ परीक्षण चलाएं। स्टार्टअप पर स्क्रिप्ट द्वारा 'रनडायरेरी' संपत्ति पारित की जाएगी, जो अलगाव में रनों के परिणामों को बचाने की अनुमति देगा;
2. मर्ज रन परिणाम ( मर्ज ) और रिपोर्ट जनरेशन ( रिपोर्ट )।

<profile> <id>coverage</id> <properties> <argLine> -ea \ -server \ -Xms1g \ -Xmx6g \ -XX:+HeapDumpOnOutOfMemoryError \ -XX:+AggressiveOpts \ -DIGNITE_UPDATE_NOTIFIER=false \ -DIGNITE_NO_DISCO_ORDER=true \ -DIGNITE_PERFORMANCE_SUGGESTIONS_DISABLED=true \ -DIGNITE_QUIET=false \ -Djava.net.preferIPv4Stack=true \ </argLine> <coverage.dataFile>${runDirectory}/coverage-reports/jacoco-ut.exec</coverage.dataFile> <coverage.outputDir>${runDirectory}/jacoco-ut</coverage.outputDir> </properties> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <configuration> </configuration> <executions> <execution> <id>default-test</id> <phase>test</phase> <goals> <goal>test</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.jacoco</groupId> <artifactId>jacoco-maven-plugin</artifactId> <version>0.8.1</version> <executions> <execution> <id>default-prepare-agent</id> <goals> <goal>prepare-agent</goal> </goals> <configuration> <destFile>${coverage.dataFile}</destFile> </configuration> </execution> <execution> <id>post-merge</id> <phase>validate</phase> <goals> <goal>merge</goal> </goals> <configuration> <fileSets> <fileSet> <directory>${basedir}</directory> <includes> <include>results/*/coverage-reports/jacoco-ut.exec</include> </includes> </fileSet> </fileSets> <destFile>merged.exe</destFile> </configuration> </execution> <execution> <id>generate-report</id> <phase>validate</phase> <goals> <goal>report</goal> </goals> <configuration> <dataFile>${basedir}/merged.exe</dataFile> <outputDirectory>${basedir}/coverage-report</outputDirectory> </configuration> </execution> </executions> </plugin> </plugins> </build> </profile> 

नीचे एक स्क्रिप्ट है जो पहले वर्णित चरणों को लागू करता है।

 #!/bin/bash #        DEVNOTES.txt # #    : ignite/modules/core # #   : 'nohup ./coverage.sh >/dev/null 2>&1 &' SCRIPT_DIR=$(cd $(dirname "$0"); pwd) echo "***** ." echo "*****   ..." tests=() while IFS= read -r -d $'\0'; do tests+=("$REPLY") done < <(find $SCRIPT_DIR/src/test/java/org/apache/ignite -type f -name "*Test*" ! -name "*\$*" ! -name "*Abstract*" ! -name "*TestSuite*" -print0) testsCount=${#tests[@]} echo "*****   ="$testsCount idx=0 for path in ${tests[@]} do idx=$((idx+1)) echo "*****  "$idx"  "$testsCount echo "*****  : "$path filename=$(basename -- "$path") filename="${filename%.*}" echo "*****  : "$filename runDir=$SCRIPT_DIR"/results/"$filename mkdir -p $runDir if [ "$(ls -A $runDir)" ]; then continue fi echo "*****  ..." timeout 30m mvn -P surefire-fork-count-1,coverage test -Dmaven.main.skip=true -Dmaven.test.failure.ignore=true -Dtest=$filename -DfailIFNoTests=false -DrunDirectory=$runDir echo "*****  ..." pkill java done #      mvn -X -P surefire-fork-count-1,coverage validate echo "***** ." 

कवरेज मूल्यांकन के साथ सभी परीक्षणों के रन ने एक समर्पित सर्वर पर ~ 50 घंटे का समय लिया: 4 vCPU, 8RAM, 50 SSD, Ubuntu x64 16.04 ।

वर्णित दृष्टिकोण को आसानी से कई स्टैंडों के समानांतर किया जा सकता है, अगर संसाधन उपलब्ध हैं, जो परीक्षण के कवरेज का आकलन करने में लगने वाले समय को काफी कम कर देगा। TeamCity पर इस समाधान को एम्बेड करने के बाद, परीक्षण कवरेज मूल्यांकन समय लगभग 2 घंटे लगना चाहिए।

परिणाम

रिपोर्ट के परिणामों के अनुसार, परियोजना निर्देशों का कवरेज ~ 61% है।

मुख्य घटकों के लिए कवरिंग निर्देश:

• कैश - 66%
• डिस्कवरी - 57%
• गणना - 60%
• स्ट्रीम - 51%
• बाइनरी - 68%
• लेनदेन - 71%

परिणामों का विश्लेषण करने के बाद, यह स्पष्ट हो गया कि सभी गर्म कोड को कवर किया गया था, साथ ही साथ विशिष्ट समस्याओं को ठीक करने के लिए कोड भी। इस तरह के टूलकिट के बाद, यह संभव है कि उत्पाद को और अधिक विश्वसनीय बनाने के लिए, कवरेज को दुर्लभ और असामान्य स्थितियों में विस्तारित किया जाए।

पुनरीक्षण के लिए पुनश्च पूर्ण रिपोर्ट ।