Py.test में फ़ाइल से पैरामीटर

स्वचालित परीक्षण के क्षेत्र में, आप विभिन्न उपकरण पा सकते हैं, उदाहरण के लिए, अजगर में ऑटो-टेस्ट लिखने के लिए py.test सबसे लोकप्रिय समाधानों में से एक है।

पाइटेस्ट से संबंधित बहुत सारे संसाधनों से गुजरने और परियोजना की आधिकारिक वेबसाइट से दस्तावेज़ीकरण का अध्ययन करने के बाद, मैं एक मुख्य कार्य के समाधान का प्रत्यक्ष विवरण नहीं खोज सका - एक अलग फ़ाइल में संग्रहीत परीक्षण डेटा के साथ परीक्षण चल रहा है। अन्यथा, यह कहा जा सकता है, फ़ाइल से परीक्षण कार्यों में मापदंडों को लोड करना या सीधे फ़ाइल से पैरामीटर करना। इस तरह की प्रक्रिया को पेचीदगियों में कहीं भी वर्णित नहीं किया गया है और इस सुविधा का एकमात्र उल्लेख केवल एक ही दस्तावेज में है।

इस लेख में मैं इस समस्या के समाधान के बारे में बात करूंगा।

कार्य

मुख्य कार्य यह है कि परीक्षण मामलों को संबंधित फ़ाइल फ़ंक्शन नामों से प्रत्येक व्यक्तिगत परीक्षण फ़ंक्शन में test_input और expected_result पैरामीटर मापदंडों के रूप में उत्पन्न किया test_input ।

अतिरिक्त कार्य:

• परीक्षण मामलों के साथ फ़ाइलों का मानव-पठनीय प्रारूपण चुनें;
• हार्ड-कोडेड परीक्षण मामलों का समर्थन करने की क्षमता छोड़ दें;
• प्रत्येक मामले के लिए स्पष्ट पहचानकर्ता प्रदर्शित करें।

उपकरण

लेख में, मैं तीसरे पक्ष के प्लगइन्स का उपयोग किए बिना पायथन 3 (2.7 भी उपयुक्त है), प्य्मल और pytest (पायथन 3 के लिए संस्करण 5, या पायथन 2.7 के लिए 4.6) का उपयोग करता pytest । इसके अलावा, मानक os लाइब्रेरी का उपयोग किया जाएगा।

जिस फ़ाइल से हम परीक्षण मामलों को लेंगे, उसे एक मार्कअप भाषा का उपयोग करके संरचित करने की आवश्यकता होती है जो किसी व्यक्ति को समझने के लिए सुविधाजनक है। मेरे मामले में, YAML को चुना गया था (क्योंकि यह मानव-पठनीय प्रारूप को चुनने के अतिरिक्त कार्य को हल करता है) । वास्तव में, डेटा सेट के साथ फ़ाइलों के लिए मार्कअप भाषा किस तरह की है, यह परियोजना पर प्रस्तुत आवश्यकताओं पर निर्भर करता है।

कार्यान्वयन

चूंकि प्रोग्रामिंग में ब्रह्मांड का मुख्य स्तंभ समझौता है, इसलिए हमें अपने समाधान के लिए कई प्रस्ताव पेश करने होंगे।

अवरोधन

शुरू करने के लिए, यह समाधान pytest_generate_tests ( विकी ) अवरोधन फ़ंक्शन का उपयोग करता है, जो परीक्षण मामलों को उत्पन्न करने के चरण में शुरू होता है, और इसका तर्क metafunc , जो हमें फ़ंक्शन को पैरामीटर करने की अनुमति देता है। इस बिंदु पर, प्रत्येक परीक्षण फ़ंक्शन पर पाइरेस्ट पुनरावृत्त होता है और इसके लिए बाद की पीढ़ी कोड निष्पादित करता है।

बहस

आपको परीक्षण कार्यों के लिए मापदंडों की एक विस्तृत सूची निर्धारित करनी चाहिए। मेरे मामले में, शब्दकोश test_input और किसी भी प्रकार का डेटा (सबसे अधिक बार एक स्ट्रिंग या पूर्णांक) expected_result में expected_result । हमें metafunc.parametrize(...) में उपयोग के लिए इन मापदंडों की आवश्यकता है।

parameterization

यह फ़ंक्शन पूरी तरह से पैरामीटरेशन @pytest.mark.parametrize के संचालन को दोहराता है, जो पहले तर्क के रूप में परीक्षण फ़ंक्शन (हमारे मामले में "test_input, expected_result" ) और डेटा की एक सूची को सूचीबद्ध करता है, जिसके द्वारा यह हमारे परीक्षण मामलों को बनाने में मदद करेगा। [(1, 2), (2, 4), (3, 6)] )।

लड़ाई में, यह इस तरह दिखेगा:

 @pytest.mark.parametrize("test_input, expected_result", [(1, 2), (2, 4), (3, 6)]) def test_multiplication(test_input, expected_result): assert test_input * 2 == expected_result 

और हमारे मामले में, हम इसे पहले से संकेत देंगे:

 #  ... return metafunc.parametrize("test_input, expected", test_cases) #  `[(1, 2), (2, 4), (3, 6)]` 

छानने

यहां से उन परीक्षण कार्यों के आवंटन का भी अनुसरण किया जाता है जहां किसी फ़ाइल से डेटा की आवश्यकता होती है, उन लोगों से जो स्थिर / गतिशील डेटा का उपयोग करते हैं। हम फ़ाइल से जानकारी पार्स करने से पहले इस फ़िल्टरिंग को लागू करेंगे।

उदाहरण के लिए फ़िल्टर स्वयं कोई भी हो सकते हैं:

• yaml नाम का फ़ंक्शन मार्कर:

 #     -  if not hasattr(metafunc.function, 'pytestmark'): return #            mark_names = [ mark.name for mark in metafunc.function.pytestmark ] #   ,        if 'yaml' not in mark_names: return 

अन्यथा, एक ही फिल्टर इस तरह लागू किया जा सकता है:

 #           if Mark(name='yaml', args=(), kwargs={}) not in metafunc.function.pytestmark: return 

• test_input फ़ंक्शन का तर्क:

 #   ,     test_input if 'test_input' not in metafunc.fixturenames: return 

इस विकल्प ने मुझे सबसे अधिक अनुकूल बनाया।

परिणाम

हमें केवल उस हिस्से को जोड़ना होगा जहां हम फ़ाइल से डेटा पार्स करते हैं। यह यमल (साथ ही जसन , एक्सएमएल, आदि) के मामले में मुश्किल नहीं होगा, इसलिए हम सब कुछ इकट्ठा करते हैं।

 # conftest.py import os import yaml import pytest def pytest_generate_tests(metafunc): #   ,     test_input if 'test_input' not in metafunc.fixturenames: return #     dir_path = os.path.dirname(os.path.abspath(metafunc.module.__file__)) #       file_path = os.path.join(dir_path, metafunc.function.__name__ + '.yaml') #    with open(file_path) as f: test_cases = yaml.full_load(f) #       if not test_cases: raise ValueError("Test cases not loaded") return metafunc.parametrize("test_input, expected_result", test_cases) 

हम इस तरह एक परीक्षण स्क्रिप्ट लिखते हैं:

 # test_script.py import pytest def test_multiplication(test_input, expected_result): assert test_input * 2 == expected_result 

एक डेटा फ़ाइल:

 # test_multiplication.yaml - !!python/tuple [1,2] - !!python/tuple [1,3] - !!python/tuple [1,5] - !!python/tuple [2,4] - !!python/tuple [3,4] - !!python/tuple [5,4] 

हमें परीक्षण मामलों की निम्नलिखित सूची मिलती है:

  pytest /test_script.py --collect-only ======================== test session starts ======================== platform linux -- Python 3.7.4, pytest-5.2.1, py-1.8.0, pluggy-0.13.0 rootdir: /pytest_habr collected 6 items <Module test_script.py> <Function test_multiplication[1-2]> <Function test_multiplication[1-3]> <Function test_multiplication[1-5]> <Function test_multiplication[2-4]> <Function test_multiplication[3-4]> <Function test_multiplication[5-4]> ======================== no tests ran in 0.04s ======================== 

और स्क्रिप्ट चलाकर, यह परिणाम: 4 failed, 2 passed, 1 warnings in 0.11s

अतिरिक्त। कार्य

यह लेख को समाप्त कर सकता है, लेकिन जटिलता के लिए, मैं हमारे कार्य में और अधिक सुविधाजनक पहचानकर्ता जोड़ूंगा, एक और डेटा परीक्षण और प्रत्येक व्यक्तिगत परीक्षण मामले का अंकन।

तो, तुरंत, कोड:

 # conftest.py import os import yaml import pytest def pytest_generate_tests(metafunc): def generate_id(input_data, level): level += 1 #      INDENTS = { # level: (levelmark, addition_indent) 1: ('_', ['', '']), 2: ('-', ['[', ']']) } COMMON_INDENT = ('-', ['[', ']']) levelmark, additional_indent = INDENTS.get(level, COMMON_INDENT) #     -     if level > 3: return additional_indent[0] + type(input_data).__name__ + additional_indent[1] #    elif isinstance(input_data, (str, bool, float, int)): return str(input_data) #   elif isinstance(input_data, (list, set, tuple)): #   ,    ,   list_repr = levelmark.join( [ generate_id(input_value, level=level) \ for input_value in input_data ]) return additional_indent[0] + list_repr + additional_indent[1] #      elif isinstance(input_data, dict): return '{' + levelmark.join(input_data.keys()) + '}' #     else: return None #   ,     test_input if 'test_input' not in metafunc.fixturenames: return #     dir_path = os.path.dirname(os.path.abspath(metafunc.module.__file__)) #       file_path = os.path.join(dir_path, metafunc.function.__name__ + '.yaml') #    with open(file_path) as f: raw_test_cases = yaml.full_load(f) #       if not raw_test_cases: raise ValueError("Test cases not loaded") #    - test_cases = [] #      for case_id, test_case in enumerate(raw_test_cases): #    marks = [ getattr(pytest.mark, name) for name in test_case.get("marks", []) ] #    ,   case_id = test_case.get("id", generate_id(test_case["test_data"], level=0)) #         pytest.param test_cases.append(pytest.param(*test_case["test_data"], marks=marks, id=case_id)) return metafunc.parametrize("test_input, expected_result", test_cases) 

तदनुसार, हम बदलते हैं कि हमारी YAML फाइल कैसे दिखेगी:

 # test_multiplication.yaml - test_data: [1, 2] id: 'one_two' - test_data: [1,3] marks: ['xfail'] - test_data: [1,5] marks: ['skip'] - test_data: [2,4] id: "it's good" marks: ['xfail'] - test_data: [3,4] marks: ['negative'] - test_data: [5,4] marks: ['more_than'] 

फिर विवरण में बदल जाएगा:

 <Module test_script.py> <Function test_multiplication[one_two]> <Function test_multiplication[1_3]> <Function test_multiplication[1_5]> <Function test_multiplication[it's good]> <Function test_multiplication[3_4]> <Function test_multiplication[5_4]> 

और लॉन्च होगा: 2 failed, 1 passed, 1 skipped, 1 xfailed, 1 xpassed, 2 warnings in 0.12s

पुनश्च: चेतावनियाँ - क्योंकि स्व-लिखित मार्कर pytest.ini में रिकॉर्ड नहीं किए गए हैं

विषय के विकास में

टाइप के बारे में टिप्पणियों के सवालों पर चर्चा करने के लिए तैयार:

• यमल फ़ाइल लिखने का सबसे अच्छा तरीका क्या है?
• परीक्षण डेटा संग्रहीत करना किस प्रारूप में अधिक सुविधाजनक है?
• पीढ़ी के स्तर पर अतिरिक्त परीक्षण मामले की क्या आवश्यकता है?
• क्या मुझे प्रत्येक मामले के लिए पहचानकर्ताओं की आवश्यकता है?