Yandex.Taxi में एक स्टैंडअप, या बैकएंड डेवलपर को सिखाने के लिए आपको क्या चाहिए

मेरा नाम ओलेग एर्मकोव है, मैं Yandex.Taxi के बैकएंड डेवलपमेंट टीम में काम करता हूं। यह हमारे लिए दैनिक स्टैंड-अप का संचालन करने के लिए प्रथागत है जहां हम में से प्रत्येक दिन के दौरान किए गए कार्यों के बारे में बात करता है। ऐसा ही होता है ...

कर्मचारियों के नाम बदल सकते हैं, लेकिन कार्य काफी वास्तविक हैं!

12:45 पर, पूरी टीम मीटिंग रूम में इकट्ठा होती है। पहला शब्द ट्रेनी डेवलपर इवान द्वारा लिया गया है।

इवान:

मैंने उन सभी राशियों के लिए हर संभव विकल्प प्रदर्शित करने के काम पर काम किया जो यात्री को यात्रा की ज्ञात लागत पर ड्राइवर को दे सकते थे। कार्य काफी प्रसिद्ध है - इसे "सिक्कों का परिवर्तन" कहा जाता है। बारीकियों को ध्यान में रखते हुए, उन्होंने एल्गोरिथ्म में कई अनुकूलन जोड़े। मैंने कल से एक दिन पहले समीक्षा के लिए पूल अनुरोध दिया था, लेकिन तब से मैं टिप्पणियों को सही कर रहा हूं।

अन्ना की संतुष्ट मुस्कान से, यह स्पष्ट हो गया कि इवान की टिप्पणी किसकी सही है।



सबसे पहले, उसने एल्गोरिथ्म का न्यूनतम अपघटन किया, और वह चालाकी से बैंकनोट प्राप्त कर रहा था। पहले कार्यान्वयन में, संभव बैंकनोट्स को कोड में पंजीकृत किया गया था, इसलिए, उन्हें देश द्वारा कॉन्फ़िगर किया गया था।

भविष्य के लिए टिप्पणियों को जोड़ा, ताकि कोई भी पाठक जल्दी से एल्गोरिथ्म का पता लगा सके:

for exception in self.exceptions[banknote]: exc_value = value + exception.delta if exc_value - cost >= banknote: continue if exc_value > cost >= exception.banknote: banknote_results.append(exc_value) #       for exception in self.exceptions[banknote]: #          #    exc_value = value + exception.delta #           # (corner case) if exc_value - cost >= banknote: continue if exc_value > cost >= exception.banknote: banknote_results.append(exc_value) 

खैर, बेशक, मैंने बाकी समय परीक्षणों के साथ पूरे कोड को कवर करने में बिताया।

 RUB = [1, 2, 5, 10, 50, 100, 200, 500, 1000, 2000, 5000] CUSTOM_BANKNOTES = [1, 3, 7, 11] @pytest.mark.parametrize( 'cost, banknotes, expected_changes', [ # no banknotes ( 321, [], [], ), # zero cost ( 0, RUB, [], ), # negative cost ( -13, RUB, [], ), # simple testcase ( 264, RUB, [265, 270, 300, 400, 500, 1000, 2000, 5000], ), # cost bigger than max banknote ( 6120, RUB, [6121, 6150, 6200, 6300, 6500, 7000, 8000, 10000], ), # min cost ( 1, RUB, [2, 5, 10, 50, 100, 200, 500, 1000, 2000, 5000], ), ... ], ) 

परियोजना के हर निर्माण पर चलने वाले सामान्य परीक्षणों के अलावा, उन्होंने एक परीक्षण लिखा जो अनुकूलन के बिना एक एल्गोरिथ्म का उपयोग करता है (इसे पूर्ण बस्ट मानते हैं)। पहले 10 हजार मामलों में से प्रत्येक बिल के लिए इस एल्गोरिथ्म का नतीजा एक फ़ाइल में डाला गया और एल्गोरिथ्म पर अलग-अलग भाग गया और अनुकूलन के साथ यह सुनिश्चित करने के लिए कि यह वास्तव में सही ढंग से काम करता है।

आइए, स्टैंड-अप से ध्यान हटाने और इवान के द्वारा कहे गए हर चीज़ के स्थानीय परिणामों को संक्षेप में प्रस्तुत करें। कोड लिखते समय, इसका प्रदर्शन सुनिश्चित करना मुख्य लक्ष्य है। इस लक्ष्य को प्राप्त करने के लिए, आपको निम्नलिखित कार्य पूरे करने होंगे:

• परमाणु विखंडन में व्यापार तर्क का विरोध करें। एक फ़ंक्शन में लिखे गए कोड के कैनवास को देखने पर पठनीयता जटिल होती है।
• कोड के "विशेष रूप से जटिल" भागों में टिप्पणी जोड़ें हमारी टीम में निम्नलिखित दृष्टिकोण हैं: यदि आपको कोड समीक्षा पर कार्यान्वयन के बारे में एक प्रश्न पूछा गया है (वे एल्गोरिथम को समझाने के लिए कहते हैं), तो आपको एक टिप्पणी जोड़ने की आवश्यकता है। बेहतर अभी तक, इसके बारे में पहले से सोचें और इसे स्वयं जोड़ें।
• एल्गोरिथ्म निष्पादन की मुख्य शाखाओं को कवर करने वाले परीक्षण लिखें। टेस्ट न केवल कोड स्वास्थ्य की पुष्टि करने के लिए एक विधि है। वे अभी भी आपके मॉड्यूल का उपयोग करने के एक उदाहरण के रूप में काम करते हैं।

काश, यहां तक ​​कि कई वर्षों के अनुभव वाले विशेषज्ञ हमेशा अपने काम में इन तरीकों का उपयोग नहीं करते हैं। बैकएंड डेवलपमेंट स्कूल जो हम अभी कर रहे हैं, छात्र आर्किटेक्चरली उच्च-गुणवत्ता वाले कोड लिखने में व्यावहारिक कौशल हासिल करेंगे। हमारा दूसरा लक्ष्य परियोजना के लिए परीक्षण कवरेज प्रथाओं का प्रसार करना है।

लेकिन वापस स्टैंड-अप के लिए। इवान के बाद, अन्ना बोलता है।

अन्ना:

मैं प्रचार छवियों को लौटाने के लिए एक माइक्रो-सेवा विकसित कर रहा हूं। जैसा कि आपको याद है, सेवा ने शुरू में स्थैतिक डेटा-स्टब्स दिया था। तब परीक्षकों ने उन्हें अनुकूलित करने के लिए कहा, और मैंने उन्हें कॉन्फ़िगरेशन में डाल दिया, और अब मैं डेटाबेस से डेटा की वापसी के साथ एक "ईमानदार" कार्यान्वयन कर रहा हूं (पोस्टग्रेक्यूएल 10.9)। विघटन, मूल रूप से निर्धारित, ने मुझे बहुत मदद की, जिसके ढांचे में व्यापार तर्क में डेटा प्राप्त करने के लिए इंटरफ़ेस नहीं बदलता है, और प्रत्येक नया स्रोत (चाहे वह एक कॉन्फ़िगरेशन, डेटाबेस या बाहरी माइक्रोसेरवर्क हो) केवल अपने स्वयं के तर्क को लागू करता है।



मैंने लोड के तहत लिखित प्रणाली की जांच की, परीक्षण से पता चला कि डेटाबेस में जाने पर हैंडल तेजी से ब्रेक करना शुरू कर देता है। स्पष्टीकरण के अनुसार, मैंने देखा कि सूचकांक का उपयोग नहीं किया गया है। जब तक मुझे यह पता नहीं चल गया कि इसे कैसे ठीक किया जाए।

Vadim:

और किस तरह का अनुरोध?

Anya:

OR के तहत दो शर्तें:

 SELECT * FROM table_1 JOIN table_2 ON table_1.some_id = table_2.some_id WHERE (table_2.attr1 = 'val' OR table_1.attr2 IN ('val1', 'val2')) AND table_1.deleted_at IS NULL AND table_2.deleted_at IS NULL ORDER BY table_2.created_at 

क्वेरी व्याख्या से पता चला कि यह तालिका 2 के attr1 विशेषताओं और table_1 के attr2 के लिए सूचकांकों में से एक का उपयोग नहीं करता है।

Vadim:

MySQL में एक समान व्यवहार के साथ सामना किया, समस्या OR के लिए ठीक है, इस वजह से केवल एक सूचकांक का उपयोग किया जाता है, att2 को कहते हैं। और दूसरी स्थिति सीक स्कैन का उपयोग करती है - तालिका के माध्यम से एक पूर्ण पास। अनुरोध को दो स्वतंत्र अनुरोधों में विभाजित किया जा सकता है। एक विकल्प के रूप में, बैकएंड पक्ष पर क्वेरी परिणाम को विभाजित और फ्रीज करें। लेकिन फिर आपको लेनदेन में इन दो अनुरोधों को लपेटने, या यूनिअन का उपयोग करके संयोजन करने के बारे में सोचने की आवश्यकता है - वास्तव में, आधार पक्ष पर:

 SELECT * FROM table_1 JOIN table_2 ON table_1.some_id = table_2.some_id WHERE (table_2.attr1 = 'val') AND table_1.deleted_at IS NULL AND table_2.deleted_at IS NULL ORDER BY table_2.created_at SELECT * FROM table_1 JOIN table_2 ON table_1.some_id = table_2.some_id WHERE (table_1.attr2 IN ('val1' , 'val2')) AND table_1.deleted_at IS NULL AND table_2.deleted_at IS NULL ORDER BY table_2.created_at 

Anya:

धन्यवाद, मैं ^ _ ^ कोशिश करूँगा

फिर से संक्षेप करने के लिए:

• लगभग सभी उत्पाद विकास कार्य बाहरी स्रोतों (सेवाओं या डेटाबेस) से रिकॉर्ड प्राप्त करने से संबंधित हैं। आपको डेटा को अनलोड करने वाली कक्षाओं के अपघटन के मुद्दे पर सावधानीपूर्वक संपर्क करने की आवश्यकता है। उचित रूप से डिज़ाइन की गई कक्षाएं आपको समस्याओं के बिना परीक्षण लिखने और डेटा स्रोतों को संशोधित करने की अनुमति देंगी।
• डेटाबेस के साथ प्रभावी ढंग से काम करने के लिए, आपको क्वेरी निष्पादन की विशेषताओं को जानना होगा, उदाहरण के लिए, स्पष्टीकरण को समझें।

सूचना के साथ काम करना और डेटा प्रवाह को व्यवस्थित करना किसी भी बैकएंड डेवलपर के कार्यों का एक अभिन्न अंग है। स्कूल सेवाओं (और डेटा स्रोतों) की बातचीत की वास्तुकला का परिचय देगा। छात्र डेटाबेस के साथ वास्तुकला और संचालन के संदर्भ में काम करना सीखेंगे - डेटा माइग्रेशन और परीक्षण।

बोलने का आखिरी समय वादिम है।

Vadim:

मैं एक हफ्ते के लिए ड्यूटी पर था, घटनाओं के क्रम को सुलझा लिया। कोड में एक हास्यास्पद गलती बहुत लंबा समय लेती है: ठेस में मांग पर कोई लॉग नहीं था, हालांकि उनकी रचना कोड में लिखी गई थी।

उपस्थित सभी लोगों के शोकपूर्ण मौन से, यह स्पष्ट है - हर किसी को पहले से ही समस्या का सामना करना पड़ा ।

अनुरोध के भाग के रूप में सभी लॉग प्राप्त करने के लिए, request_id का उपयोग किया जाता है, जिसे निम्नलिखित रूप में सभी रिकॉर्ड में डाला जाता है:

 #   request_id logger.info( 'my log msg', ) #   request_id logger.info( 'my log msg', extra=log_extra, #   request_id —     ) 

log_extra अनुरोध की मेटा-जानकारी के साथ एक शब्दकोश है, जिसकी कुंजी और मूल्य लॉग को लिखे जाएंगे। लॉगिंग फ़ंक्शन के लिए log_extra पास किए बिना, रिकॉर्ड अन्य सभी लॉग के साथ संबद्ध नहीं होगा, क्योंकि इसमें request_id नहीं होगा।

मुझे सेवा में त्रुटि को ठीक करना था, इसे फिर से रोल करना और उसके बाद ही घटना से निपटना था। ऐसा पहली बार नहीं हुआ है। इसे फिर से होने से रोकने के लिए, मैंने विश्व स्तर पर समस्या को ठीक करने और log_extra से छुटकारा पाने की कोशिश की।

पहले मैंने अनुरोध के मानक निष्पादन पर एक आवरण लिखा:

 async def handle(self, request, handler): log_extra = request['log_extra'] log_extra_manager.set_log_extra(log_extra) return await handler(request) 

यह तय करना आवश्यक था कि एक अनुरोध में log_extra को कैसे संग्रहीत किया जाए। दो विकल्प थे। पहले asyncio से Eventloop के लिए task_factory बदलना है:

 class LogExtraManager: __init__(self, context: Any, settings: typing.Optional[Dict[str, dict]], activations_parameters: list) -> None: loop = asyncio.get_event_loop() task_factory = loop.get_task_factory() if task_factory is None: task_factory = _default_task_factory @functools.wraps(task_factory) def log_extrad_factory(ev_loop, coro): child_task = task_factory(ev_loop, coro) parent_task = asyncio.Task.current_task(loop=ev_loop) log_extra = getattr(parent_task, LOG_EXTRA_CONTEXT_KEY, None) setattr(child_task, LOG_EXTRA_CONTEXT_KEY, log_extra) return child_task # updating loop, so any created task will # get the log_extra of its parent loop.set_task_factory(log_extrad_factory) def set_log_extra(log_extra: dict): loop = asyncio.get_event_loop() task = asyncio.Task.current_task(loop=loop) setattr(task, LOG_EXTRA_CONTEXT_KEY, log_extra) 

दूसरा विकल्प संदर्भों का उपयोग करने के लिए इन्फ्रास्ट्रक्चर कमांड के माध्यम से अजगर 3.7 में संक्रमण को "धक्का" करना है:

 log_extra_var = contextvars.ContextVar(LOG_EXTRA_CONTEXT_KEY) class LogExtraManager: def set_log_extra(log_extra: dict): log_extra_var.set(log_extra) 

अच्छी तरह से और आगे यह लकड़हारा log_extra के संदर्भ में संग्रहीत करने के लिए आवश्यक था।

 class LogExtraFactory(logging.LogRecord): # this class allows to create log rows with log_extra in the record def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) task = asyncio.Task.current_task() log_extra = getattr(task, LOG_EXTRA_CONTEXT_KEY, None) if not log_extra: return for key in log_extra: self.__dict__[key] = log_extra[key] logging.setLogRecordFactory(LogExtraFactory) 

परिणाम:

• Yandex.Taxi में (और हर जगह Yandex में) asyncio सक्रिय रूप से उपयोग किया जाता है। न केवल इसका उपयोग करने में सक्षम होना महत्वपूर्ण है, बल्कि इसकी आंतरिक संरचना को भी समझना है।
• भाषा के सभी नए संस्करणों के चैंज पढ़ने की आदत विकसित करें, सोचें कि आप नवाचारों की मदद से अपने और अपने सहयोगियों के लिए जीवन को कैसे आसान बना सकते हैं।
• मानक पुस्तकालयों के साथ काम करते समय, अपने स्रोत कोड में क्रॉल करने और उनके डिवाइस को समझने से डरो मत। यह एक बहुत ही उपयोगी कौशल है जो आपको मॉड्यूल के संचालन को बेहतर ढंग से समझने और सुविधाओं के कार्यान्वयन में नई संभावनाओं को खोलने की अनुमति देगा।

बैकेंड स्कूल के शिक्षकों ने एक पाउंड से अधिक नमक खाया और सेवाओं के अतुल्यकालिक संचालन में बहुत सारे शंकु भर दिए। वे छात्रों को व्यावहारिक स्तर पर और पैकेज इंटर्नल के विश्लेषण में - पायथन के अतुल्यकालिक ऑपरेशन की विशेषताओं के बारे में बताएंगे।

किताबें और लिंक

अजगर सीखना आपकी मदद कर सकता है:

• तीन पुस्तकें: पायथन कुकबुक , पायथन 3 में डाइविंग, और पायथन ट्रिक्स ।
• रेमंड हेटिंगर और डेविड बेस्ली जैसे आईटी उद्योग के स्तंभों द्वारा वीडियो व्याख्यान। पहले एक के वीडियो लेक्चर से, रिपोर्ट "बियॉन्ड पीईपी 8 - सुंदर इंटेलिजेंट कोड के लिए सर्वश्रेष्ठ अभ्यास" को अलग किया जा सकता है। बेज़ले आपको एसिंको के बारे में एक प्रदर्शन देखने की सलाह देता है।

वास्तुकला की उच्च स्तरीय समझ हासिल करने के लिए, किताबें पढ़ें:

• "अत्यधिक भरे हुए अनुप्रयोग । " यहां, डेटा के साथ बातचीत के मुद्दे को विस्तार से वर्णित किया गया है (डेटा एन्कोडिंग, वितरित डेटा के साथ काम, प्रतिकृति, विभाजन, लेनदेन, आदि)।
• "Mikroservisy। विकास और रिफैक्टिंग पैटर्न । ” यह पुस्तक माइक्रोसॉर्फ़ आर्किटेक्चर के लिए बुनियादी दृष्टिकोण को दिखाती है, कमियों और समस्याओं का वर्णन करती है जो एक मोनोलिथ से माइक्रोसर्विस पर स्विच करते समय सामना करना पड़ता है। उनके बारे में पोस्ट में लगभग कुछ भी नहीं है, लेकिन फिर भी मैं आपको इस पुस्तक को पढ़ने की सलाह देता हूं। आप वास्तुकला के निर्माण के रुझानों को समझना शुरू कर देंगे और कोड अपघटन की मूल प्रथाओं को सीखेंगे।

सबसे महत्वपूर्ण कौशल है कि आप अपने आप में विकसित कर सकते हैं किसी और के कोड को पढ़ रहा है। यदि आपको अचानक पता चलता है कि आप शायद ही किसी और के कोड को पढ़ते हैं, तो मैं आपको नियमित रूप से नए लोकप्रिय रिपॉजिटरी देखने की आदत विकसित करने की सलाह देता हूं।

स्टैंड-अप खत्म हो गया, सब लोग काम पर चले गए।