किताब "पायथन। एक्सप्रेस कोर्स। तीसरा संस्करण।

हाय, हब्रोज़ितेली! यह पुस्तक उन लोगों के लिए है जो पहले से ही एक या अधिक प्रोग्रामिंग भाषाओं में अनुभव रखते हैं और जल्द से जल्द और आसानी से पायथन 3 की मूल बातें सीखना चाहते हैं। यह माना जाता है कि पाठक पहले से ही नियंत्रण संरचनाओं, ओओपी, फ़ाइल हैंडलिंग, अपवाद हैंडलिंग आदि से परिचित है। ई। पुस्तक पायथन के पुराने संस्करणों के उपयोगकर्ताओं के लिए भी काम आएगी, जिन्हें कॉम्पैक्ट पायथन 3.1 संदर्भ की आवश्यकता होती है।

हम आपको अंश "प्रोसेसिंग डेटा फाइल" पढ़ने के लिए आमंत्रित करते हैं

पुस्तक का उपयोग कैसे करें

भाग 1 पायथन के बारे में सामान्य जानकारी प्रदान करता है। आप सीखेंगे कि अपने सिस्टम पर पायथन डाउनलोड और इंस्टॉल कैसे करें। यह भाषा का एक सामान्य अवलोकन भी प्रदान करता है, जो मुख्य रूप से अनुभवी प्रोग्रामर के लिए उपयोगी होगा जो पायथन की उच्च-स्तरीय समझ चाहते हैं।

भाग 2 में पुस्तक की मुख्य सामग्री है। यह एक सामान्य प्रयोजन प्रोग्रामिंग भाषा के रूप में पायथन का उपयोग करने में व्यावहारिक कौशल हासिल करने के लिए आवश्यक अवयवों पर चर्चा करता है। अध्यायों की सामग्री की योजना बनाई गई थी ताकि पाठक जो सिर्फ पायथन सीखना शुरू कर रहे हैं, क्रमिक रूप से आगे बढ़ सकें, भाषा के प्रमुख बिंदुओं पर महारत हासिल कर सकें। इस भाग में अधिक जटिल खंड भी होते हैं, ताकि आप एक स्थान पर एक निश्चित डिजाइन या विषय के बारे में सभी आवश्यक जानकारी प्राप्त कर सकें।

भाग 3 पायथन की उन्नत विशेषताओं को प्रस्तुत करता है - भाषा तत्व जो बिल्कुल आवश्यक नहीं हैं, लेकिन निश्चित रूप से किसी भी गंभीर अजगर प्रोग्रामर के लिए काम में आएंगे।

भाग 4 विशेष विषयों पर केंद्रित है जो भाषा के सरल वाक्य विन्यास से परे जाते हैं। आप इन अध्यायों को पढ़ सकते हैं या अपनी आवश्यकताओं के आधार पर उन्हें छोड़ सकते हैं।

पायथन नौसिखिया प्रोग्रामर को एक सामान्य प्रभाव प्राप्त करने के लिए अध्याय 3 के साथ शुरू करने के लिए प्रोत्साहित किया जाता है, और फिर भाग 2 में रुचि के अध्यायों पर आगे बढ़ते हैं। अवधारणाओं को त्वरित करने के लिए इंटरैक्टिव उदाहरण पेश करते हैं। आप पाठ में दिए गए उदाहरणों से परे जा सकते हैं और अस्पष्ट बने रहने वाले किसी भी प्रश्न के उत्तर की तलाश कर सकते हैं। यह दृष्टिकोण सीखने की गति को बढ़ाएगा और समझ को गहरा करेगा। यदि आप पहले से ही ओओपी से परिचित नहीं हैं या आपके आवेदन के लिए इसकी आवश्यकता नहीं है, तो आप अध्याय 15 के अधिकांश को छोड़ सकते हैं।

पहले से ही पाइथन से परिचित पाठकों को भी अध्याय 3 से शुरू होना चाहिए। यह एक अच्छा परिचयात्मक अवलोकन और पायथन 3 और अधिक परिचित संस्करणों के बीच अंतर का वर्णन प्रदान करता है। इसका उपयोग यह मूल्यांकन करने के लिए भी किया जा सकता है कि क्या आप इस पुस्तक के भाग 3 और 4 के अधिक जटिल अध्यायों पर जाने के लिए तैयार हैं।

शायद कुछ पाठक जो पायथन के साथ अनुभवी नहीं हैं, लेकिन जिनके पास अन्य प्रोग्रामिंग भाषाओं में पर्याप्त अनुभव है, वे अध्याय 3 को पढ़कर और पायथन मानक पुस्तकालय मॉड्यूल (अध्याय 19) और पायथन पुस्तकालय संदर्भ गाइड में पायथन प्रलेखन को देखकर अधिकांश आवश्यक जानकारी प्राप्त कर सकेंगे। ।

अंश। डेटा फ़ाइल प्रसंस्करण

अधिकांश डेटा पाठ फ़ाइलों में वितरित किया जाता है। यह या तो असंरचित पाठ (उदाहरण के लिए, संदेशों का संग्रह या साहित्यिक ग्रंथों का एक संग्रह), या अधिक संरचित डेटा हो सकता है, जिसमें प्रत्येक पंक्ति एक रिकॉर्ड है, और फ़ील्ड एक विशेष विभाजक चरित्र - एक अल्पविराम, टैब समूह या ऊर्ध्वाधर बार () से अलग होती हैं। पाठ फ़ाइलें विशाल हो सकती हैं; एक डेटा सेट दसियों या सैकड़ों फाइलों पर कब्जा कर सकता है, और इसमें मौजूद डेटा अधूरा या विकृत हो सकता है। इस तरह की विविधता के साथ, आप पाठ फ़ाइलों से डेटा को पढ़ने और उपयोग करने के कार्य का लगभग अनिवार्य रूप से सामना करेंगे। यह अध्याय पायथन में इस समस्या को हल करने के लिए बुनियादी रणनीतियों को प्रस्तुत करता है।

21.1। पेश है ईटीएल

फ़ाइलों से डेटा निकालने, उन्हें पार्स करने, उन्हें एक सुविधाजनक प्रारूप में बदलने की आवश्यकता है, और फिर डेटा फ़ाइलों के साथ लगभग एक साथ कुछ दिखाई देता है। इसके अलावा, इस प्रक्रिया के लिए एक मानक शब्द भी है: ETL (एक्सट्रैक्ट-ट्रांसफॉर्म-लोड, यानी "निष्कर्षण - परिवर्तन - लोडिंग")। पुनर्प्राप्ति डेटा स्रोत को पढ़ने और यदि आवश्यक हो तो इसे पार्स करने की प्रक्रिया को संदर्भित करता है। रूपांतरण में सफाई और डेटा को सामान्य बनाना शामिल हो सकता है, साथ ही साथ उनके रिकॉर्ड को जोड़ना, विभाजित करना और पुनर्गठित करना शामिल हो सकता है। अंत में, लोडिंग का अर्थ है परिवर्तित डेटा को नई जगह (किसी अन्य फ़ाइल या डेटाबेस में) सहेजना। यह अध्याय पायथन में ईटीएल को लागू करने की मूल बातें पर चर्चा करता है, पाठ डेटा फ़ाइलों से अन्य फ़ाइलों में परिवर्तित डेटा संग्रहीत करने के लिए। अध्याय 22 में अधिक संरचित डेटा फ़ाइलों पर चर्चा की जाती है, और डेटाबेस में जानकारी के भंडारण पर अध्याय 23 में चर्चा की जाती है।

21.2। पाठ फ़ाइलों को पढ़ना

ईटीएल का पहला घटक - निष्कर्षण - इसमें एक फ़ाइल खोलना और इसकी सामग्री पढ़ना शामिल है। पहली नज़र में, यह सरल लगता है, लेकिन यहां भी समस्याएं पैदा हो सकती हैं - उदाहरण के लिए, फ़ाइल का आकार। यदि फ़ाइल मेमोरी में फिट होने के लिए बहुत बड़ी है, तो कोड को संरचित करने की आवश्यकता है ताकि यह फ़ाइल के छोटे सेगमेंट (संभवतः प्रत्येक पंक्ति) के साथ काम करे।

21.2.1। पाठ एन्कोडिंग: ASCII, यूनिकोड और अन्य

एक अन्य संभावित समस्या एन्कोडिंग है। यह अध्याय पाठ फ़ाइलों के साथ काम करने के लिए समर्पित है, और वास्तव में, वास्तविक दुनिया में प्रसारित डेटा का एक बड़ा हिस्सा पाठ फ़ाइलों में संग्रहीत है। हालाँकि, पाठ की सटीक प्रकृति, अनुप्रयोग, उपयोगकर्ता और निश्चित रूप से, देश के आधार पर भिन्न हो सकती है।

कभी-कभी पाठ ASCII एन्कोडिंग में 128 कैरक्टर सहित जानकारी देता है, जिनमें से केवल 95 को मुद्रण योग्य के रूप में वर्गीकृत किया जाता है। सौभाग्य से, ASCII एन्कोडिंग अधिकांश डेटा ट्रांसफर स्थितियों का "कम से कम सामान्य एकाधिक" है। दूसरी ओर, यह दुनिया में मौजूद कई अक्षर और लेखन प्रणाली की जटिलताओं का सामना नहीं कर सकता है। ASCII एन्कोडिंग में फाइलें पढ़ने से निश्चित रूप से इस तथ्य को जन्म मिलेगा कि जब असमर्थित वर्णों को पढ़ना हो, तो यह जर्मन ü, पुर्तगाली ç या अंग्रेजी के अलावा किसी अन्य भाषा का कोई भी चरित्र हो, समस्याएं शुरू हो जाएंगी और त्रुटियां दिखाई देंगी।

ये त्रुटियां इसलिए होती हैं क्योंकि ASCII 7-बिट मानों का उपयोग करता है, जबकि एक विशिष्ट फ़ाइल में बाइट्स में 8 बिट्स होते हैं, जो 7-बिट मानों के लिए 128 के बजाय 256 संभावित मानों का प्रतिनिधित्व करने की अनुमति देता है। ये अतिरिक्त कोड आमतौर पर अतिरिक्त मान संग्रहीत करने के लिए उपयोग किए जाते हैं - विस्तारित विराम चिह्न (जैसे मध्य और लघु डैश) से लेकर विभिन्न वर्ण (ट्रेडमार्क, कॉपीराइट चिह्न और डिग्री चिह्न) और वर्णनात्मक वर्णों के साथ वर्णमाला वर्णों के संस्करण। हमेशा एक समस्या थी: जब एक पाठ फ़ाइल पढ़ते हैं, तो आप एक चरित्र का सामना कर सकते थे जो कि ASCII सीमा 128 वर्णों से परे चला गया था, और आप यह सुनिश्चित नहीं कर सकते थे कि कौन सा चरित्र एन्कोडेड था। मान लीजिए आप 214 कोड वाले किसी पात्र में आते हैं। यह क्या है? एक विभाजन चिह्न, अक्षर letter या कुछ और? इस फ़ाइल को बनाने वाले स्रोत कोड के बिना, यह पता लगाना असंभव है।

यूनिकोड और यूटीएफ -8

इस अस्पष्टता को खत्म करने के लिए, आप यूनिकोड का उपयोग कर सकते हैं। यूटीएफ -8 नामक यूनिकोड एन्कोडिंग, बिना किसी बदलाव के बुनियादी ASCII वर्णों का समर्थन करता है, लेकिन यह यूनिकोड मानक से अन्य वर्णों और वर्णों के लगभग असीमित सेट की भी अनुमति देता है। अपने लचीलेपन के कारण, UTF-8 का उपयोग इस लेखन के समय मौजूद 85% से अधिक वेब पृष्ठों में किया जाता है। इसका मतलब यह है कि पाठ फ़ाइलों को पढ़ते समय UTF-8 पर ध्यान केंद्रित करना सबसे अच्छा है। यदि फ़ाइलों में केवल ASCII वर्ण हैं, तो उन्हें सही ढंग से पढ़ा जाएगा, लेकिन यदि आप अन्य वर्ण UTF-8 में एन्कोड किए गए हैं, तो भी आपको बीमा मिलता है। सौभाग्य से, पायथन 3 स्ट्रिंग डेटा प्रकार को डिफ़ॉल्ट रूप से यूनिकोड का समर्थन करने के लिए डिज़ाइन किया गया है।

यूनिकोड के साथ भी, परिस्थितियां संभव होती हैं जब पाठ में मान दिखाई देते हैं जिन्हें सफलतापूर्वक डिकोड नहीं किया जा सकता है। पायथन में खुला कार्य एक अतिरिक्त त्रुटि पैरामीटर प्राप्त करता है, जो यह निर्धारित करता है कि फ़ाइलों को पढ़ने या लिखते समय कोडिंग त्रुटियों से कैसे निपटें। डिफ़ॉल्ट मान 'सख्त' होता है, जिसके साथ हर बार कोडिंग त्रुटि का पता चलने पर एक त्रुटि होती है। अन्य उपयोगी मान 'अनदेखा' हैं (त्रुटि का कारण बनने वाले चरित्र को छोड़ दें); 'बदलें' (एक चरित्र को एक विशेष मार्कर के साथ बदल दिया जाता है - आमतौर पर;); 'backslashreplace' (चरित्र को एस्केप अनुक्रम से बदल दिया जाता है) और 'surrogateescape' (घुसपैठिए का चरित्र पढ़ते समय एक निजी यूनिकोड कोड बिंदु में बदल जाता है और लिखते समय मूल बाइट अनुक्रम में वापस आ जाता है)। कोडिंग त्रुटियों के प्रसंस्करण या समाधान के लिए विधि का चुनाव विशिष्ट स्थिति पर निर्भर करता है।

किसी अमान्य UTF-8 वर्ण वाली फ़ाइल के एक छोटे उदाहरण पर विचार करें, और देखें कि इस चरित्र को विभिन्न मोड में कैसे संसाधित किया जाता है। पहले बाइट्स और बाइनरी मोड का उपयोग करके फ़ाइल लिखें:

>>> open('test.txt', 'wb').write(bytes([65, 66, 67, 255, 192,193])) 

कमांड के परिणामस्वरूप, "एबीसी" अक्षरों से एक फ़ाइल बनाई जाती है, उसके बाद तीन अक्षर जो एएससीआईआई में शामिल नहीं होते हैं, जो अलग-अलग तरीके से प्रदर्शित एन्कोडिंग विधि के आधार पर प्रदर्शित किया जा सकता है। यदि आप फ़ाइल को देखने के लिए विम का उपयोग करते हैं, तो परिणाम इस तरह दिखाई देगा:

 ABCÿÀÁ ~ 

जब फ़ाइल बनाई जाती है, तो इसे डिफ़ॉल्ट सख्त त्रुटि हैंडलिंग मोड में पढ़ने का प्रयास करें:

 >>> x = open('test.txt').read() Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python3.6/codecs.py", line 321, in decode (result, consumed) = self._buffer_decode(data, self.errors, final) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 3: invalid start byte 

255 के मान के साथ चौथा बाइट इस स्थिति में एक वैध UTF-8 वर्ण नहीं है, इसलिए एक अपवाद 'सख्त' मोड में होता है। अब देखते हैं कि एक ही फाइल के साथ अन्य एरर हैंडलिंग मोड कैसे निपटते हैं, यह न भूलें कि पिछले तीन अक्षर त्रुटि को ट्रिगर करते हैं:


यदि आप चाहते हैं कि समस्याग्रस्त अक्षर बस गायब हो जाएं, तो 'अनदेखा' मोड का उपयोग करें। 'प्रतिस्थापित' मोड केवल अमान्य वर्णों की स्थिति को चिह्नित करता है, जबकि अन्य मोड बिना व्याख्या के अमान्य वर्णों को सहेजने के लिए अलग तरीके से प्रयास करते हैं।

21.2.2। अशिक्षित पाठ

असंरचित पाठ फ़ाइलों को सबसे आसान पढ़ा जाता है, लेकिन वे जानकारी निकालने के साथ सबसे अधिक समस्याएं भी पैदा करते हैं। असंरचित पाठ की प्रक्रिया पाठ की प्रकृति के आधार पर व्यापक रूप से भिन्न हो सकती है और आप इसके साथ क्या करने जा रहे हैं, इसलिए पाठ प्रसंस्करण की कोई विस्तृत चर्चा पुस्तक के दायरे से बाहर है। हालांकि, एक संक्षिप्त उदाहरण कुछ बुनियादी समस्याओं को प्रदर्शित करने में मदद करेगा और संरचित पाठ डेटा के साथ फ़ाइलों पर चर्चा करने के लिए आधार तैयार करेगा।

सरलतम समस्याओं में से एक फ़ाइल में आधार तार्किक इकाई का चयन करना है। यदि आप हजारों ट्विटर संदेशों, मोबी डिक पाठ या समाचारों के संग्रह का उपयोग करते हैं, तो आपको किसी तरह उन्हें ब्लॉक करने की आवश्यकता है। ट्वीट्स के मामले में, प्रत्येक ब्लॉक को एक लाइन पर रखा जा सकता है, और फ़ाइल की प्रत्येक पंक्ति को पढ़ना और संसाधित करना काफी सरलता से आयोजित किया जाता है।

मोबी डिक और यहां तक ​​कि कुछ समाचारों के मामले में, समस्या अधिक जटिल हो रही है। बेशक, उपन्यास का पाठ और यहां तक ​​कि समाचार का पाठ आमतौर पर एक इकाई के रूप में विचार करने के लिए अवांछनीय है। इस मामले में, आपको यह तय करने की आवश्यकता है कि आपको किन ब्लॉकों की आवश्यकता है और फिर फाइल को ब्लॉकों में विभाजित करने की रणनीति विकसित करें। आप पैराग्राफ द्वारा पाठ पैराग्राफ को संसाधित करना पसंद कर सकते हैं। इस मामले में, आपको यह निर्धारित करना चाहिए कि फ़ाइल में पैराग्राफ में पाठ का टूटना कैसे व्यवस्थित है, और तदनुसार कोड लिखें। यदि पैराग्राफ किसी टेक्स्ट फ़ाइल की लाइनों से मेल खाते हैं, तो यह मुश्किल नहीं होगा। हालाँकि, अक्सर एक पाठ फ़ाइल का एक पैराग्राफ एक पाठ फ़ाइल में कई पंक्तियों को शामिल कर सकता है, और आपको कड़ी मेहनत करनी होगी।

अब कुछ उदाहरणों पर विचार करें।

मुझे इश्माएल बुलाओ। कुछ साल पहले - कभी भी ठीक नहीं है -
मेरे पर्स में कम या कोई पैसा नहीं है, और कुछ खास नहीं है
किनारे पर मेरी रुचि के लिए, मुझे लगा कि मैं थोड़ा सा पालूंगा
और दुनिया के पानी वाले हिस्से को देखें। यह एक तरह से मेरे पास है
प्लीहा को बंद करने और परिसंचरण को नियंत्रित करने के लिए।
जब भी मैं अपने आप को मुंह के बारे में बढ़ती गंभीर पाता हूं;
जब भी यह एक नम, मेरी आत्मा में नवंबर नवंबर; जब भी मैं
ताबूत गोदामों से पहले अपने आप को अनजाने में रोकें,
और मैं मिलने वाले हर अंतिम संस्कार के पीछे ला रहा हूं;
और विशेष रूप से जब भी मेरे हाइपो को मेरे ऊपर ऐसा हाथ मिलता है
यह मुझे रोकने के लिए एक मजबूत नैतिक सिद्धांत की आवश्यकता है
जानबूझकर सड़क पर कदम रखा, और विधिपूर्वक दस्तक दी
लोगों की टोपी बंद हो जाती है - फिर, मैं समुद्र में जाने के लिए इसे उच्च समय देता हूं
जितनी जल्दी हो सके। यह पिस्तौल और गेंद का मेरा विकल्प है।
दार्शनिक उत्कर्ष के साथ, काटो ने अपनी तलवार पर खुद को फेंका;
मैं चुपचाप जहाज पर ले जाता हूं। इसमें आश्चर्य की कोई बात नहीं है।
यदि वे इसे जानते थे, तो उनकी डिग्री के लगभग सभी लोग, कुछ समय
या अन्य, के प्रति बहुत समान भावनाओं को संजोते हैं
मेरे साथ सागर

अब आपका मैनहट्टों का एक द्वीपीय शहर है, जो कि घाटों से घिरा हुआ है
प्रवाल भित्तियों द्वारा भारतीय द्वीप समूह के रूप में - वाणिज्य उसे सर्फ के साथ घेरता है।
दाएं-बाएं, सड़कें आपको पानी से तरबतर कर देती हैं। इसका चरम शहर है
बैटरी है, जहां उस महान तिल को लहरों से धोया जाता है, और ठंडा किया जाता है
घूसों द्वारा, जो कुछ घंटे पहले जमीन की दृष्टि से बाहर थे।
वहां के जल-गजरों की भीड़ को देखिए।

इस उदाहरण में (पाठ "मोबी डिक" की शुरुआत के साथ, लाइनों को कम या ज्यादा जिस तरह से वे पृष्ठांकित किया जाएगा, और पैराग्राफ को एक एकल खाली रेखा द्वारा दर्शाया गया है। यदि आप प्रत्येक पैराग्राफ को एक पूरे के रूप में मानना ​​चाहते हैं, तो आपको पाठ को रिक्त लाइनों में तोड़ने की आवश्यकता है। सौभाग्य से, यह कार्य आसानी से तार के विभाजन () विधि द्वारा पूरा किया जाता है। पाठ की प्रत्येक नई पंक्ति को "\ n" संयोजन द्वारा दर्शाया गया है। स्वाभाविक रूप से, प्रत्येक अनुच्छेद के पाठ की अंतिम पंक्ति एक नई पंक्ति के साथ समाप्त होती है, और यदि पाठ की अगली पंक्ति खाली है, तो दूसरी नई पंक्ति तुरंत इसका अनुसरण करती है:


टेक्स्ट को पैराग्राफ में पार्स करना अनस्ट्रक्चर्ड टेक्स्ट की प्रोसेसिंग में एक बहुत ही सरल कदम है। आगे की प्रक्रिया से पहले आपको पाठ का अतिरिक्त सामान्यीकरण भी करना पड़ सकता है। मान लीजिए कि आप किसी पाठ फ़ाइल में प्रत्येक शब्द की आवृत्ति की गणना करना चाहते हैं। यदि आप फ़ाइल को केवल चूक से विभाजित करते हैं, तो आपको फ़ाइल में शब्दों की एक सूची मिल जाएगी, हालांकि, घटनाओं की सही गणना करना इतना आसान नहीं होगा, क्योंकि यह, यह, यह। और यह, एक ही शब्द नहीं माना जाएगा। इस कोड को सही ढंग से काम करने के लिए, विराम चिह्नों को हटाकर और प्रसंस्करण से पहले सभी पाठ को एक मामले में परिवर्तित करके पाठ को सामान्य करना आवश्यक है। उपरोक्त पाठ उदाहरण में, शब्दों की एक सामान्यीकृत सूची बनाने के लिए कोड इस तरह दिख सकता है:

21.2.3। असंरचित डिलीट की गई फाइलें

असंरचित फाइलें बहुत सरलता से पढ़ी जाती हैं, लेकिन संरचना की कमी भी उनकी खामी है। व्यक्तिगत मूल्यों के चयन को सरल बनाने के लिए फ़ाइल के लिए कुछ संरचना को परिभाषित करना अक्सर अधिक सुविधाजनक होता है। सरलतम संस्करण में, फ़ाइल को लाइनों में विभाजित किया जाता है, और प्रत्येक पंक्ति में एक सूचना तत्व होता है। उदाहरण के लिए, यह प्रसंस्करण के लिए फ़ाइल नामों की सूची, लोगों के नामों की सूची या दूरस्थ सेंसर से तापमान रीडिंग की एक श्रृंखला हो सकती है। ऐसे मामलों में, डेटा का विश्लेषण बहुत सरल रूप से आयोजित किया जाता है: आप लाइन पढ़ते हैं और यदि आवश्यक हो, तो इसे वांछित प्रकार में परिवर्तित करें। यह सब उपयोग के लिए फ़ाइल तैयार करने के लिए लेता है।

हालांकि, स्थिति इतनी सरल नहीं है। अधिक बार आपको कई इंटरकनेक्टेड डेटा तत्वों को समूहित करने की आवश्यकता होती है, और आपके कोड को उन्हें एक साथ पढ़ना चाहिए। आमतौर पर, इसके लिए, संबंधित डेटा को एक पंक्ति में रखा जाता है और एक विशेष वर्ण द्वारा अलग किया जाता है। इस मामले में, फ़ाइल की प्रत्येक पंक्ति को पढ़ते समय, डेटा को फ़ील्ड में विभाजित करने और आगे की प्रक्रिया के लिए चर में फ़ील्ड मान संग्रहीत करने के लिए विशेष वर्णों का उपयोग किया जाता है।

निम्न फ़ाइल में सीमांकित प्रारूप में तापमान डेटा शामिल है:

 State|Month Day, Year Code|Avg Daily Max Air Temperature (F)|Record Count for Daily Max Air Temp (F) Illinois|1979/01/01|17.48|994 Illinois|1979/01/02|4.64|994 Illinois|1979/01/03|11.05|994 Illinois|1979/01/04|9.51|994 Illinois|1979/05/15|68.42|994 Illinois|1979/05/16|70.29|994 Illinois|1979/05/17|75.34|994 Illinois|1979/05/18|79.13|994 Illinois|1979/05/19|74.94|994 

फ़ाइल में डेटा एक पाइप (|) द्वारा अलग किया गया है। इस उदाहरण में, वे चार क्षेत्रों से मिलकर बने हैं: राज्य, अवलोकन की तारीख, औसत अधिकतम तापमान और डेटा की आपूर्ति करने वाले स्टेशनों की संख्या। अन्य मानक सीमांकक एक टैब वर्ण और अल्पविराम हैं। शायद अल्पविराम का उपयोग सबसे अधिक बार किया जाता है, लेकिन विभाजक कोई भी चरित्र हो सकता है जो मूल्यों में नहीं होगा (उस पर बाद में)। कॉमा-सेपरेटेड डेटा इतना सामान्य है कि इस प्रारूप को अक्सर CSV (कॉमा-सेपरेटेड वैल्यूज़, यानी अल्पविराम से अलग किया गया डेटा) कहा जाता है, और इस प्रकार की फ़ाइल को प्रारूप विशेषता के रूप में .csv एक्सटेंशन के साथ प्रदान किया जाता है।

जो भी चरित्र परिसीमाक के रूप में उपयोग किया जाता है, यदि आप जानते हैं कि चरित्र क्या है, तो आप स्ट्रिंग को खेतों में विभाजित करने और उन्हें एक सूची के रूप में वापस करने के लिए अपना खुद का पायथन कोड लिख सकते हैं। पिछले मामले में, आप स्ट्रिंग को मूल्यों की सूची में बदलने के लिए विभाजन () विधि का उपयोग कर सकते हैं:

 >>> line = "Illinois|1979/01/01|17.48|994" >>> print(line.split("|")) ['Illinois', '1979/01/01', '17.48', '994'] 

इस तकनीक को लागू करना बहुत आसान है, लेकिन सभी मान स्ट्रिंग रूप में संग्रहीत किए जाते हैं, और यह बाद के प्रसंस्करण के लिए असुविधाजनक हो सकता है।

21.2.4। Csv मॉड्यूल

यदि आपको अक्सर सीमांकित डेटा फ़ाइलों को संसाधित करना पड़ता है, तो आपको सीएसवी मॉड्यूल और इसकी क्षमताओं पर करीब से नज़र डालनी चाहिए। जब मुझे पायथन मानक पुस्तकालय से अपने पसंदीदा मॉड्यूल का नाम देने के लिए कहा गया था, तो मैंने csv मॉड्यूल को एक से अधिक बार कॉल किया - इसलिए नहीं कि यह शानदार लग रहा है (यह नहीं है), लेकिन क्योंकि इसने शायद मुझे अधिक समय बचाया और मुझे बचाया किसी भी अन्य मॉड्यूल की तुलना में अधिक बार मेरी संभावित त्रुटियों से।
सीएसवी मॉड्यूल पायथन की "बैटरी शामिल" दर्शन का आदर्श उदाहरण है। यद्यपि आप सीमांकित फ़ाइलों को पढ़ने के लिए पूरी तरह से अपना कोड लिख सकते हैं (इसके अलावा, यह इतना मुश्किल नहीं है), पायथन मॉड्यूल का उपयोग करना बहुत आसान और अधिक विश्वसनीय है। सीएसवी मॉड्यूल का परीक्षण और अनुकूलित किया गया है, और यह कई विशेषताएं प्रदान करता है जिन्हें आप शायद ही खुद को लागू कर पाएंगे, लेकिन जो अभी भी काफी सुविधाजनक हैं और समय बचाते हैं।

पिछले डेटा पर नज़र डालें और तय करें कि आप इसे CSV मॉड्यूल के साथ कैसे पढ़ेंगे। डेटा पार्सिंग कोड को प्रत्येक पंक्ति को पढ़ना चाहिए और अनुगामी न्यूलाइन वर्ण को हटाना चाहिए, और फिर वर्णों द्वारा रेखा को विभाजित करना चाहिए | और स्ट्रिंग्स की सामान्य सूची में मूल्यों की सूची संलग्न करें। समाधान कुछ इस तरह दिख सकता है:

 >>> results = [] >>> for line in open("temp_data_pipes_00a.txt"): ... fields = line.strip().split("|") ... results.append(fields) ... >>> results [['State', 'Month Day, Year Code', 'Avg Daily Max Air Temperature (F)', 'Record Count for Daily Max Air Temp (F)'], ['Illinois', '1979/01/01', '17.48', '994'], ['Illinois', '1979/01/02', '4.64', '994'], ['Illinois', '1979/01/03', '11.05', '994'], ['Illinois', '1979/01/04', '9.51', '994'], ['Illinois', '1979/05/15', '68.42', '994'], ['Illinois', '1979/ 05/16', '70.29', '994'], ['Illinois', '1979/05/17', '75.34', '994'], ['Illinois', '1979/05/18', '79.13', '994'], ['Illinois', '1979/05/19', '74.94', '994']] 

यदि आप csv मॉड्यूल के साथ भी ऐसा ही करना चाहते हैं, तो कोड कुछ इस तरह दिख सकता है:

 >>> import csv >>> results = [fields for fields in csv.reader(open("temp_data_pipes_00a.txt", newline=''), delimiter="|")] >>> results [['State', 'Month Day, Year Code', 'Avg Daily Max Air Temperature (F)', 'Record Count for Daily Max Air Temp (F)'], ['Illinois', '1979/01/01', '17.48', '994'], ['Illinois', '1979/01/02', '4.64', '994'], ['Illinois', '1979/01/03', '11.05', '994'], ['Illinois', '1979/01/04', '9.51', '994'], ['Illinois', '1979/05/15', '68.42', '994'], ['Illinois', '1979/ 05/16', '70.29', '994'], ['Illinois', '1979/05/17', '75.34', '994'], ['Illinois', '1979/05/18', '79.13', '994'], ['Illinois', '1979/05/19', '74.94', '994']] 

इस सरल मामले में, समाधान के स्वतंत्र कार्यान्वयन की तुलना में लाभ इतना महान नहीं है। फिर भी, कोड दो पंक्तियों से छोटा और थोड़ा स्पष्ट हो गया है, और आपको नए वर्णों को छोटा करने के बारे में चिंता करने की आवश्यकता नहीं है। असली फायदा तब होता है जब आप अधिक जटिल मामलों का सामना करते हैं।

इस उदाहरण में डेटा वास्तविक है, लेकिन वास्तव में इसे सरल और साफ किया गया है। स्रोत से वास्तविक डेटा अधिक जटिल होगा। वास्तविक डेटा में अधिक फ़ील्ड होते हैं, कुछ फ़ील्ड उद्धरण चिह्नों में संलग्न होंगे, अन्य नहीं, और पहला फ़ील्ड खाली हो सकता है। मूल को टैब्स द्वारा अलग किया जाता है, लेकिन प्रदर्शन प्रयोजनों के लिए मैं उन्हें कॉमा द्वारा अलग किया जाता हूं:

 "Notes","State","State Code","Month Day, Year","Month Day, Year Code",Avg Daily Max Air Temperature (F),Record Count for Daily Max Air Temp (F),Min Temp for Daily Max Air Temp (F),Max Temp for Daily Max Air Temp (F),Avg Daily Max Heat Index (F),Record Count for Daily Max Heat Index (F),Min for Daily Max Heat Index (F),Max for Daily Max Heat Index (F),Daily Max Heat Index (F) % Coverage ,"Illinois","17","Jan 01, 1979","1979/01/ 01",17.48,994,6.00,30.50,Missing,0,Missing,Missing,0.00% ,"Illinois","17","Jan 02, 1979","1979/01/02",4.64,994,- 6.40,15.80,Missing,0,Missing,Missing,0.00% ,"Illinois","17","Jan 03, 1979","1979/01/03",11.05,994,- 0.70,24.70,Missing,0,Missing,Missing,0.00% ,"Illinois","17","Jan 04, 1979","1979/01/ 04",9.51,994,0.20,27.60,Missing,0,Missing,Missing,0.00% ,"Illinois","17","May 15, 1979","1979/05/ 15",68.42,994,61.00,75.10,Missing,0,Missing,Missing,0.00% ,"Illinois","17","May 16, 1979","1979/05/ 16",70.29,994,63.40,73.50,Missing,0,Missing,Missing,0.00% ,"Illinois","17","May 17, 1979","1979/05/ 17",75.34,994,64.00,80.50,82.60,2,82.40,82.80,0.20% ,"Illinois","17","May 18, 1979","1979/05/ 18",79.13,994,75.50,82.10,81.42,349,80.20,83.40,35.11% ,"Illinois","17","May 19, 1979","1979/05/ 19",74.94,994,66.90,83.10,82.87,78,81.60,85.20,7.85% 

कृपया ध्यान दें: कुछ क्षेत्रों में अल्पविराम शामिल हैं। ऐसे मामलों में नियमों के अनुसार, यह इंगित करने के लिए फ़ील्ड उद्धरण चिह्नों में संलग्न है कि इसकी सामग्री पार्स करने और सीमांकक की खोज करने के लिए अभिप्रेत नहीं है। व्यवहार में (इस मामले में), केवल खेतों का एक अंश अक्सर उद्धरण चिह्नों में संलग्न होता है, विशेष रूप से उन जिनके मानों में एक विभाजक हो सकता है। हालाँकि (इस उदाहरण में फिर से), कुछ क्षेत्रों को उद्धरण चिह्नों में संलग्न किया जाता है, भले ही उनके पास विभाजक होने की संभावना न हो।

ऐसे मामलों में, घरेलू समाधान बहुत बोझिल हो जाते हैं। अब केवल एक सीमांकक चरित्र द्वारा एक पंक्ति को तोड़ना अब काम नहीं करता है; आपको यह सुनिश्चित करने की आवश्यकता है कि आप केवल उन विभाजकों का उपयोग करें जो स्ट्रिंग्स के अंदर नहीं हैं। इसके अलावा, आपको उद्धरण चिह्नों को हटाना होगा, जो एक मनमाने स्थिति में हो सकता है या कहीं नहीं पाया जा सकता है। सीएसवी मॉड्यूल के साथ, आपको अपना कोड बिल्कुल भी नहीं बदलना होगा। इसके अलावा, चूंकि अल्पविराम को डिफ़ॉल्ट विभाजक माना जाता है, इसलिए इसे निर्दिष्ट करने की आवश्यकता नहीं है:

 >>> results2 = [fields for fields in csv.reader(open("temp_data_01.csv", newline=''))] >>> results2 [['Notes', 'State', 'State Code', 'Month Day, Year', 'Month Day, Year Code', 'Avg Daily Max Air Temperature (F)', 'Record Count for Daily Max Air Temp (F)', 'Min Temp for Daily Max Air Temp (F)', 'Max Temp for Daily Max Air Temp (F)', 'Avg Daily Min Air Temperature (F)', 'Record Count for Daily Min Air Temp (F)', 'Min Temp for Daily Min Air Temp (F)', 'Max Temp for Daily Min Air Temp (F)', 'Avg Daily Max Heat Index (F)', 'Record Count for Daily Max Heat Index (F)', 'Min for Daily Max Heat Index (F)', 'Max for Daily Max Heat Index (F)', 'Daily Max Heat Index (F) % Coverage'], ['', 'Illinois', '17', 'Jan 01, 1979', '1979/01/01', '17.48', '994', '6.00', '30.50', '2.89', '994', '-13.60', '15.80', 'Missing', '0', 'Missing', 'Missing', '0.00%'], ['', 'Illinois', '17', 'Jan 02, 1979', '1979/01/02', '4.64', '994', '-6.40', '15.80', '-9.03', '994', '-23.60', '6.60', 'Missing', '0', 'Missing', 'Missing', '0.00%'], ['', 'Illinois', '17', 'Jan 03, 1979', '1979/01/03', '11.05', '994', '- 0.70', '24.70', '-2.17', '994', '-18.30', '12.90', 'Missing', '0', 'Missing', 'Missing', '0.00%'], ['', 'Illinois', '17', 'Jan 04, 1979', '1979/01/04', '9.51', '994', '0.20', '27.60', '-0.43', '994', '-16.30', '16.30', 'Missing', '0', 'Missing', 'Missing', '0.00%'], ['', 'Illinois', '17', 'May 15, 1979', '1979/05/15', '68.42', '994', '61.00', '75.10', '51.30', '994', '43.30', '57.00', 'Missing', '0', 'Missing', 'Missing', '0.00%'], ['', 'Illinois', '17', 'May 16, 1979', '1979/05/ 16', '70.29', '994', '63.40', '73.50', '48.09', '994', '41.10', '53.00', 'Missing', '0', 'Missing', 'Missing', '0.00%'], ['', 'Illinois', '17', 'May 17, 1979', '1979/05/17', '75.34', '994', '64.00', '80.50', '50.84', '994', '44.30', '55.70', '82.60', '2', '82.40', '82.80', '0.20%'], ['', 'Illinois', '17', 'May 18, 1979', '1979/05/18', '79.13', '994', '75.50', '82.10', '55.68', '994', '50.00', '61.10', '81.42', '349', '80.20', '83.40', '35.11%'], ['', 'Illinois', '17', 'May 19, 1979', '1979/05/19', '74.94', '994', '66.90', '83.10', '58.59', '994', '50.90', '63.20', '82.87', '78', '81.60', '85.20', '7.85%']] 

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए कूपन पर 20% की छूट - पायथन