पायथन डेटा फ़ाइल स्वरूप धोखा शीट

पायथन सभी लोकप्रिय फ़ाइल स्वरूपों को समझता है। इसके अलावा, प्रत्येक लाइब्रेरी का अपना "वार्म ट्यूब" प्रारूप होता है। बेशक, प्रत्येक प्रारूप में, वाक्यविन्यास विशुद्ध रूप से व्यक्तिगत है। मैंने ज्यूपिटर नोटबुक में उपयोग के उदाहरण के रूप में एक ए 4 शीट पर विभिन्न प्रारूपों की फाइलों के साथ काम करने के लिए सभी कार्यों को एक साथ रखा।



मैंने सशर्त रूप से उपयोग की विधि के अनुसार प्रारूपों को तीन ब्लॉकों में विभाजित किया है। जैसा कि आप जानते हैं, सूचनाओं के आदान-प्रदान के लिए फाइलों की आवश्यकता होती है: लोगों के बीच, प्रोग्राम (पहला ब्लॉक) के बीच, एक कंप्यूटर और एक नेटवर्क (दूसरा) और "गेम सहेजें" के बीच - एक ही प्रोग्राम के बीच समय (तीसरे ब्लॉक) पर।

प्रत्येक ब्लॉक के बारे में संक्षेप में:

1) यूनिवर्सल प्रारूप:

• .csv - पाठ, मान को अल्पविराम से अलग करके अलग कर दिया गया है, लेकिन उदाहरण के लिए, रूसी एक्सेल इसे अर्धविराम के साथ अलग करना पसंद करता है, क्योंकि अल्पविराम पहले ही रूसी विभाजक के रूप में दशमलव विभाजक के रूप में उपयोग किया जाता है;
• .raw उन लोगों के लिए एक द्विआधारी प्रारूप है जो फ़ाइल स्वरूपों को पसंद नहीं करते हैं। डेटा प्रकार और, यदि डेटा बहुआयामी है, तो संबंधित आकारों को अलग से स्थानांतरित किया जाना चाहिए, केवल फ़ाइल में ही डेटा
• .xls / .xlsx - पुरानी बाइनरी (65k लाइनों की सीमा) और नए xml एक्सल प्रारूप;
• .mat वास्तव में दो प्रारूप (दोनों बाइनरी) हैं: पुराने मालिकाना और hdf5 पर आधारित नया। अजगर दोनों (पुस्तकालयों के माध्यम से) काम कर सकता है।

2) "नेटवर्क" प्रारूप:

• .json - शाब्दिक, अजगर में एक शब्दकोश की तरह दिखता है, लेकिन उद्धरण चिह्नों का उपयोग केवल डबल किया जा सकता है;
• .xml - html के समान, शाब्दिक।

3) देशी अजगर प्रारूप:

• .pkl एक द्विआधारी प्रारूप है, सभी अंतर्निहित पायथन ऑब्जेक्ट्स इसे बचाने में सक्षम हैं। कस्टम कक्षाएं भी सक्षम हैं, और अगर अजगर कुछ गलत बचाता है, तो आप इसे जादू के तरीकों के माध्यम से मदद कर सकते हैं। एक मौजूदा फ़ाइल के अंत में संलग्न करने का समर्थन करता है।
• .npy और .npz - numpy में उनके दो प्रारूपों (बाइनरी दोनों) के रूप में कई हैं। वे संक्रमण python v2-> v3 के समय pkl में पिछड़े संगतता के नुकसान की प्रतिक्रिया के रूप में दिखाई दिए। ओवरहेड न्यूनतम है (इसी कच्चे की तुलना में ~ 100 बाइट्स; pkl, हालांकि, थोड़ा बड़ा है: ~ 150 बाइट्स कच्चे से अधिक)। .Npy में आप केवल एक सरणी बचा सकते हैं, और npz में - कई बार एक साथ, और आप बाद में उन्हें नाम से वहां से निकाल सकते हैं।
• .h5 - बाइनरी एचडीएफ 5 प्रारूप। यह उल्लेखनीय है कि इसमें आप पूरे पदानुक्रमित डेटा संरचना को संग्रहीत कर सकते हैं, यह एक फ़ाइल में लगभग एक फ़ाइल सिस्टम है। इसके अलावा, यह रूपांतरण के बिना matlab में खोला जा सकता है। विपक्ष:
  
  a) छोटी फाइलें अनुचित रूप से बड़ी जगह लेती हैं (उदाहरण के लिए, 300 बाइट्स pkl बनाम 3.1 एमबी h5 के लिए),
  बी) बहुत सारे कीड़े ,
  ग) एक मौजूदा फ़ाइल में संलग्न है, लेकिन यदि कोई त्रुटि होती है (जैसा कि ऐसा होता है), इससे डेटा प्राप्त करना समस्याग्रस्त होगा।
  
  यहाँ संक्षेप में एचडीएफ 5 के पेशेवरों और विपक्षों का विस्तृत विश्लेषण है - डेटा के आदान-प्रदान के लिए एक अच्छा प्रारूप, खराब - एक फ़ाइल सिस्टम के रूप में उपयोग के लिए (उदाहरण के लिए, आप किसी सरणी को मिटा नहीं सकते हैं, बस इसके बिना फ़ाइल की प्रतिलिपि बनाएँ)।
• .parquet बड़े डेटा के लिए एक द्विआधारी प्रारूप है। अपाचे लकड़ी की छत एक देशी अजगर प्रारूप नहीं है, लेकिन यह अच्छी तरह से पांडा में एकीकृत है। आप मक्खी (rle, gzip, शब्दकोश एन्कोडिंग) पर संपीड़ित / विस्तार कर सकते हैं; अपाचे एवरो की तुलना में थोड़ा बेहतर है। एवरो के विपरीत, जहां डेटा लाइन द्वारा लाइन में संग्रहीत किया जाता है (जैसे सी ऑर्डर), लकड़ी की छत डेटा में कॉलम-बाय-कॉलम (जैसे फोरट्रान ऑर्डर) संग्रहीत किया जाता है। इसके लिए धन्यवाद, आप बड़ी संख्या में स्तंभों के साथ तालिकाओं के साथ प्रभावी ढंग से काम कर सकते हैं।
• जुपिटर ने पहिया को फिर से मजबूत नहीं करने का फैसला किया -% स्टोर इसे .pkl प्रारूप में बचाता है, लेकिन विस्तार के बिना किसी कारण के लिए।

Sheatsheet ही:

- पीडीएफ प्रारूप में
- पीएनजी प्रारूप में:

आरेख से सभी फ़ंक्शन का उपयोग करने का एक उदाहरण: HTML सामग्री और ipynb स्रोत की तालिका के साथ