हर बार एक डेटा स्रोत के रूप में विभिन्न डेटाबेस का उपयोग करने के बारे में बातचीत शुरू होती है, रिकॉर्ड पहचानकर्ताओं, वस्तुओं, या कुछ और का विषय प्रकट होता है। कभी-कभी प्रतिभागियों द्वारा एक्सचेंज प्रोटोकॉल की बातचीत पर कई महीनों तक विचार किया जा सकता है। int - bigint - guid , फिर एक सर्कल में। वॉल्यूम कार्यों के लिए, ध्यान में रखते हुए कि मूल रूप से आर में कोई bigint सपोर्ट नहीं है (क्षमता ~ 2 ^ 64), ऐसे पहचानकर्ताओं की सही प्रस्तुति का चुनाव प्रदर्शन के मामले में महत्वपूर्ण हो सकता है। क्या एक स्पष्ट और सार्वभौमिक समाधान है? नीचे कुछ व्यावहारिक विचार दिए गए हैं जिनका उपयोग परियोजनाओं में लिटमस परीक्षण के रूप में किया जा सकता है।

एक नियम के रूप में, पहचानकर्ताओं का उपयोग तीन वर्गों के कार्यों के लिए किया जाएगा:

• समूह;
• छानने;
• एसोसिएशन।

इसके आधार पर, हम विभिन्न दृष्टिकोणों का मूल्यांकन करेंगे।

यह पिछले प्रकाशनों का एक सिलसिला है।

string रूप में स्टोर करें

छोटे डेटा के लिए विकल्प बहुत अच्छा है। यहां और पहचानकर्ता की किसी भी लंबाई को लेने की क्षमता, और न केवल संख्यात्मक, बल्कि अल्फ़ान्यूमेरिक पहचानकर्ताओं का समर्थन करने की क्षमता भी है। एक अतिरिक्त लाभ किसी भी गैर-देशी डेटाबेस प्रोटोकॉल के माध्यम से डेटा को सही ढंग से प्राप्त करने की गारंटीकृत क्षमता है, उदाहरण के लिए, गेटवे के REST एपीआई के माध्यम से।

विपक्ष भी स्पष्ट हैं। उच्च मेमोरी खपत, डेटाबेस से सूचना की मात्रा में वृद्धि, नेटवर्क स्तर पर और कम्प्यूटेशनल स्तर पर प्रदर्शन का ह्रास।

हम bit64 पैकेज का उपयोग करते हैं

बहुत से लोग जिन्होंने केवल इस पैकेज का नाम सुना है वे सोच सकते हैं कि यह सही समाधान है। काश, यह पूरी तरह सच नहीं होता। न केवल यह numeric शीर्ष पर एक ऐड-ऑन है (उद्धरण: ' फिर से पसंद स्पष्ट है: आर में केवल एक 64 बिट डेटा प्रकार है: डबल्स। डबल्स का उपयोग करके।
पूर्णांक 64 में कुछ कार्यक्षमता पाई जाती है जैसे कि। परमाणु, लंबाई, लंबाई <-, नाम, नाम <-, मंद, मंद <-, मंदनाम, मंदनाम। ' ), इसलिए अभी भी बुनियादी अंकगणित का व्यापक विस्तार है और इसकी कोई गारंटी नहीं है कि यह कहीं भी विस्फोट नहीं करेगा और अन्य पैकेजों के साथ कोई संघर्ष नहीं होगा।

हम टाइप numeric उपयोग करते हैं

यह पूरी तरह से सही चाल है, जो उन लोगों के लिए एक अच्छा समझौता है जो जानते हैं कि वास्तव में डेटाबेस से int64 प्रतिक्रिया में क्या छिपा होगा। आखिरकार, सभी 64 बिट्स वास्तव में वहां शामिल नहीं होंगे। अक्सर संख्या 2 ^ 64 से बहुत कम हो सकती है।

डबल-सटीक फ़्लोटिंग-पॉइंट प्रारूप की बारीकियों के कारण ऐसा समाधान संभव है। विवरण लोकप्रिय डबल-सटीक फ़्लोटिंग-पॉइंट प्रारूप आलेख में पाया जा सकता है।

 The 53-bit significand precision gives from 15 to 17 significant decimal digits precision (2−53 ≈ 1.11 × 10−16). If a decimal string with at most 15 significant digits is converted to IEEE 754 double-precision representation, and then converted back to a decimal string with the same number of digits, the final result should match the original string. If an IEEE 754 double-precision number is converted to a decimal string with at least 17 significant digits, and then converted back to double-precision representation, the final result must match the original number. 

यदि आपके पास पहचानकर्ता में 15 या कम दशमलव अंक हैं, तो आप numeric उपयोग कर सकते हैं और चिंता नहीं कर सकते।

जब आपको अस्थायी डेटा के साथ काम करने की आवश्यकता होती है, तो वही चाल अच्छी होती है, विशेष रूप से मिलीसेकंड वाले। पाठ के रूप में नेटवर्क पर अस्थायी डेटा स्थानांतरित करने में, इसके अलावा, प्राप्त होने पर, आपको पाठ पार्सर -> POSIXct को चलाने की आवश्यकता POSIXct , जो कि अत्यंत संसाधन-गहन (कई बार प्रदर्शन में गिरावट) भी है। बाइनरी फॉर्म में स्थानांतरण एक तथ्य नहीं है कि सभी ड्राइवर समय क्षेत्र और मिलीसेकंड के हस्तांतरण का समर्थन करेंगे। लेकिन यूनिक्स ज़ोन में यूनिस ज़ोनस्टैम्प प्रतिनिधित्व (13 दशमलव स्थानों) में मिलीसेकंड के सटीक समय का संचरण बहुत अच्छी तरह से और दोषरहित रूप से numeric प्रारूप द्वारा प्रदान किया जाता है।

इतना सरल और स्पष्ट नहीं है

यदि हम लाइनों के साथ संस्करण को करीब से देखते हैं, तो प्रारंभिक बयान की स्पष्टता और स्पष्टता थोड़ी कम हो जाती है। आर में स्ट्रिंग्स के साथ काम करना बहुत सीधा नहीं है, यहां तक ​​कि मेमोरी ब्लॉकों को संरेखित करने और प्रीफ़ैचिंग की बारीकियों को छोड़ना। पुस्तकों और इन-डेप्थ डॉक्यूमेंटेशन को देखते हुए, स्ट्रिंग वेरिएबल को स्वयं एक वैरिएबल में स्टोर नहीं किया जाता है, बल्कि एक ग्लोबल स्ट्रिंग पूल में रखा जाता है। सभी लाइनों। और इस पूल का उपयोग मेमोरी की खपत को कम करने के लिए स्ट्रिंग सरणियों द्वारा किया जाता है। यानी एक पाठ वेक्टर वैश्विक पूल में लाइनों का एक सेट होगा + इस पूल से रिकॉर्ड करने के लिए लिंक का एक वेक्टर।

 library(tidyverse) library(magrittr) library(stringi) library(gmp) library(profvis) library(pryr) library(rTRNG) set.seed(46572) RcppParallel::setThreadOptions(numThreads = parallel::detectCores() - 1) #              options(scipen = 10000) options(digits = 14) options(pillar.sigfig = 14) pryr::mem_used() fname <- here::here("output", "dump.csv") #  10^4,       (    +  ) m1 <- sample(stri_rand_strings(100, 64, "[a0-9]"), 10^7, replace = TRUE) #     readr::write_csv(enframe(m1, name = NULL), fname) #       m2 <- readr::read_csv(fname, col_types = "c") %>% pull(value) pryr::object_size(m2) pryr::mem_used() #      print(glue::glue("File size: {fs::file_size(fname)}. ", "Constructed from file object's (m2) size: {fs::fs_bytes(pryr::object_size(m2))}. ", "Pure pointer's size: {fs::fs_bytes(8*length(m2))}")) .Internal(inspect(m1)) .Internal(inspect(m2)) 

हम देखते हैं कि सी ++ स्तर तक जाने के बावजूद, परिकल्पना सच्चाई से इतनी दूर नहीं है। स्ट्रिंग वेक्टर की मात्रा लगभग 64-बिट पॉइंटर्स की मात्रा के साथ मेल खाती है, और चर ही डिस्क पर फ़ाइल की तुलना में काफी कम जगह लेता है।

 File size: 62M. Constructed from file object's (m2) size: 7.65M. Pure pointer's size: 7.63M 

और लिखने से पहले और पढ़ने के बाद वैक्टर की सामग्री समान है - सम्मान। वेक्टर तत्व एक ही मेमोरी ब्लॉक को संदर्भित करते हैं।

इसलिए टेक्स्ट स्ट्रिंग्स के उपयोग पर करीब से नज़र रखने के रूप में पहचानकर्ता अब इस तरह के एक पागल विचार नहीं लगता है। dplyr और data.table का उपयोग करके ग्रुपिंग, फ़िल्टरिंग और मर्जिंग के लिए बेंचमार्क, numeric और character पहचानकर्ताओं के लिए लगभग समान रीडिंग देते हैं, जो वैश्विक पूल के कारण अनुकूलन की अतिरिक्त पुष्टि करता है। आखिरकार, विधानसभा आर (32/64) के आधार पर, पॉइंटर्स के साथ काम किया जा रहा है, जिसका आकार 32 या 64 बिट्स है, और यह ठीक numeric प्रकार है।

 #    gc() pryr::mem_used() bench::mark( string = id_df %>% group_by(id_string) %>% summarise(j = prod(j, na.rm = TRUE)), # bit64 = id_df %>% group_by(id_bit64) %>% summarise(j = prod(j, na.rm = TRUE)), numeric = id_df %>% group_by(id_numeric) %>% summarise(j = prod(j, na.rm = TRUE)), # gmp = id_df %>% group_by(id_gmp) %>% summarise(j = prod(j, na.rm = TRUE)), check = FALSE ) #    gc() pryr::mem_used() string_subset <- sample(unique(id_df$id_string), 20) numeric_subset <- sample(unique(id_df$id_numeric), 20) bench::mark( string = dplyr::filter(id_df, id_string %in% string_subset), numeric = dplyr::filter(id_df, id_numeric %in% numeric_subset), check = FALSE ) #    gc() pryr::mem_used() #        string_copy_df <- rlang::duplicate(dplyr::count(id_df, id_string)) numeric_copy_df <- rlang::duplicate(dplyr::count(id_df, id_numeric)) bench::mark( string = id_df %>% dplyr::left_join(string_copy_df, by = "id_string"), numeric = id_df %>% dplyr::left_join(numeric_copy_df, by = "id_numeric"), iterations = 10, check = FALSE ) 

वैसे, उपलब्ध R मेमोरी का अधिकतम आकार fs::fs_bytes(memory.limit()) साथ देखा जा सकता है।

ईमानदार होने के लिए, यह ध्यान दिया जाना चाहिए कि dplyr हमेशा तेज dplyr नहीं होता है, मामले को देखें "एक चरित्र स्तंभ से जुड़ना धीमा है, एक कारक स्तंभ से जुड़ने की तुलना में। # 1386 {बंद}" । यह धागा स्ट्रिंग्स के वैश्विक पूल की क्षमताओं का उपयोग करने का प्रस्ताव करता है और स्ट्रिंग्स की तुलना इस तरह से नहीं करता है, लेकिन स्ट्रिंग्स को इंगित करता है।

मेमोरी प्रबंधन विवरण

मूल स्रोत

• R Core Team द्वारा R Internals , विशेष रूप से अध्याय 1 - R आंतरिक संरचना में
• आर इंटर्नल्स। 1.1 एसईएक्सपी
• आर इंटर्नल्स। 12.1 लंबे वैक्टर
• उन्नत आर। मेमोरी । यह पुस्तक के दूसरे संस्करण में है 2. नाम और मूल्य

निष्कर्ष

स्वाभाविक रूप से, यह प्रश्न लगातार एक या दूसरे रूप में पूछा जाता है, नीचे दिए गए कई लिंक।

• R में, बड़े पूर्णांक आईडी संख्याओं के लिए पूर्णांक, संख्यात्मक या वर्ण का उपयोग करना बेहतर है?
• 64 बिट दुनिया में आर
• बिट 64: 64 बिट इंटेगर के वैक्टर के लिए एक एस 3 क्लास
• वास्तव में आर में बड़ी संख्या में हैं
• जीएमपी: मल्टीपल प्रिसिजन अरिथमेटिक
• Rmpfr: R MPFR - मल्टीपल प्रिसिजन फ्लोटिंग-पॉइंट विश्वसनीय

लेकिन सचेत रूप से यह समझने के लिए कि क्या करना सही है, क्या अवसर और सीमाएं हैं, सबसे कम संभव स्तर तक जाना सबसे अच्छा है। जैसा कि यह पता चला है, स्पष्ट विवरणों का एक द्रव्यमान है। प्रकाशन एक अनुसंधान प्रकृति का है, क्योंकि यह आर के काफी बुनियादी पहलुओं को प्रभावित करता है, जिसे कुछ लोग अपने दैनिक कार्यों में उपयोग करते हैं। यदि महत्वपूर्ण जोड़, टिप्पणियाँ या सुधार हैं, तो उन्हें जानना बहुत दिलचस्प होगा।

पिछला प्रकाशन "यूटिलिटी टास्क के लिए आर का उपयोग" है ।