👌🏼 👩🏿‍✈️ 🐨 Tidyr पैकेज और उसके नए pivot_longer और pivot

Tidyr पैकेज आर भाषा के सबसे लोकप्रिय पुस्तकालयों में से एक के मूल का हिस्सा है - tidyverse ।
पैकेज का मुख्य उद्देश्य डेटा को एक साफ उपस्थिति में लाना है।

Habré पर पहले से ही इस पैकेज को समर्पित एक प्रकाशन है , लेकिन यह 2015 तक वापस आता है। और मैं आपको सबसे प्रासंगिक परिवर्तनों के बारे में बताना चाहता हूं, जो कई दिनों पहले इसके लेखक हेडली विकम ने घोषणा की थी।

SJK : क्या इकट्ठा () और प्रसार () कार्यों को पदावनत किया जाएगा?

हैडली विकम : कुछ हद तक। हम इन कार्यों का उपयोग करने और उनमें त्रुटियों को सुधारने की सिफारिश करना बंद कर देंगे, लेकिन वे वर्तमान स्थिति में पैकेज में मौजूद रहेंगे।

सामग्री

टिड्डाटा कॉन्सेप्ट

Tidyr का उद्देश्य आपको डेटा को तथाकथित स्वच्छ उपस्थिति में लाने में मदद करना है। सटीक डेटा वह डेटा है जहां:

प्रत्येक चर एक कॉलम में है।
प्रत्येक अवलोकन एक पंक्ति है।
प्रत्येक मान एक सेल है।

डेटा को सुव्यवस्थित करने के लिए दिया गया डेटा विश्लेषण के दौरान काम करने के लिए बहुत सरल और अधिक सुविधाजनक है।

टिडियर पैकेज में शामिल मुख्य कार्य

टेबल बदलने के लिए tidyr में फ़ंक्शंस का एक सेट होता है:

fill() - पिछले मानों के साथ कॉलम में अनुपलब्ध मानों को भरना;
separate() - एक विभाजक के माध्यम से कई में एक क्षेत्र को विभाजित करता है;
unite() - एक में कई फ़ील्ड्स के संयोजन का संचालन करता है, separate() फ़ंक्शन का उलटा;
pivot_longer() - एक फ़ंक्शन जो एक विस्तृत प्रारूप से डेटा को एक लंबे समय तक परिवर्तित करता है;
pivot_wider() - एक फ़ंक्शन जो डेटा को एक लंबे प्रारूप से विस्तृत एक में परिवर्तित करता है। ऑपरेशन pivot_longer() फ़ंक्शन द्वारा निष्पादित के विपरीत है।
gather() पदावनत - एक फ़ंक्शन जो एक विस्तृत प्रारूप से डेटा को एक लंबे समय तक परिवर्तित करता है;
spread() पदावनत - एक फ़ंक्शन जो एक लंबे प्रारूप से डेटा को विस्तृत रूप में परिवर्तित करता है। gather() फ़ंक्शन का उल्टा संचालन करता है।

व्यापक प्रारूप से डेटा को लंबे प्रारूप में परिवर्तित करने की नई अवधारणा और इसके विपरीत

पहले, इस तरह के परिवर्तन के लिए फ़ंक्शंस gather() और spread() उपयोग किया spread() । इन कार्यों के अस्तित्व के वर्षों में, यह स्पष्ट हो गया है कि अधिकांश उपयोगकर्ताओं के लिए, पैकेज के लेखक सहित, इन कार्यों के नाम और उनके तर्क काफी स्पष्ट नहीं थे, और उन्हें खोजने और समझने में कठिनाइयों का कारण बना कि इनमें से कौन सा कार्य व्यापक रूप से लंबे समय तक की तारीख के फ्रेम को लाता है। प्रारूप और इसके विपरीत।

इस संबंध में, दो नए महत्वपूर्ण कार्यों को tidyr में जोड़ा गया था , जो कि दिनांक फ़्रेम को बदलने के लिए डिज़ाइन किए गए हैं।

नए कार्य pivot_longer() और pivot_wider() जॉन माउंट और नीना ज़ुमेल द्वारा बनाए गए cdata पैकेज में कुछ कार्यों से प्रेरित थे।

Tidyr 0.8.3.9000 का सबसे वर्तमान संस्करण स्थापित करना

Tidyr 0.8.3.9000 पैकेज का नया, वर्तमान संस्करण स्थापित करने के लिए, जिसमें नए फ़ंक्शन उपलब्ध हैं, निम्न कोड का उपयोग करें।

devtools::install_github("tidyverse/tidyr")

लेखन के समय, ये फ़ंक्शन केवल GitHub पर पैकेज के देव संस्करण में उपलब्ध हैं।

नई सुविधाओं पर स्विच करें

वास्तव में, नए फ़ंक्शंस के साथ काम करने के लिए पुरानी लिपियों को स्थानांतरित करना मुश्किल नहीं है, बेहतर समझ के लिए, मैं पुराने फ़ंक्शंस के प्रलेखन से एक उदाहरण लूंगा और यह दिखाऊंगा कि नए pivot_*() फ़ंक्शंस का उपयोग करके ये समान संचालन कैसे किए जाते हैं।

विस्तृत को लंबे प्रारूप में बदलें।

नमूना कोड इकट्ठा समारोह प्रलेखन से

 # example library(dplyr) stocks <- data.frame( time = as.Date('2009-01-01') + 0:9, X = rnorm(10, 0, 1), Y = rnorm(10, 0, 2), Z = rnorm(10, 0, 4) ) # old stocks_gather <- stocks %>% gather(key = stock, value = price, -time) # new stocks_long <- stocks %>% pivot_longer(cols = -time, names_to = "stock", values_to = "price")

एक लंबे प्रारूप को व्यापक रूप में परिवर्तित करना।

प्रसार फ़ंक्शन प्रलेखन से नमूना कोड

 # old stocks_spread <- stocks_gather %>% spread(key = stock, value = price) # new stock_wide <- stocks_long %>% pivot_wider(names_from = "stock", values_from = "price")

क्योंकि स्रोत तालिका स्टॉक में pivot_longer() और pivot_wider() साथ काम करने के उपरोक्त उदाहरणों में, names_to और मान_to तर्कों में सूचीबद्ध कोई कॉलम नहीं हैं , उनके नामों को उद्धरण चिह्नों में इंगित किया जाना चाहिए।

वह तालिका जिसकी सहायता से आप सबसे आसानी से यह पता लगा पाएंगे कि नई टिडर अवधारणा के साथ काम करने के लिए कैसे स्विच किया जाए ।

लेखक से ध्यान दें

नीचे दिए गए सभी पाठ अनुकूली हैं, मैं भी साफ-सुथरे पुस्तकालय की आधिकारिक साइट से विगनेट का मुफ्त अनुवाद कहूंगा।

एक विस्तृत प्रारूप से एक लंबे समय तक डेटा परिवर्तित करने का एक सरल उदाहरण

pivot_longer () - स्तंभों की संख्या घटाकर और पंक्तियों की संख्या बढ़ाकर डेटा सेट को लंबा बनाता है।

लेख में प्रस्तुत उदाहरणों को चलाने के लिए, आपको पहले आवश्यक पैकेजों को जोड़ना होगा:

 library(tidyr) library(dplyr) library(readr)

मान लीजिए कि हमारे पास एक सर्वेक्षण के परिणामों के साथ एक तालिका है जिसमें (अन्य बातों के अलावा) लोगों से उनके धर्म और वार्षिक आय के बारे में पूछा गया था:

 #> # A tibble: 18 x 11 #> religion `<$10k` `$10-20k` `$20-30k` `$30-40k` `$40-50k` `$50-75k` #> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> #> 1 Agnostic 27 34 60 81 76 137 #> 2 Atheist 12 27 37 52 35 70 #> 3 Buddhist 27 21 30 34 33 58 #> 4 Catholic 418 617 732 670 638 1116 #> 5 Don't k… 15 14 15 11 10 35 #> 6 Evangel… 575 869 1064 982 881 1486 #> 7 Hindu 1 9 7 9 11 34 #> 8 Histori… 228 244 236 238 197 223 #> 9 Jehovah… 20 27 24 24 21 30 #> 10 Jewish 19 19 25 25 30 95 #> # … with 8 more rows, and 4 more variables: `$75-100k` <dbl>, #> # `$100-150k` <dbl>, `>150k` <dbl>, `Don't know/refused` <dbl>

इस तालिका में पंक्तियों में प्रतिवादी धर्म डेटा है, और आय के स्तर स्तंभ नामों में बिखरे हुए हैं। प्रत्येक श्रेणी से उत्तरदाताओं की संख्या को धर्म और आय स्तर के चौराहे पर सेल मूल्यों में संग्रहीत किया जाता है। तालिका को नीट, सही प्रारूप में लाने के लिए, बस pivot_longer() उपयोग करें:

 pew %>% pivot_longer(cols = -religion, names_to = "income", values_to = "count")

 pew %>% pivot_longer(cols = -religion, names_to = "income", values_to = "count") #> # A tibble: 180 x 3 #> religion income count #> <chr> <chr> <dbl> #> 1 Agnostic <$10k 27 #> 2 Agnostic $10-20k 34 #> 3 Agnostic $20-30k 60 #> 4 Agnostic $30-40k 81 #> 5 Agnostic $40-50k 76 #> 6 Agnostic $50-75k 137 #> 7 Agnostic $75-100k 122 #> 8 Agnostic $100-150k 109 #> 9 Agnostic >150k 84 #> 10 Agnostic Don't know/refused 96 #> # … with 170 more rows

pivot_longer() लिए तर्क

पहला तर्क, कर्नल , वर्णन करता है कि किस कॉलम को विलय करना है। इस मामले में, समय को छोड़कर सभी कॉलम।
वो नाम_तो तर्क उस चर का नाम देता है जो हमारे द्वारा संयोजित किए गए स्तंभ नामों से बनाया जाएगा।
values_to वैरिएबल का नाम देता है, जो सम्मिलित किए गए स्तंभों के सेल मानों में संग्रहीत डेटा से बनाया जाएगा।

विनिर्देश

यह टिडियर पैकेज की नई कार्यक्षमता है, जो अप्रचलित कार्यों के साथ काम करते समय पहले अनुपलब्ध था।

विनिर्देश एक डेटा फ़्रेम है, जिसकी प्रत्येक पंक्ति एक नए आउटपुट दिनांक फ़्रेम में एक कॉलम से मेल खाती है, और दो विशेष कॉलम जो इसके साथ शुरू होते हैं:

.name में कॉलम का मूल नाम होता है।
.value में उस कॉलम का नाम होता है जिसमें सेल वैल्यू जाएगी।

विनिर्देश के शेष कॉलम यह दर्शाते हैं कि नए कॉलम में .name से संकुचित करने योग्य कॉलम का नाम कैसे प्रदर्शित किया जाएगा।

विनिर्देश कॉलम नाम में संग्रहीत मेटाडेटा का वर्णन करता है, प्रत्येक स्तंभ के लिए एक पंक्ति और स्तंभ नाम के साथ संयुक्त प्रत्येक चर के लिए एक कॉलम, शायद यह परिभाषा अब भ्रामक लगती है, लेकिन कुछ उदाहरणों पर विचार करने के बाद सब कुछ बहुत स्पष्ट हो जाएगा।

विनिर्देश का अर्थ यह है कि आप परिवर्तित डेटा फ़्रेम के लिए नए मेटाडेटा को पुनः प्राप्त, संशोधित और सेट कर सकते हैं।

pivot_longer_spec() फ़ंक्शन का pivot_longer_spec() विशिष्टताओं के साथ काम करने के लिए pivot_longer_spec() है, जब एक विस्तृत प्रारूप से तालिका को लंबे समय तक परिवर्तित pivot_longer_spec() है।

यह फ़ंक्शन कैसे काम करता है, यह किसी भी तारीख के फ्रेम को लेता है, और ऊपर वर्णित के अनुसार इसकी मेटाडेटा उत्पन्न करता है।

उदाहरण के लिए, आइए उन डेटासेट को लें जो कि tidyr पैकेज के साथ आते हैं। इस डेटासेट में अंतरराष्ट्रीय स्वास्थ्य संगठन द्वारा तपेदिक की घटनाओं के बारे में जानकारी दी गई है।

 who #> # A tibble: 7,240 x 60 #> country iso2 iso3 year new_sp_m014 new_sp_m1524 new_sp_m2534 #> <chr> <chr> <chr> <int> <int> <int> <int> #> 1 Afghan… AF AFG 1980 NA NA NA #> 2 Afghan… AF AFG 1981 NA NA NA #> 3 Afghan… AF AFG 1982 NA NA NA #> 4 Afghan… AF AFG 1983 NA NA NA #> 5 Afghan… AF AFG 1984 NA NA NA #> 6 Afghan… AF AFG 1985 NA NA NA #> 7 Afghan… AF AFG 1986 NA NA NA #> 8 Afghan… AF AFG 1987 NA NA NA #> 9 Afghan… AF AFG 1988 NA NA NA #> 10 Afghan… AF AFG 1989 NA NA NA #> # … with 7,230 more rows, and 53 more variables

हम इसके विनिर्देशन का निर्माण करते हैं।

 spec <- who %>% pivot_longer_spec(new_sp_m014:newrel_f65, values_to = "count")

 #> # A tibble: 56 x 3 #> .name .value name #> <chr> <chr> <chr> #> 1 new_sp_m014 count new_sp_m014 #> 2 new_sp_m1524 count new_sp_m1524 #> 3 new_sp_m2534 count new_sp_m2534 #> 4 new_sp_m3544 count new_sp_m3544 #> 5 new_sp_m4554 count new_sp_m4554 #> 6 new_sp_m5564 count new_sp_m5564 #> 7 new_sp_m65 count new_sp_m65 #> 8 new_sp_f014 count new_sp_f014 #> 9 new_sp_f1524 count new_sp_f1524 #> 10 new_sp_f2534 count new_sp_f2534 #> # … with 46 more rows

फ़ील्ड देश , iso2 , iso3 पहले से ही चर रहे हैं। हमारा कार्य कॉलम को new_sp_m014 से newrel_f65 पर फ्लिप करना है ।

इन स्तंभों के नाम निम्नलिखित जानकारी संग्रहीत करते हैं:

उपसर्ग new_ इंगित करता है कि स्तंभ में तपेदिक के नए मामलों पर डेटा शामिल है, वर्तमान तिथि फ़्रेम में केवल नए रोगों की जानकारी है, इसलिए वर्तमान संदर्भ में यह उपसर्ग कोई अर्थ नहीं रखता है।
sp / rel / sp / ep एक बीमारी के निदान के लिए एक विधि का वर्णन करता है।
रोगी का m / f लिंग।
रोगी की 014 आयु सीमा।

हम extract() फंक्शन को रेगुलर एक्सप्रेशन का उपयोग करके इन कॉलमों को अलग कर सकते हैं।

 spec <- spec %>% extract(name, c("diagnosis", "gender", "age"), "new_?(.*)_(.)(.*)")

 #> # A tibble: 56 x 5 #> .name .value diagnosis gender age #> <chr> <chr> <chr> <chr> <chr> #> 1 new_sp_m014 count sp m 014 #> 2 new_sp_m1524 count sp m 1524 #> 3 new_sp_m2534 count sp m 2534 #> 4 new_sp_m3544 count sp m 3544 #> 5 new_sp_m4554 count sp m 4554 #> 6 new_sp_m5564 count sp m 5564 #> 7 new_sp_m65 count sp m 65 #> 8 new_sp_f014 count sp f 014 #> 9 new_sp_f1524 count sp f 1524 #> 10 new_sp_f2534 count sp f 2534 #> # … with 46 more rows

ध्यान दें कि .name कॉलम अपरिवर्तित रहना चाहिए, क्योंकि यह स्रोत डेटासेट के कॉलम नामों में हमारा सूचकांक है।

लिंग और आयु ( लिंग और आयु स्तंभ) निश्चित और ज्ञात मूल्य हैं, इसलिए इन स्तंभों को कारकों में बदलने की सिफारिश की जाती है:

 spec <- spec %>% mutate( gender = factor(gender, levels = c("f", "m")), age = factor(age, levels = unique(age), ordered = TRUE) )

अंत में, हमने उस फ्रेम की मूल तिथि के लिए बनाए गए विनिर्देश को लागू करने के लिए, हमें pivot_longer() फ़ंक्शन में युक्ति तर्क का उपयोग करने की आवश्यकता है।

who %>% pivot_longer(spec = spec)

 #> # A tibble: 405,440 x 8 #> country iso2 iso3 year diagnosis gender age count #> <chr> <chr> <chr> <int> <chr> <fct> <ord> <int> #> 1 Afghanistan AF AFG 1980 sp m 014 NA #> 2 Afghanistan AF AFG 1980 sp m 1524 NA #> 3 Afghanistan AF AFG 1980 sp m 2534 NA #> 4 Afghanistan AF AFG 1980 sp m 3544 NA #> 5 Afghanistan AF AFG 1980 sp m 4554 NA #> 6 Afghanistan AF AFG 1980 sp m 5564 NA #> 7 Afghanistan AF AFG 1980 sp m 65 NA #> 8 Afghanistan AF AFG 1980 sp f 014 NA #> 9 Afghanistan AF AFG 1980 sp f 1524 NA #> 10 Afghanistan AF AFG 1980 sp f 2534 NA #> # … with 405,430 more rows

हमने जो कुछ भी किया, उसे योजनाबद्ध तरीके से निम्न प्रकार से दर्शाया जा सकता है:

कई मूल्यों (.value) का उपयोग करके विशिष्टता

उपरोक्त उदाहरण में, .value विनिर्देशन कॉलम में केवल एक मान होता है, ज्यादातर मामलों में ऐसा होता है।

लेकिन कभी-कभी एक स्थिति उत्पन्न हो सकती है जब आपको मूल्यों में विभिन्न डेटा प्रकारों के साथ कॉलम से डेटा एकत्र करने की आवश्यकता होती है। पदावनत spread() फ़ंक्शन का उपयोग करना, यह काफी मुश्किल होगा।

निम्न उदाहरण डेटानेटेबल पैकेज के लिए विगनेट से उधार लिया गया है।

चलो एक प्रशिक्षण डेटा फ्रेम बनाते हैं।

 family <- tibble::tribble( ~family, ~dob_child1, ~dob_child2, ~gender_child1, ~gender_child2, 1L, "1998-11-26", "2000-01-29", 1L, 2L, 2L, "1996-06-22", NA, 2L, NA, 3L, "2002-07-11", "2004-04-05", 2L, 2L, 4L, "2004-10-10", "2009-08-27", 1L, 1L, 5L, "2000-12-05", "2005-02-28", 2L, 1L, ) family <- family %>% mutate_at(vars(starts_with("dob")), parse_date)

 #> # A tibble: 5 x 5 #> family dob_child1 dob_child2 gender_child1 gender_child2 #> <int> <date> <date> <int> <int> #> 1 1 1998-11-26 2000-01-29 1 2 #> 2 2 1996-06-22 NA 2 NA #> 3 3 2002-07-11 2004-04-05 2 2 #> 4 4 2004-10-10 2009-08-27 1 1 #> 5 5 2000-12-05 2005-02-28 2 1

प्रत्येक पंक्ति में निर्मित दिनांक फ़्रेम में एक परिवार के बच्चों का डेटा होता है। परिवारों में एक या दो बच्चे हो सकते हैं। प्रत्येक बच्चे के लिए, जन्म की तारीख और लिंग का डेटा प्रदान किया जाता है, और प्रत्येक बच्चे का डेटा अलग कॉलम में होता है, हमारा काम इस डेटा को उस प्रारूप में लाना है जो विश्लेषण के लिए सही है।

कृपया ध्यान दें कि हमारे पास प्रत्येक बच्चे के बारे में जानकारी के साथ दो चर हैं: उसके लिंग और जन्म की तारीख (उपसर्ग के साथ कॉलम में जन्म की तारीख होती है, उपसर्ग लिंग वाले कॉलम में बच्चे का लिंग होता है)। अपेक्षित परिणाम में, उन्हें अलग कॉलम में जाना चाहिए। हम ऐसा विनिर्देशन उत्पन्न करके कर सकते हैं जिसमें .value कॉलम में दो अलग-अलग मान होंगे।

 spec <- family %>% pivot_longer_spec(-family) %>% separate(col = name, into = c(".value", "child"))%>% mutate(child = parse_number(child))

 #> # A tibble: 4 x 3 #> .name .value child #> <chr> <chr> <dbl> #> 1 dob_child1 dob 1 #> 2 dob_child2 dob 2 #> 3 gender_child1 gender 1 #> 4 gender_child2 gender 2

तो, उपरोक्त चरणों द्वारा निष्पादित चरणों के माध्यम से कदम उठाते हैं।

pivot_longer_spec(-family) - एक विनिर्देश बनाएँ जो पारिवारिक कॉलम को छोड़कर सभी उपलब्ध स्तंभों को संकुचित करता है।
separate(col = name, into = c(".value", "child")) - .name कॉलम को अलग करें, जिसमें स्रोत फ़ील्ड के नाम शामिल हैं, अंडरस्कोर और वैल्यू को .value और चाइल्ड कॉलम में डालें।
mutate(child = parse_number(child)) - टेक्स्ट से न्यूमेरिक डेटा टाइप करने के लिए चाइल्ड फील्ड के वैल्यूज को कन्वर्ट करें।

अब हम प्राप्त विनिर्देशन को प्रारंभिक डेटा फ्रेम में लागू कर सकते हैं, और तालिका को वांछित रूप में ला सकते हैं।

 family %>% pivot_longer(spec = spec, na.rm = T)

 #> # A tibble: 9 x 4 #> family child dob gender #> <int> <dbl> <date> <int> #> 1 1 1 1998-11-26 1 #> 2 1 2 2000-01-29 2 #> 3 2 1 1996-06-22 2 #> 4 3 1 2002-07-11 2 #> 5 3 2 2004-04-05 2 #> 6 4 1 2004-10-10 1 #> 7 4 2 2009-08-27 1 #> 8 5 1 2000-12-05 2 #> 9 5 2 2005-02-28 1

हम तर्क na.rm = TRUE उपयोग करते हैं, क्योंकि वर्तमान डेटा फ़ॉर्म हमें बिना किसी अवलोकनों के अतिरिक्त पंक्तियाँ बनाने के लिए बाध्य करता है। क्योंकि परिवार 2 का केवल एक बच्चा है, na.rm = TRUE सुनिश्चित करता है कि परिवार 2 के आउटपुट में एक पंक्ति होगी।

लॉन्ग वाइड से वाइड फ्रेम्स को परिवर्तित करना

pivot_wider() - उलटा परिवर्तन है, और इसके विपरीत पंक्तियों की संख्या को कम करके फ़्रेम की तारीख में स्तंभों की संख्या बढ़ाता है।

इस प्रकार के परिवर्तन का उपयोग शायद ही कभी डेटा को साफ-सुथरा दिखने के लिए किया जाता है, हालाँकि, यह तकनीक प्रस्तुतियों में प्रयुक्त धुरी तालिकाओं को बनाने के लिए, या किसी अन्य उपकरण के साथ एकीकरण के लिए उपयोगी हो सकती है।

वास्तव में, फ़ंक्शन pivot_longer() और pivot_wider() सममित हैं, और वे विपरीत क्रिया करते हैं, अर्थात: df %>% pivot_longer(spec = spec) %>% pivot_wider(spec = spec) और df %>% pivot_wider(spec = spec) %>% pivot_longer(spec = spec) मूल df लौटाएगा।

एक विस्तृत प्रारूप में एक तालिका कास्टिंग का सबसे सरल उदाहरण

pivot_wider() फ़ंक्शन के संचालन को प्रदर्शित करने के लिए, हम fish_encounters डेटासेट का उपयोग करेंगे, जो इस बात की जानकारी संग्रहीत करता है कि नदी के किनारे विभिन्न स्टेशन मछली के आवागमन को कैसे रिकॉर्ड करते हैं।

 #> # A tibble: 114 x 3 #> fish station seen #> <fct> <fct> <int> #> 1 4842 Release 1 #> 2 4842 I80_1 1 #> 3 4842 Lisbon 1 #> 4 4842 Rstr 1 #> 5 4842 Base_TD 1 #> 6 4842 BCE 1 #> 7 4842 BCW 1 #> 8 4842 BCE2 1 #> 9 4842 BCW2 1 #> 10 4842 MAE 1 #> # … with 104 more rows

ज्यादातर मामलों में, यह तालिका अधिक जानकारीपूर्ण और उपयोग करने के लिए सुविधाजनक होगी यदि आप प्रत्येक स्टेशन के लिए एक अलग कॉलम में जानकारी प्रदान करते हैं।

fish_encounters %>% pivot_wider(names_from = station, values_from = seen)

 fish_encounters %>% pivot_wider(names_from = station, values_from = seen) #> # A tibble: 19 x 12 #> fish Release I80_1 Lisbon Rstr Base_TD BCE BCW BCE2 BCW2 MAE #> <fct> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int> #> 1 4842 1 1 1 1 1 1 1 1 1 1 #> 2 4843 1 1 1 1 1 1 1 1 1 1 #> 3 4844 1 1 1 1 1 1 1 1 1 1 #> 4 4845 1 1 1 1 1 NA NA NA NA NA #> 5 4847 1 1 1 NA NA NA NA NA NA NA #> 6 4848 1 1 1 1 NA NA NA NA NA NA #> 7 4849 1 1 NA NA NA NA NA NA NA NA #> 8 4850 1 1 NA 1 1 1 1 NA NA NA #> 9 4851 1 1 NA NA NA NA NA NA NA NA #> 10 4854 1 1 NA NA NA NA NA NA NA NA #> # … with 9 more rows, and 1 more variable: MAW <int>

यह डेटा केवल उस जानकारी को रिकॉर्ड करता है जब मछली को स्टेशन द्वारा पता लगाया गया था, अर्थात। यदि कोई मछली किसी स्टेशन से तय नहीं की गई थी, तो यह डेटा तालिका में नहीं होगा। इसका मतलब है कि आउटपुट एनए द्वारा आबादी जाएगा।

हालाँकि, इस मामले में, हम जानते हैं कि रिकॉर्ड की अनुपस्थिति का अर्थ है कि मछली पर ध्यान नहीं दिया गया था, इसलिए हम pivot_wider() फ़ंक्शन में मानों_फिल तर्क का उपयोग कर सकते हैं और इन लापता मानों को शून्य से भर सकते हैं:

 fish_encounters %>% pivot_wider( names_from = station, values_from = seen, values_fill = list(seen = 0) )

 #> # A tibble: 19 x 12 #> fish Release I80_1 Lisbon Rstr Base_TD BCE BCW BCE2 BCW2 MAE #> <fct> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int> #> 1 4842 1 1 1 1 1 1 1 1 1 1 #> 2 4843 1 1 1 1 1 1 1 1 1 1 #> 3 4844 1 1 1 1 1 1 1 1 1 1 #> 4 4845 1 1 1 1 1 0 0 0 0 0 #> 5 4847 1 1 1 0 0 0 0 0 0 0 #> 6 4848 1 1 1 1 0 0 0 0 0 0 #> 7 4849 1 1 0 0 0 0 0 0 0 0 #> 8 4850 1 1 0 1 1 1 1 0 0 0 #> 9 4851 1 1 0 0 0 0 0 0 0 0 #> 10 4854 1 1 0 0 0 0 0 0 0 0 #> # … with 9 more rows, and 1 more variable: MAW <int>

एकाधिक स्रोत चर से स्तंभ नाम बनाना

कल्पना कीजिए कि हमारे पास उत्पाद, देश और वर्ष के संयोजन वाली एक तालिका है। एक परीक्षण फ्रेम तिथि उत्पन्न करने के लिए, आप निम्नलिखित कोड चला सकते हैं:

 df <- expand_grid( product = c("A", "B"), country = c("AI", "EI"), year = 2000:2014 ) %>% filter((product == "A" & country == "AI") | product == "B") %>% mutate(value = rnorm(nrow(.)))

 #> # A tibble: 45 x 4 #> product country year value #> <chr> <chr> <int> <dbl> #> 1 A AI 2000 -2.05 #> 2 A AI 2001 -0.676 #> 3 A AI 2002 1.60 #> 4 A AI 2003 -0.353 #> 5 A AI 2004 -0.00530 #> 6 A AI 2005 0.442 #> 7 A AI 2006 -0.610 #> 8 A AI 2007 -2.77 #> 9 A AI 2008 0.899 #> 10 A AI 2009 -0.106 #> # … with 35 more rows

हमारा कार्य दिनांक फ़्रेम का विस्तार करना है ताकि एक कॉलम में उत्पाद और देश के प्रत्येक संयोजन के लिए डेटा शामिल हो। ऐसा करने के लिए, बस वेक्टर को पास करें जिसमें फ़ील्ड्स के नाम name_from तर्क में शामिल हों।

 df %>% pivot_wider(names_from = c(product, country), values_from = "value")

 #> # A tibble: 15 x 4 #> year A_AI B_AI B_EI #> <int> <dbl> <dbl> <dbl> #> 1 2000 -2.05 0.607 1.20 #> 2 2001 -0.676 1.65 -0.114 #> 3 2002 1.60 -0.0245 0.501 #> 4 2003 -0.353 1.30 -0.459 #> 5 2004 -0.00530 0.921 -0.0589 #> 6 2005 0.442 -1.55 0.594 #> 7 2006 -0.610 0.380 -1.28 #> 8 2007 -2.77 0.830 0.637 #> 9 2008 0.899 0.0175 -1.30 #> 10 2009 -0.106 -0.195 1.03 #> # … with 5 more rows

आप pivot_wider() फ़ंक्शन के लिए विनिर्देश भी लागू कर सकते हैं। लेकिन जब pivot_wider() को आपूर्ति की जाती है pivot_wider() विनिर्देश pivot_wider() के विपरीत होता है: pivot_longer() में निर्दिष्ट कॉलम pivot_longer() और अन्य कॉलम के मानों का उपयोग करके बनाए जाते हैं।

इस डेटा सेट के लिए, आप एक उपयोगकर्ता विनिर्देश उत्पन्न कर सकते हैं यदि आप देश और उत्पाद के प्रत्येक संभावित संयोजन का अपना कॉलम चाहते हैं, और न केवल उन डेटा में मौजूद हैं:

 spec <- df %>% expand(product, country, .value = "value") %>% unite(".name", product, country, remove = FALSE)

 #> # A tibble: 4 x 4 #> .name product country .value #> <chr> <chr> <chr> <chr> #> 1 A_AI A AI value #> 2 A_EI A EI value #> 3 B_AI B AI value #> 4 B_EI B EI value

 df %>% pivot_wider(spec = spec) %>% head()

 #> # A tibble: 6 x 5 #> year A_AI A_EI B_AI B_EI #> <int> <dbl> <dbl> <dbl> <dbl> #> 1 2000 -2.05 NA 0.607 1.20 #> 2 2001 -0.676 NA 1.65 -0.114 #> 3 2002 1.60 NA -0.0245 0.501 #> 4 2003 -0.353 NA 1.30 -0.459 #> 5 2004 -0.00530 NA 0.921 -0.0589 #> 6 2005 0.442 NA -1.55 0.594

नई tidyr अवधारणा के साथ काम करने के कुछ उन्नत उदाहरण

उदाहरण के रूप में अमेरिकी राजस्व और किराये की जनगणना डेटासेट का उपयोग करके एक साफ उपस्थिति के लिए डेटा लाना

Us_rent_income डेटासेट में यूएसए में 2017 के लिए प्रत्येक राज्य की औसत आय और किराए के बारे में जानकारी होती है (डेटासेट tidycanim पैकेज में उपलब्ध है)।

 us_rent_income #> # A tibble: 104 x 5 #> GEOID NAME variable estimate moe #> <chr> <chr> <chr> <dbl> <dbl> #> 1 01 Alabama income 24476 136 #> 2 01 Alabama rent 747 3 #> 3 02 Alaska income 32940 508 #> 4 02 Alaska rent 1200 13 #> 5 04 Arizona income 27517 148 #> 6 04 Arizona rent 972 4 #> 7 05 Arkansas income 23789 165 #> 8 05 Arkansas rent 709 5 #> 9 06 California income 29454 109 #> 10 06 California rent 1358 3 #> # … with 94 more rows

जिस रूप में डेटा us_rent_income डेटासेट में संग्रहीत किया जाता है, उसके साथ काम करना अत्यंत असुविधाजनक है, इसलिए हम स्तंभों के साथ एक डेटा सेट बनाना चाहेंगे: किराया , rent_moe , आओ , income_moe । इस विनिर्देश को बनाने के कई तरीके हैं, लेकिन मुख्य बात यह है कि हमें चर मूल्यों और अनुमान / मो के प्रत्येक संयोजन को उत्पन्न करने की आवश्यकता है, और फिर स्तंभ नाम उत्पन्न करें।

  spec <- us_rent_income %>% expand(variable, .value = c("estimate", "moe")) %>% mutate( .name = paste0(variable, ifelse(.value == "moe", "_moe", "")) )

 #> # A tibble: 4 x 3 #> variable .value .name #> <chr> <chr> <chr> #> 1 income estimate income #> 2 income moe income_moe #> 3 rent estimate rent #> 4 rent moe rent_moe

pivot_wider() को यह विनिर्देश प्रदान करना हमें वह परिणाम देता है जिसकी हम तलाश कर रहे हैं:

us_rent_income %>% pivot_wider(spec = spec)

 #> # A tibble: 52 x 6 #> GEOID NAME income income_moe rent rent_moe #> <chr> <chr> <dbl> <dbl> <dbl> <dbl> #> 1 01 Alabama 24476 136 747 3 #> 2 02 Alaska 32940 508 1200 13 #> 3 04 Arizona 27517 148 972 4 #> 4 05 Arkansas 23789 165 709 5 #> 5 06 California 29454 109 1358 3 #> 6 08 Colorado 32401 109 1125 5 #> 7 09 Connecticut 35326 195 1123 5 #> 8 10 Delaware 31560 247 1076 10 #> 9 11 District of Columbia 43198 681 1424 17 #> 10 12 Florida 25952 70 1077 3 #> # … with 42 more rows

विश्व बैंक

कभी-कभी डेटा सेट को सही रूप में लाने के लिए कई चरणों की आवश्यकता होती है।
World_bank_pop डेटासेट में 2000 से 2018 तक प्रत्येक देश की जनसंख्या पर विश्व बैंक के डेटा शामिल हैं।

 #> # A tibble: 1,056 x 20 #> country indicator `2000` `2001` `2002` `2003` `2004` `2005` `2006` #> <chr> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> #> 1 ABW SP.URB.T… 4.24e4 4.30e4 4.37e4 4.42e4 4.47e+4 4.49e+4 4.49e+4 #> 2 ABW SP.URB.G… 1.18e0 1.41e0 1.43e0 1.31e0 9.51e-1 4.91e-1 -1.78e-2 #> 3 ABW SP.POP.T… 9.09e4 9.29e4 9.50e4 9.70e4 9.87e+4 1.00e+5 1.01e+5 #> 4 ABW SP.POP.G… 2.06e0 2.23e0 2.23e0 2.11e0 1.76e+0 1.30e+0 7.98e-1 #> 5 AFG SP.URB.T… 4.44e6 4.65e6 4.89e6 5.16e6 5.43e+6 5.69e+6 5.93e+6 #> 6 AFG SP.URB.G… 3.91e0 4.66e0 5.13e0 5.23e0 5.12e+0 4.77e+0 4.12e+0 #> 7 AFG SP.POP.T… 2.01e7 2.10e7 2.20e7 2.31e7 2.41e+7 2.51e+7 2.59e+7 #> 8 AFG SP.POP.G… 3.49e0 4.25e0 4.72e0 4.82e0 4.47e+0 3.87e+0 3.23e+0 #> 9 AGO SP.URB.T… 8.23e6 8.71e6 9.22e6 9.77e6 1.03e+7 1.09e+7 1.15e+7 #> 10 AGO SP.URB.G… 5.44e0 5.59e0 5.70e0 5.76e0 5.75e+0 5.69e+0 4.92e+0 #> # … with 1,046 more rows, and 11 more variables: `2007` <dbl>, #> # `2008` <dbl>, `2009` <dbl>, `2010` <dbl>, `2011` <dbl>, `2012` <dbl>, #> # `2013` <dbl>, `2014` <dbl>, `2015` <dbl>, `2016` <dbl>, `2017` <dbl>

हमारा लक्ष्य एक साफ सुथरा डेटासेट बनाना है जहां प्रत्येक चर एक अलग कॉलम में है। यह अभी तक स्पष्ट नहीं है कि कौन से कदम आवश्यक हैं, लेकिन हम सबसे स्पष्ट समस्या से शुरू करेंगे: वर्ष को कई स्तंभों में वितरित किया गया है।

इसे ठीक करने के लिए, आपको pivot_longer() फ़ंक्शन का उपयोग करना होगा।

 pop2 <- world_bank_pop %>% pivot_longer(`2000`:`2017`, names_to = "year")

 #> # A tibble: 19,008 x 4 #> country indicator year value #> <chr> <chr> <chr> <dbl> #> 1 ABW SP.URB.TOTL 2000 42444 #> 2 ABW SP.URB.TOTL 2001 43048 #> 3 ABW SP.URB.TOTL 2002 43670 #> 4 ABW SP.URB.TOTL 2003 44246 #> 5 ABW SP.URB.TOTL 2004 44669 #> 6 ABW SP.URB.TOTL 2005 44889 #> 7 ABW SP.URB.TOTL 2006 44881 #> 8 ABW SP.URB.TOTL 2007 44686 #> 9 ABW SP.URB.TOTL 2008 44375 #> 10 ABW SP.URB.TOTL 2009 44052 #> # … with 18,998 more rows

— indicator.
pop2 %>% count(indicator)

 #> # A tibble: 4 x 2 #> indicator n #> <chr> <int> #> 1 SP.POP.GROW 4752 #> 2 SP.POP.TOTL 4752 #> 3 SP.URB.GROW 4752 #> 4 SP.URB.TOTL 4752

SP.POP.GROW — , SP.POP.TOTL — , SP.URB. * , . : area — (total urban) (population growth):

 pop3 <- pop2 %>% separate(indicator, c(NA, "area", "variable"))

 #> # A tibble: 19,008 x 5 #> country area variable year value #> <chr> <chr> <chr> <chr> <dbl> #> 1 ABW URB TOTL 2000 42444 #> 2 ABW URB TOTL 2001 43048 #> 3 ABW URB TOTL 2002 43670 #> 4 ABW URB TOTL 2003 44246 #> 5 ABW URB TOTL 2004 44669 #> 6 ABW URB TOTL 2005 44889 #> 7 ABW URB TOTL 2006 44881 #> 8 ABW URB TOTL 2007 44686 #> 9 ABW URB TOTL 2008 44375 #> 10 ABW URB TOTL 2009 44052 #> # … with 18,998 more rows

variable :

 pop3 %>% pivot_wider(names_from = variable, values_from = value)

 #> # A tibble: 9,504 x 5 #> country area year TOTL GROW #> <chr> <chr> <chr> <dbl> <dbl> #> 1 ABW URB 2000 42444 1.18 #> 2 ABW URB 2001 43048 1.41 #> 3 ABW URB 2002 43670 1.43 #> 4 ABW URB 2003 44246 1.31 #> 5 ABW URB 2004 44669 0.951 #> 6 ABW URB 2005 44889 0.491 #> 7 ABW URB 2006 44881 -0.0178 #> 8 ABW URB 2007 44686 -0.435 #> 9 ABW URB 2008 44375 -0.698 #> 10 ABW URB 2009 44052 -0.731 #> # … with 9,494 more rows

, , , -:

 contacts <- tribble( ~field, ~value, "name", "Jiena McLellan", "company", "Toyota", "name", "John Smith", "company", "google", "email", "john@google.com", "name", "Huxley Ratcliffe" )

, , , . , , ("name"), , , field “name”:

 contacts <- contacts %>% mutate( person_id = cumsum(field == "name") ) contacts

 #> # A tibble: 6 x 3 #> field value person_id #> <chr> <chr> <int> #> 1 name Jiena McLellan 1 #> 2 company Toyota 1 #> 3 name John Smith 2 #> 4 company google 2 #> 5 email john@google.com 2 #> 6 name Huxley Ratcliffe 3

, , :

 contacts %>% pivot_wider(names_from = field, values_from = value)

 #> # A tibble: 3 x 4 #> person_id name company email #> <int> <chr> <chr> <chr> #> 1 1 Jiena McLellan Toyota <NA> #> 2 2 John Smith google john@google.com #> 3 3 Huxley Ratcliffe <NA> <NA>

निष्कर्ष

, tidyr , spread() gather() . pivot_longer() pivot_wider() .

Tidyr पैकेज और उसके नए pivot_longer और pivot_wider फ़ंक्शंस