🛣️ 👩‍🎨 👨🏻‍💼 आर में श्रेणीबद्ध डेटा की श्रेणीबद्ध क्लस्टरिंग 🤛🏽 🧑🏼‍🤝‍🧑🏻 🔭

अनुवाद "आर पर लागू विश्लेषिकी" पाठ्यक्रम के छात्रों के लिए तैयार किया गया था।

वास्तविक डेटा के आधार पर ग्राहकों को क्लस्टर करने का यह मेरा पहला प्रयास था, और इसने मुझे मूल्यवान अनुभव दिया। संख्यात्मक चर का उपयोग करके क्लस्टरिंग के बारे में इंटरनेट पर कई लेख हैं, लेकिन श्रेणीबद्ध डेटा के लिए समाधान खोजना, जो कुछ हद तक अधिक कठिन है, इतना सरल नहीं था। श्रेणीबद्ध डेटा के लिए क्लस्टरिंग विधियां अभी भी विकास के अधीन हैं, और एक अन्य पोस्ट में मैं एक और एक कोशिश करने जा रहा हूं।

दूसरी ओर, बहुत से लोग सोचते हैं कि श्रेणीबद्ध डेटा का क्लस्टरिंग सार्थक परिणाम नहीं दे सकता है - और यह आंशिक रूप से सच है ( क्रॉसविलेक्टेड पर उत्कृष्ट चर्चा देखें)। एक बिंदु पर, मैंने सोचा: “मैं क्या कर रहा हूँ? उन्हें बस सहकर्मियों में विभाजित किया जा सकता है। ” हालांकि, कोहर्ट विश्लेषण हमेशा सलाह देने योग्य नहीं होता है, विशेष रूप से बड़ी संख्या में स्तरों के साथ श्रेणीबद्ध चर की एक महत्वपूर्ण संख्या के साथ: आप आसानी से 5-7 कोहर्ट्स के साथ सौदा कर सकते हैं, लेकिन अगर आपके पास 22 चर हैं और प्रत्येक में 5 स्तर हैं (उदाहरण के लिए, असतत अनुमानों के साथ एक ग्राहक सर्वेक्षण 1 , 2, 3, 4 और 5), और आपको यह समझने की आवश्यकता है कि आप जिन ग्राहकों के साथ काम कर रहे हैं, उनके कौन से विशिष्ट समूह हैं - आपको 22x5 कॉहोर्ट्स मिलेंगे। ऐसे कार्य से कोई परेशान नहीं होना चाहता। और यहाँ क्लस्टरिंग मदद कर सकता है। इसलिए इस पोस्ट में मैं यह जानना चाहूंगा कि जैसे ही मैंने क्लस्टरिंग शुरू की, मैं खुद क्या जानना चाहूंगा।

क्लस्टरिंग प्रक्रिया में तीन चरण होते हैं:

असमानता का एक मैट्रिक्स का निर्माण निस्संदेह क्लस्टरिंग में सबसे महत्वपूर्ण निर्णय है। बाद के सभी चरण आपके द्वारा बनाए गए असमानता मैट्रिक्स पर आधारित होंगे।
क्लस्टरिंग विधि का विकल्प।
क्लस्टर मूल्यांकन।

यह पोस्ट एक तरह का परिचय होगा जो क्लस्टरिंग के बुनियादी सिद्धांतों और पर्यावरण में इसके कार्यान्वयन का वर्णन करता है आर।

डिसमिलरिटी मैट्रिक्स

क्लस्टरिंग का आधार डिसिमिलरिटी मैट्रिक्स होगा, जो गणितीय शब्दों में बताता है कि डेटा सेट में बिंदु एक-दूसरे से कितने अलग हैं (हटाए गए)। यह आपको उन समूहों में आगे गठबंधन करने की अनुमति देता है जो एक दूसरे के सबसे करीब हैं, या एक दूसरे से सबसे दूर को अलग करने के लिए - यह क्लस्टरिंग का मुख्य विचार है।

इस स्तर पर, डेटा प्रकारों के बीच अंतर महत्वपूर्ण हैं, क्योंकि असमानता मैट्रिक्स व्यक्तिगत डेटा बिंदुओं के बीच की दूरी पर आधारित है। संख्यात्मक डेटा के बिंदुओं के बीच की दूरी की कल्पना करना आसान है (एक प्रसिद्ध उदाहरण यूक्लिडियन दूरियां हैं ), लेकिन श्रेणीबद्ध डेटा (आर में कारक) के मामले में, सब कुछ इतना स्पष्ट नहीं है।

इस मामले में एक असमानता मैट्रिक्स का निर्माण करने के लिए, तथाकथित शासन दूरी का उपयोग किया जाना चाहिए। मैं इस अवधारणा के गणितीय भाग में नहीं उतरूंगा, मैं बस लिंक प्रदान करूंगा: यहां और वहां । इसके लिए, मैं cluster पैकेज से metric = c("gower") साथ daisy() का उपयोग करना पसंद करता हूं।

 #-----   -----# #    ,       ,     ,   ,    library(dplyr) #     set.seed(40) #     #    ;   data.frame()     #    ,   200   1  200 id.s <- c(1:200) %>% factor() budget.s <- sample(c("small", "med", "large"), 200, replace = T) %>% factor(levels=c("small", "med", "large"), ordered = TRUE) origins.s <- sample(c("x", "y", "z"), 200, replace = T, prob = c(0.7, 0.15, 0.15)) area.s <- sample(c("area1", "area2", "area3", "area4"), 200, replace = T, prob = c(0.3, 0.1, 0.5, 0.2)) source.s <- sample(c("facebook", "email", "link", "app"), 200, replace = T, prob = c(0.1,0.2, 0.3, 0.4)) ##   —      dow.s <- sample(c("mon", "tue", "wed", "thu", "fri", "sat", "sun"), 200, replace = T, prob = c(0.1, 0.1, 0.2, 0.2, 0.1, 0.1, 0.2)) %>% factor(levels=c("mon", "tue", "wed", "thu", "fri", "sat", "sun"), ordered = TRUE) #  dish.s <- sample(c("delicious", "the one you don't like", "pizza"), 200, replace = T) #   data.frame()      synthetic.customers <- data.frame(id.s, budget.s, origins.s, area.s, source.s, dow.s, dish.s) #-----   -----# library(cluster) #       #   : daisy(), diana(), clusplot() gower.dist <- daisy(synthetic.customers[ ,2:7], metric = c("gower")) # class(gower.dist) ## ,

असमानता मैट्रिक्स तैयार है। 200 टिप्पणियों के लिए, यह जल्दी से बनाया गया है, लेकिन यदि आप एक बड़े डेटा सेट के साथ काम कर रहे हैं तो बहुत बड़ी मात्रा में गणना की आवश्यकता हो सकती है।

व्यवहार में, यह बहुत संभावना है कि आपको पहले डेटा सेट को साफ करना होगा, पंक्तियों से कारकों में आवश्यक परिवर्तन करना होगा और लापता मूल्यों को ट्रैक करना होगा। मेरे मामले में, डेटा सेट में लापता मानों की पंक्तियाँ भी थीं जो हर बार खूबसूरती से गुच्छित होती थीं, इसलिए ऐसा लगता था कि यह एक खजाना था - जब तक मैं मूल्यों (अलस!) को नहीं देखता।

क्लस्टरिंग एल्गोरिदम

आप पहले से ही जान सकते हैं कि क्लस्टरिंग k- साधन और श्रेणीबद्ध है । इस पोस्ट में, मैं दूसरी विधि पर ध्यान केंद्रित करता हूं, क्योंकि यह अधिक लचीला है और विभिन्न दृष्टिकोणों की अनुमति देता है: आप या तो एग्लोमेरेटिव (नीचे से ऊपर तक) या मंडल (ऊपर से नीचे) क्लस्टरिंग एल्गोरिदम चुन सकते हैं।

स्रोत: यूसी बिजनेस एनालिटिक्स आर प्रोग्रामिंग गाइड

एग्लोमेरेटिव क्लस्टरिंग n क्लस्टर्स के साथ शुरू होता है, जहां n टिप्पणियों की संख्या है: यह माना जाता है कि उनमें से प्रत्येक एक अलग क्लस्टर है। तब एल्गोरिथ्म आपस में सबसे समान डेटा बिंदुओं को खोजने और समूह बनाने की कोशिश करता है - यह है कि क्लस्टर गठन कैसे शुरू होता है।

विभागीय क्लस्टरिंग को विपरीत तरीके से किया जाता है - यह शुरू में माना जाता है कि सभी n डेटा बिंदु जो हमारे पास एक बड़े क्लस्टर हैं, और फिर कम से कम समान समानों को अलग-अलग समूहों में विभाजित किया गया है।

इनमें से कौन सा तरीका चुनना है, यह हमेशा सभी विकल्पों को आज़माने के लिए समझ में आता है, हालांकि, सामान्य तौर पर, छोटे समूहों की पहचान के लिए एग्लोमेरेटिव क्लस्टरिंग बेहतर है और इसका उपयोग अधिकांश कंप्यूटर प्रोग्रामों द्वारा किया जाता है, और बड़े क्लस्टर की पहचान के लिए डिवीजनल क्लस्टरिंग अधिक उपयुक्त है ।

व्यक्तिगत रूप से, किस विधि का उपयोग करने का निर्णय लेने से पहले, मैं dendrograms को देखना पसंद करता हूं - क्लस्टरिंग का चित्रमय प्रतिनिधित्व। जैसा कि आप बाद में देखेंगे, कुछ डेंड्रोग्राम अच्छी तरह से संतुलित हैं, जबकि अन्य बहुत अराजक हैं।

# नीचे दिए गए कोड के लिए मुख्य इनपुट असमानता (दूरी मैट्रिक्स) है

 #             #            —         —    #------------  ------------# divisive.clust <- diana(as.matrix(gower.dist), diss = TRUE, keep.diss = TRUE) plot(divisive.clust, main = "Divisive")

 #------------   ------------# #      #         —     ,      #    (complete linkages) aggl.clust.c <- hclust(gower.dist, method = "complete") plot(aggl.clust.c, main = "Agglomerative, complete linkages")

क्लस्टरिंग गुणवत्ता मूल्यांकन

इस स्तर पर, विभिन्न क्लस्टरिंग एल्गोरिदम और क्लस्टर की एक अलग संख्या के बीच चयन करना आवश्यक है। आप सामान्य ज्ञान द्वारा निर्देशित होने के लिए न भूलें, मूल्यांकन के विभिन्न तरीकों का उपयोग कर सकते हैं। मैंने इन शब्दों को बोल्ड और इटैलिक में हाइलाइट किया, क्योंकि चुनाव की सार्थकता बहुत महत्वपूर्ण है - समूहों की संख्या और समूहों में डेटा को विभाजित करने का तरीका व्यावहारिक दृष्टिकोण से व्यावहारिक होना चाहिए। श्रेणीगत चर के मूल्यों के संयोजन की संख्या परिमित है (क्योंकि वे असतत हैं), लेकिन उन पर आधारित कोई भी टूटना सार्थक नहीं होगा। आप बहुत कम समूह भी नहीं रखना चाह सकते हैं - इस मामले में वे बहुत सामान्यीकृत होंगे। अंत में, यह सब आपके लक्ष्य और विश्लेषण के कार्यों पर निर्भर करता है।

सामान्य तौर पर, जब क्लस्टर बनाते हैं, तो आप डेटा बिंदुओं के स्पष्ट रूप से परिभाषित समूहों को प्राप्त करने में रुचि रखते हैं, ताकि क्लस्टर ( या कॉम्पैक्टनेस ) के भीतर ऐसे बिंदुओं के बीच की दूरी कम से कम हो, और समूहों ( विभाज्यता ) के बीच की दूरी अधिकतम संभव हो। यह सहज रूप से समझना आसान है: बिंदुओं के बीच की दूरी उनकी असमानता का एक माप है, जो कि डिसिमिलर मैट्रिक्स के आधार पर प्राप्त की जाती है। इस प्रकार, क्लस्टरिंग की गुणवत्ता का आकलन कॉम्पैक्टनेस और पृथक्करण के मूल्यांकन पर आधारित है।

आगे, मैं दो दृष्टिकोणों का प्रदर्शन करूँगा और दिखाऊंगा कि उनमें से एक अर्थहीन परिणाम दे सकता है।

कोहनी विधि : इसके साथ शुरू करें यदि आपके विश्लेषण का सबसे महत्वपूर्ण कारक समूहों की कॉम्पैक्टनेस है, अर्थात समूहों के भीतर समानता।
सिल्हूट्स आकलन विधि : डेटा संगति के माप के रूप में प्रयुक्त सिल्हूट ग्राफ दिखाता है कि एक क्लस्टर के भीतर प्रत्येक बिंदु पास के समूहों में बिंदुओं के कितने करीब है।

व्यवहार में, ये दो विधियां अक्सर अलग-अलग परिणाम देती हैं, जिससे कुछ भ्रम हो सकता है - अधिकतम कॉम्पैक्टनेस और स्पष्ट पृथक्करण अलग-अलग संख्या के समूहों के साथ प्राप्त किया जाएगा, ताकि आपके डेटा का वास्तव में सामान्य अर्थ और समझ में महत्वपूर्ण भूमिका हो। अंतिम निर्णय लेते समय।

कई मैट्रिक्स भी हैं जिनका आप विश्लेषण कर सकते हैं। मैं उन्हें सीधे कोड में जोड़ दूंगा।

 #      ,        #      ,     ,   —   #     ,      ,         ,   ,     library(fpc) cstats.table <- function(dist, tree, k) { clust.assess <- c("cluster.number","n","within.cluster.ss","average.within","average.between", "wb.ratio","dunn2","avg.silwidth") clust.size <- c("cluster.size") stats.names <- c() row.clust <- c() output.stats <- matrix(ncol = k, nrow = length(clust.assess)) cluster.sizes <- matrix(ncol = k, nrow = k) for(i in c(1:k)){ row.clust[i] <- paste("Cluster-", i, " size") } for(i in c(2:k)){ stats.names[i] <- paste("Test", i-1) for(j in seq_along(clust.assess)){ output.stats[j, i] <- unlist(cluster.stats(d = dist, clustering = cutree(tree, k = i))[clust.assess])[j] } for(d in 1:k) { cluster.sizes[d, i] <- unlist(cluster.stats(d = dist, clustering = cutree(tree, k = i))[clust.size])[d] dim(cluster.sizes[d, i]) <- c(length(cluster.sizes[i]), 1) cluster.sizes[d, i] } } output.stats.df <- data.frame(output.stats) cluster.sizes <- data.frame(cluster.sizes) cluster.sizes[is.na(cluster.sizes)] <- 0 rows.all <- c(clust.assess, row.clust) # rownames(output.stats.df) <- clust.assess output <- rbind(output.stats.df, cluster.sizes)[ ,-1] colnames(output) <- stats.names[2:k] rownames(output) <- rows.all is.num <- sapply(output, is.numeric) output[is.num] <- lapply(output[is.num], round, 2) output } #     :      7 #     ,            stats.df.divisive <- cstats.table(gower.dist, divisive.clust, 7) stats.df.divisive

तो, औसत.विथिन इंडिकेटर, जो क्लस्टर के भीतर टिप्पणियों के बीच की औसत दूरी का प्रतिनिधित्व करता है, घटता है, जैसा कि भीतर होता है। क्लस्टर (टॉस में टिप्पणियों के बीच की दूरी का योग)। सिल्हूट (avg.silwidth) की औसत चौड़ाई इतनी स्पष्ट रूप से नहीं बदलती है, हालांकि, एक उलटा संबंध अभी भी देखा जा सकता है।
ध्यान दें कि क्लस्टर आकार कितने विषम हैं। मैं समूहों के भीतर अतुलनीय टिप्पणियों के साथ काम करने में जल्दबाजी नहीं करूंगा। कारणों में से एक यह है कि डेटा सेट असंतुलित हो सकता है, और टिप्पणियों के कुछ समूह विश्लेषण में अन्य सभी को पछाड़ देंगे - यह अच्छा नहीं है और सबसे अधिक त्रुटियों की संभावना होगी।

stats.df.aggl <-cstats.table(gower.dist, aggl.clust.c, 7) #

stats.df.aggl

ध्यान दें कि पूर्ण संचार विधि के आधार पर प्रति समूह टिप्पणियों का समूह एग्लोमेरेटिव पदानुक्रमित द्वारा कितना बेहतर है।

 # ---------    ---------# #   «»       #    ,     7  library(ggplot2) #  #   ggplot(data = data.frame(t(cstats.table(gower.dist, divisive.clust, 15))), aes(x=cluster.number, y=within.cluster.ss)) + geom_point()+ geom_line()+ ggtitle("Divisive clustering") + labs(x = "Num.of clusters", y = "Within clusters sum of squares (SS)") + theme(plot.title = element_text(hjust = 0.5))

तो, हमने "कोहनी" का एक ग्राफ बनाया है। यह दर्शाता है कि अवलोकनों के बीच चौकोर दूरियों का योग कैसे होता है (हम इसका उपयोग अवलोकनों की निकटता के माप के रूप में करते हैं - यह जितना छोटा होता है, क्लस्टर के अंदर के माप एक-दूसरे के उतने ही भिन्न होते हैं) क्लस्टर की एक अलग संख्या के लिए भिन्न होते हैं। आदर्श रूप में, हमें उस बिंदु पर एक अलग "एल्बो बेंड" देखना चाहिए, जहां आगे क्लस्टरिंग से वर्गों (एसएस) के योग में थोड़ी कमी आती है। नीचे दिए गए ग्राफ़ के लिए, मैं लगभग 7. पर रुकूंगा। हालांकि इस मामले में क्लस्टर में से एक में केवल दो अवलोकन होंगे। आइए देखें कि एग्लोमेरेटिव क्लस्टरिंग के दौरान क्या होता है।

 #       ggplot(data = data.frame(t(cstats.table(gower.dist, aggl.clust.c, 15))), aes(x=cluster.number, y=within.cluster.ss)) + geom_point()+ geom_line()+ ggtitle("Agglomerative clustering") + labs(x = "Num.of clusters", y = "Within clusters sum of squares (SS)") + theme(plot.title = element_text(hjust = 0.5))

एग्लोमेरेटिव "कोहनी" विभाजन के समान है, लेकिन ग्राफ चिकना दिखता है - झुकता इतना स्पष्ट नहीं है। विभागीय क्लस्टरिंग के साथ, मैं 7 समूहों पर ध्यान केंद्रित करूंगा, हालांकि, इन दो तरीकों के बीच चयन करते समय, मुझे क्लस्टर आकार पसंद है जो एग्लोमेरेटिव विधि द्वारा अधिक प्राप्त होते हैं - यह बेहतर है कि वे एक दूसरे के साथ तुलनीय हों।

 #  ggplot(data = data.frame(t(cstats.table(gower.dist, divisive.clust, 15))), aes(x=cluster.number, y=avg.silwidth)) + geom_point()+ geom_line()+ ggtitle("Divisive clustering") + labs(x = "Num.of clusters", y = "Average silhouette width") + theme(plot.title = element_text(hjust = 0.5))

सिल्हूट अनुमान पद्धति का उपयोग करते समय, आपको उस राशि का चयन करना चाहिए जो अधिकतम सिल्हूट गुणांक देता है, क्योंकि आपको क्लस्टर की आवश्यकता होती है जो अलग-अलग माना जाता है।

सिल्हूट गुणांक -1 से 1 तक हो सकता है, साथ ही समूहों के भीतर अच्छी संगति के लिए 1, और -1 बहुत अच्छा होता है।
उपरोक्त चार्ट के मामले में, आप 5 समूहों के बजाय 9 का चयन करेंगे।

तुलना के लिए: "सरल" मामले में, सिल्हूट ग्राफ नीचे के समान है। हमारी तरह काफी नहीं है, लेकिन लगभग।

स्रोत: डेटा नाविक

 ggplot(data = data.frame(t(cstats.table(gower.dist, aggl.clust.c, 15))), aes(x=cluster.number, y=avg.silwidth)) + geom_point()+ geom_line()+ ggtitle("Agglomerative clustering") + labs(x = "Num.of clusters", y = "Average silhouette width") + theme(plot.title = element_text(hjust = 0.5))

सिल्हूट चौड़ाई चार्ट हमें बताता है: जितना अधिक आप डेटा सेट को विभाजित करते हैं, क्लस्टर्स बन जाते हैं। हालांकि, अंत में आप अलग-अलग बिंदुओं तक पहुंच जाएंगे, और आपको इसकी आवश्यकता नहीं है। हालाँकि, यह वही है जो आप देखेंगे यदि आप गुच्छों की संख्या को बढ़ाने के लिए शुरू करते हैं। उदाहरण के लिए, k=30 मुझे निम्नलिखित ग्राफ मिला है:

सारांशित करने के लिए: जितना अधिक आप डेटासेट विभाजित करते हैं, उतना बेहतर क्लस्टर, लेकिन हम व्यक्तिगत बिंदु तक नहीं पहुंच सकते हैं (उदाहरण के लिए, ऊपर दिए गए चार्ट में हमने 30 क्लस्टर चुने हैं, और हमारे पास केवल 200 डेटा पॉइंट हैं)।

इसलिए, हमारे मामले में एग्लोमेरेटिव क्लस्टरिंग मुझे बहुत अधिक संतुलित लगती है: क्लस्टर साइज कम या ज्यादा तुलनीय होते हैं (डिविजनल मेथड से विभाजित होने पर केवल दो अवलोकनों के क्लस्टर को देखते हैं!), और मैं इस विधि द्वारा प्राप्त 7 क्लस्टर पर रुक जाता हूं। आइए देखें कि वे कैसे दिखते हैं और वे किस चीज से बने हैं।

डेटा सेट में 6 वैरिएबल होते हैं जिन्हें 2 डी या 3 डी में देखने की आवश्यकता होती है, इसलिए आपको कड़ी मेहनत करनी होगी! श्रेणीबद्ध डेटा की प्रकृति भी कुछ सीमाएं लगाती है, इसलिए तैयार समाधान काम नहीं कर सकते हैं। मुझे इसकी आवश्यकता है: क) देखें कि टिप्पणियों को समूहों में कैसे विभाजित किया जाता है, ख) समझें कि टिप्पणियों को कैसे वर्गीकृत किया जाता है। इसलिए, मैंने ए) एक रंग डेंड्रोग्राम बनाया, बी) प्रत्येक क्लस्टर के अंदर चर प्रति टिप्पणियों की संख्या का एक गर्मी नक्शा।

 library("ggplot2") library("reshape2") library("purrr") library("dplyr") #    library("dendextend") dendro <- as.dendrogram(aggl.clust.c) dendro.col <- dendro %>% set("branches_k_color", k = 7, value = c("darkslategray", "darkslategray4", "darkslategray3", "gold3", "darkcyan", "cyan3", "gold3")) %>% set("branches_lwd", 0.6) %>% set("labels_colors", value = c("darkslategray")) %>% set("labels_cex", 0.5) ggd1 <- as.ggdend(dendro.col) ggplot(ggd1, theme = theme_minimal()) + labs(x = "Num. observations", y = "Height", title = "Dendrogram, k = 7")

 #     ( ) ggplot(ggd1, labels = T) + scale_y_reverse(expand = c(0.2, 0)) + coord_polar(theta="x")

 #  —   #    —       #    ,      clust.num <- cutree(aggl.clust.c, k = 7) synthetic.customers.cl <- cbind(synthetic.customers, clust.num) cust.long <- melt(data.frame(lapply(synthetic.customers.cl, as.character), stringsAsFactors=FALSE), id = c("id.s", "clust.num"), factorsAsStrings=T) cust.long.q <- cust.long %>% group_by(clust.num, variable, value) %>% mutate(count = n_distinct(id.s)) %>% distinct(clust.num, variable, value, count) # heatmap.c ,      — ,   ,     heatmap.c <- ggplot(cust.long.q, aes(x = clust.num, y = factor(value, levels = c("x","y","z", "mon", "tue", "wed", "thu", "fri","sat","sun", "delicious", "the one you don't like", "pizza", "facebook", "email", "link", "app", "area1", "area2", "area3", "area4", "small", "med", "large"), ordered = T))) + geom_tile(aes(fill = count))+ scale_fill_gradient2(low = "darkslategray1", mid = "yellow", high = "turquoise4") #            cust.long.p <- cust.long.q %>% group_by(clust.num, variable) %>% mutate(perc = count / sum(count)) %>% arrange(clust.num) heatmap.p <- ggplot(cust.long.p, aes(x = clust.num, y = factor(value, levels = c("x","y","z", "mon", "tue", "wed", "thu", "fri","sat", "sun", "delicious", "the one you don't like", "pizza", "facebook", "email", "link", "app", "area1", "area2", "area3", "area4", "small", "med", "large"), ordered = T))) + geom_tile(aes(fill = perc), alpha = 0.85)+ labs(title = "Distribution of characteristics across clusters", x = "Cluster number", y = NULL) + geom_hline(yintercept = 3.5) + geom_hline(yintercept = 10.5) + geom_hline(yintercept = 13.5) + geom_hline(yintercept = 17.5) + geom_hline(yintercept = 21.5) + scale_fill_gradient2(low = "darkslategray1", mid = "yellow", high = "turquoise4") heatmap.p

गर्मी का नक्शा रेखांकन से पता चलता है कि प्रारंभिक कारकों के लिए प्रत्येक कारक स्तर के लिए कितने अवलोकन किए गए हैं (चर जो हमने शुरू किए थे)। गहरे नीले रंग क्लस्टर के भीतर अपेक्षाकृत बड़ी संख्या में टिप्पणियों से मेल खाते हैं। यह ऊष्मा मानचित्र यह भी दर्शाता है कि सप्ताह के दिन (सूर्य, शनि ... सोम) और टोकरी के आकार (बड़े, मेड, छोटे) के लिए, प्रत्येक सेल में ग्राहकों की संख्या लगभग समान है - इसका मतलब यह हो सकता है कि ये श्रेणियां विश्लेषण के लिए निर्धारक नहीं हैं, और शायद उन्हें ध्यान में रखने की आवश्यकता नहीं है।

निष्कर्ष

इस लेख में, हमने असमानता मैट्रिक्स की गणना की, श्रेणीबद्ध क्लस्टरिंग के एग्लोमेरेटिव और डिवीजनल तरीकों का परीक्षण किया, और क्लस्टर की गुणवत्ता का आकलन करने के लिए खुद को कोहनी और सिल्हूट विधियों से परिचित किया।

विषय का अध्ययन करने के लिए डिवीजनल और एग्लोमेरेटिव पदानुक्रमित क्लस्टरिंग एक अच्छी शुरुआत है, लेकिन अगर आप वास्तव में मास्टर क्लस्टर विश्लेषण करना चाहते हैं तो वहां मत रुकिए। कई अन्य तरीके और तकनीकें हैं। संख्यात्मक डेटा को क्लस्टर करने से मुख्य अंतर असमानता मैट्रिक्स की गणना है। जब क्लस्टरिंग की गुणवत्ता का आकलन करते हैं, तो सभी मानक तरीके विश्वसनीय और सार्थक परिणाम नहीं देंगे - सिल्हूट विधि बहुत उपयुक्त नहीं है।

और आखिरकार, चूंकि इस उदाहरण को बनाने में कुछ समय पहले ही बीत चुका है, अब मैं अपने दृष्टिकोण में कई कमियों को देखता हूं और किसी भी प्रतिक्रिया के लिए खुशी होगी। मेरे विश्लेषण की महत्वपूर्ण समस्याओं में से एक क्लस्टरिंग से संबंधित नहीं थी - मेरा डेटा सेट कई मायनों में असंतुलित था , और यह क्षण बेहिसाब रहा। क्लस्टरिंग पर इसका ध्यान देने योग्य प्रभाव था: 70% ग्राहक "नागरिकता" कारक के एक स्तर के थे, और यह समूह प्राप्त किए गए अधिकांश समूहों पर हावी था, इसलिए कारक के अन्य स्तरों के भीतर अंतर की गणना करना मुश्किल था। अगली बार मैं डेटा सेट को संतुलित करने और क्लस्टरिंग परिणामों की तुलना करने की कोशिश करूंगा। लेकिन इसके बारे में एक और पोस्ट में।

अंत में, यदि आप मेरे कोड का क्लोन बनाना चाहते हैं, तो यहां github का लिंक दिया गया है: https://github.com/khunreus/cluster-categorical
मुझे उम्मीद है कि आपको यह लेख पसंद आया होगा!

सूत्रों ने मेरी मदद की:

पदानुक्रमित क्लस्टरिंग गाइड (डेटा तैयार करना, क्लस्टरिंग, विज़ुअलाइज़ेशन) - यह ब्लॉग उन लोगों के लिए दिलचस्प होगा जो आर पर्यावरण में व्यापार विश्लेषिकी में रुचि रखते हैं: http://uc-r.imtqy.com/hc_clustering और https: // uc-r। imtqy.com/kmeans_clustering

क्लस्टर मान्यता: http://www.sthda.com/english/articles/29-cluster-validation-essentials/97-cluster-validation-statistics-must-know-methods/

( k-): https://eight2late.wordpress.com/2015/07/22/a-gentle-introduction-to-cluster-analysis-using-r/

denextend, : https://cran.r-project.org/web/packages/dendextend/vignettes/introduction.html#the-set-function

, : https://www.r-statistics.com/2010/06/clustergram-visualization-and-diagnostics-for-cluster-analysis-r-code/

: https://jcoliver.imtqy.com/learn-r/008-ggplot-dendrograms-and-heatmaps.html

, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5025633/ ( GitHub: https://github.com/khunreus/EnsCat ).

आर में श्रेणीबद्ध डेटा की श्रेणीबद्ध क्लस्टरिंग

डिसमिलरिटी मैट्रिक्स

क्लस्टरिंग एल्गोरिदम

क्लस्टरिंग गुणवत्ता मूल्यांकन

निष्कर्ष

सूत्रों ने मेरी मदद की:

More articles: