🧖🏻 🧑🏻‍🤝‍🧑🏻 🤘🏾 Naive Bayes, या गणित कैसे आपको स्पैम फ़िल्टर करने की अनुमति देता है 🧑 👨🏼‍💻 👩🏿‍🤝‍👩🏽

नमस्ते! इस लेख में मैं बेयसियन क्लासिफायरियर के बारे में स्पैम ईमेल्स को फ़िल्टर करने के विकल्पों में से एक के रूप में बात करूँगा। सिद्धांत के माध्यम से जाने दो, फिर इसे अभ्यास के साथ ठीक कर दो, और अंत में मैं अपनी प्रिय भाषा आर में कोड का अपना स्केच दूंगा। मैं अभिव्यक्ति और योगों के साथ जितना संभव हो उतना हल्के ढंग से उजागर करने का प्रयास करूंगा। चलो शुरू हो जाओ!

कोई सूत्र कहीं भी, अच्छी तरह से, एक संक्षिप्त सिद्धांत

बायेसियन क्लासिफायर मशीन सीखने की श्रेणी से संबंधित है। लब्बोलुआब यह है: वह सिस्टम जो यह निर्धारित करने के कार्य के साथ सामना किया जाता है कि क्या अगला पत्र स्पैम है या नहीं, यह निश्चित रूप से अक्षरों की एक निश्चित संख्या से पहले प्रशिक्षित किया गया है, जहां पता है कि "स्पैम" और जहां "स्पैम नहीं है।" यह पहले ही स्पष्ट हो गया है कि यह एक शिक्षक के साथ शिक्षण कर रहा है, जहाँ हम शिक्षक की भूमिका निभाते हैं। बायेसियन क्लासिफायर शब्द के सेट के रूप में एक दस्तावेज (हमारे मामले में, एक पत्र) प्रस्तुत करता है जो माना जाता है कि एक दूसरे पर निर्भर नहीं है (और यह बहुत भोलापन यहां से चलता है)।

प्रत्येक वर्ग (स्पैम / गैर-स्पैम) के लिए ग्रेड की गणना करना आवश्यक है और वह चुनें जो अधिकतम है। ऐसा करने के लिए, निम्न सूत्र का उपयोग करें:

$arg \ max [P (Q_k) \ prod_ {i = 1} ^ nP (x_ | Q_k)]$

क क ् ष ा क े द स ् त ा व े ज ो ं क ी स ं ख ् य ा द स ् त ा व े ज ो ं क ी क ु ल स ं ख ् य ा

$P (Q_k) = \ cfrac {\ text {कक्षा के दस्तावेजों की संख्या $ Q_k $}} {\ text {दस्तावेजों की कुल संख्या}}$

$P (x_i | Q_k) = \ cfrac {\ Alpha + N_ {ik}} {\ Alpha M + N_k}$ - शब्द घटना

$x_i$ कक्षा के दस्तावेज़ में

$Q_k$ (चौरसाई के साथ) *

$N_k$ - कक्षा दस्तावेज़ में शामिल शब्दों की संख्या

$Q_k$
एम - प्रशिक्षण सेट से शब्दों की संख्या

$N_ {ik}$ - शब्द की घटनाओं की संख्या

$x_i$ कक्षा के दस्तावेज़ में

$Q_k$

अ ल ् फ ा

$\ अल्फा$ - चौरसाई के लिए पैरामीटर

जब पाठ का आयतन बहुत बड़ा हो, तो आपको बहुत कम संख्याओं के साथ काम करना होगा। इससे बचने के लिए, आप लघुगणक संपत्ति ** के अनुसार सूत्र को परिवर्तित कर सकते हैं:

$\ log {ab} = \ log {a} + \ log {b}$

स्थानापन्न और प्राप्त करें:

$arg \ max [\ log {P (Q_k)} + \ sum_ {i = 1} ^ n \ log {P (x_i | Q_k)}]$

* गणना के दौरान आप एक शब्द भर में आ सकते हैं जो सिस्टम के प्रशिक्षण के चरण में नहीं था। इससे मूल्यांकन शून्य के बराबर हो सकता है और दस्तावेज़ को किसी भी श्रेणी (स्पैम / गैर-स्पैम) को नहीं सौंपा जा सकता है। कोई फर्क नहीं पड़ता कि आप कैसे चाहते हैं, आप अपने सिस्टम को सभी संभव शब्द नहीं सिखाते हैं। ऐसा करने के लिए, चौरसाई को लागू करना आवश्यक है, या बल्कि, दस्तावेज़ में प्रवेश करने वाले शब्दों की सभी संभावनाओं के लिए छोटे सुधार करें। पैरामीटर 0 <α≤1 चुना गया है (यदि α = 1 है, तो यह लाप्लास स्मूथिंग है)

** लघुगणक एक नीरस रूप से बढ़ता हुआ कार्य है। जैसा कि पहले सूत्र से देखा जा सकता है - हम अधिकतम की तलाश कर रहे हैं। फ़ंक्शन का लघुगणक फ़ंक्शन के रूप में एक ही बिंदु (abscissa) पर चरम होगा। यह गणना को सरल करता है, क्योंकि केवल संख्यात्मक मान बदलता है।

सिद्धांत से अभ्यास तक

हमारे सिस्टम को निम्नलिखित अक्षरों से सीखते हैं, जो पहले से जाना जाता है कि "स्पैम" और कहाँ "स्पैम नहीं" (प्रशिक्षण नमूना):

स्पैम:

"कम कीमत पर वाउचर"
"एक्शन! चॉकलेट बार खरीदें और उपहार के रूप में एक फोन प्राप्त करें »

स्पैम नहीं:

"बैठक कल आयोजित की जाएगी"
"एक किलोग्राम सेब और एक चॉकलेट बार खरीदें"

असाइनमेंट: निर्धारित करें कि निम्न पत्र किस श्रेणी का है:

“दुकान में सेब का एक पहाड़ है। सात किलोग्राम और एक चॉकलेट बार खरीदें ”

समाधान:

हम एक टेबल बनाते हैं। हम सभी "रोक शब्दों" को हटाते हैं, संभावनाओं की गणना करते हैं, एक के रूप में चौरसाई के लिए पैरामीटर लेते हैं।

श्रेणी स्पैम के लिए रेटिंग:

\ frac {2} {4} \ cdot \ frac {2} {23} \ cdot \ frac {2} {23} \ cdot \ frac {1} {23} \ cdot \ frac {1} [23} \ " cdot \ frac {1} {23} \ cdot \ frac {1} {23} \ cdot \ frac {1} {23} \ approx0,000000000587 (\ पाठ {या 5.87E-10}}

$\ frac {2} {4} \ cdot \ frac {2} {23} \ cdot \ frac {2} {23} \ cdot \ frac {1} {23} \ cdot \ frac {1} [23} \ " cdot \ frac {1} {23} \ cdot \ frac {1} {23} \ cdot \ frac {1} {23} \ approx0,000000000587 (\ पाठ {या 5.87E-10}}$

"गैर-स्पैम" श्रेणी के लिए रेटिंग:

\ frac {2} {4} \ cdot \ frac {2} {21} \ cdot \ frac {2} {21} \ cdot \ frac {2} {21} \ cdot \ frac {2} [21} \ " cdot \ frac {1} {21} \ cdot \ frac {1} {21} \ cdot \ frac {1} {21} \ approx0,00000000444 (\ पाठ {या 4.44E-9):

$\ frac {2} {4} \ cdot \ frac {2} {21} \ cdot \ frac {2} {21} \ cdot \ frac {2} {21} \ cdot \ frac {2} [21} \ " cdot \ frac {1} {21} \ cdot \ frac {1} {21} \ cdot \ frac {1} {21} \ approx0,00000000444 (\ पाठ {या 4.44E-9):$

उत्तर: "स्पैम नहीं" रेटिंग "स्पैम" रेटिंग से अधिक है। तो सत्यापन पत्र स्पैम नहीं है!

हम लघुगणक की संपत्ति द्वारा रूपांतरित एक फ़ंक्शन की सहायता से उसी की गणना करते हैं:
श्रेणी स्पैम के लिए रेटिंग:

ल ग भ ग

$\ log {\ frac {2} {4}} + \ log {\ frac {2} {23}} + \ log {\ frac {2} {23}} + \ log {\ frac {1} {23 }} + \ log {\ frac {1} {23}} + \ log {\ frac {1} {23}} + \ log {\ frac {1} {23}} + \ log {\ frac {1} {23}} \ लगभग- $ 21.2$

"गैर-स्पैम" श्रेणी के लिए रेटिंग:

ल ग भ ग

$\ log {\ frac {2} {4}} + \ log {\ frac {2} {21}} + \ log {\ frac {2} {21}} + \ log {\ frac {2} {21 }} + \ log {\ frac {2} {21}} + \ log {\ frac {1} {21}} + \ log {\ frac {1} {21}} + \ log {\ frac {1} {21}} \ लगभग- $ 19.2$

उत्तर: पिछले उत्तर के समान। सत्यापन ईमेल - कोई स्पैम नहीं!

प्रोग्रामिंग भाषा कार्यान्वयन आर

उन्होंने लगभग हर कार्रवाई पर टिप्पणी की, क्योंकि मुझे पता है कि मैं कितनी बार किसी और के कोड को समझना चाहता हूं, इसलिए मुझे आशा है कि मेरा पढ़ने से आपको कोई कठिनाई नहीं होगी। (ओह, मैं कैसे आशा करता हूं)

और यहाँ, वास्तव में, कोड ही

library("tm") #  stopwords library("stringr") #     #    : spam <- c( '   ', '!       ' ) #     : not_spam <- c( '  ', '    ' ) #   test_letter <- "   .     " #---------------- -------------------- #    spam <- str_replace_all(spam, "[[:punct:]]", "") #    spam <- tolower(spam) #    spam_words <- unlist(strsplit(spam, " ")) # ,      stopwords spam_words <- spam_words[! spam_words %in% stopwords("ru")] #        unique_words <- table(spam_words) # data frame main_table <- data.frame(u_words=unique_words) #  names(main_table) <- c("","") #---------------  ------------------ not_spam <- str_replace_all(not_spam, "[[:punct:]]", "") not_spam <- tolower(not_spam) not_spam_words <- unlist(strsplit(not_spam, " ")) not_spam_words <- not_spam_words[! not_spam_words %in% stopwords("ru")] #--------------- ------------------ test_letter <- str_replace_all(test_letter, "[[:punct:]]", "") test_letter <- tolower(test_letter) test_letter <- unlist(strsplit(test_letter, " ")) test_letter <- test_letter[! test_letter %in% stopwords("ru")] #--------------------------------------------- #        main_table$_ <- 0 for(i in 1:length(not_spam_words)){ #   need_word <- TRUE for(j in 1:(nrow(main_table))){ # " "  ,      +1 if(not_spam_words[i]==main_table[j,1]) { main_table$_[j] <- main_table$_[j]+1 need_word <- FALSE } } #    ,      data frame    if(need_word==TRUE) { main_table <- rbind(main_table,data.frame(=not_spam_words[i],=0,_=1)) } } #------------- #    ,    -  main_table$_ <- NA #    ,    -   main_table$__ <- NA #------------- #      Xi    Qk formula_1 <- function(N_ik,M,N_k) { (1+N_ik)/(M+N_k) } #------------- #      quantity <- nrow(main_table) for(i in 1:length(test_letter)) { #    ,     need_word <- TRUE for(j in 1:nrow(main_table)) { #               if(test_letter[i]==main_table$[j]) { main_table$_[j] <- formula_1(main_table$[j],quantity,sum(main_table$)) main_table$__[j] <- formula_1(main_table$_[j],quantity,sum(main_table$_)) need_word <- FALSE } } #  ,      data frame,    /  if(need_word==TRUE) { main_table <- rbind(main_table,data.frame(=test_letter[i],=0,_=0,_=NA,__=NA)) main_table$_[nrow(main_table)] <- formula_1(main_table$[nrow(main_table)],quantity,sum(main_table$)) main_table$__[nrow(main_table)] <- formula_1(main_table$_[nrow(main_table)],quantity,sum(main_table$_)) } } #     "" probability_spam <- 1 #     " " probability_not_spam <- 1 for(i in 1:nrow(main_table)) { if(!is.na(main_table$_[i])) { # 1.1   ,   -  probability_spam <- probability_spam * main_table$_[i] } if(!is.na(main_table$__[i])) { # 1.2   ,   -   probability_not_spam <- probability_not_spam * main_table$__[i] } } # 2.1   ,   -  probability_spam <- (length(spam)/(length(spam)+length(not_spam)))*probability_spam # 2.2   ,   -   probability_not_spam <- (length(not_spam)/(length(spam)+length(not_spam)))*probability_not_spam #   -    ifelse(probability_spam>probability_not_spam,"  - !","  -  !")

आपका समय मेरे लेख पढ़ने के लिए बहुत बहुत धन्यवाद। मुझे आशा है कि आपने अपने लिए कुछ नया सीखा है, या बस उन क्षणों पर प्रकाश डाला है जो आपके लिए स्पष्ट नहीं हैं। सौभाग्य है

सूत्रों का कहना है:

भोली बेयस क्लासिफायर पर एक बहुत अच्छा लेख
विकी से प्राप्त ज्ञान: यहाँ , यहाँ , और यहाँ
डाटा माइनिंग पर व्याख्यान चुबकोवा I.A.

Naive Bayes, या गणित कैसे आपको स्पैम फ़िल्टर करने की अनुमति देता है

कोई सूत्र कहीं भी, अच्छी तरह से, एक संक्षिप्त सिद्धांत

सिद्धांत से अभ्यास तक

प्रोग्रामिंग भाषा कार्यान्वयन आर

More articles: