मशीन लर्निंग पर सारांश। गणितीय आँकड़े। अधिकतम संभावना विधि

गणितीय आँकड़ों की कुछ परिभाषाएँ याद करें।

एक प्रायिकता स्थान दिया जाए $$$(\ Omega, \ Sigma, P)$ ।

परिभाषा 1:

यादृच्छिक चर $$$\ xi = \ xi (w)$ सेट में मान लेना $$$एस$ ग $\ _ सिग्मा$ - सबसेट का बीजगणित $$$\ Phi$ किसी को भी बुलाया $$$(\ सिग्मा, \ Phi)$ औसत दर्जे का कार्य $$$\ xi \ colon \ Omega \ S से$ वह है $$$\ forall A \ subseteq S, A \ in \ Phi$ हालत संतुष्ट है $$$\ xi ^ {- 1} (ए) = \ {ओमेगा \ _ ओमेगा \ स्पेस \ कोलोन \ स्पेस \ एक्सआई (डब्ल्यू) में \ _ \ _ सिग्मा $ मे$ ।

परिभाषा 2:

नमूना स्थान अवलोकन या नमूने के सभी संभावित मूल्यों का स्थान है $$$\ _ सिग्मा$ -इस स्थान के औसत दर्जे के सबसेट के बीजगणित।
पदनाम: $$$(B, \ mathscr {B})$ ।

संभावना स्थान पर परिभाषित $$$(\ Omega, \ Sigma, P)$ यादृच्छिक चर $$$\ xi, \ eta, \ ldots \ colon \ Omega \ B से $$ अंतरिक्ष में स्पॉन $$$(B, \ mathscr {B})$ संभाव्य उपाय $$$P_ \ xi \ {C \} = P \ {\ xi \ C C} में, P_ \ eta \ {C \} = P \ {eta \ C C} में, \ ldots$ नमूना स्थान पर, एक संभाव्यता माप निर्धारित नहीं की जाती है, लेकिन संभाव्यता उपायों का एक परिमित या अनंत परिवार।

गणितीय आंकड़ों की समस्याओं में , संभाव्यता उपायों का एक परिवार ज्ञात है। $$$\ {P_ \ theta, \ Space \ theta \ in \ Theta \}$ नमूने के स्थान में परिभाषित किया गया है, और यह नमूना से आवश्यक है कि यह निर्धारित करने के लिए कि इस परिवार के संभावित उपायों में से कौन सा नमूना से मेल खाता है।

परिभाषा 3:

एक सांख्यिकीय मॉडल एक नमूना स्थान और उस पर परिभाषित संभावना उपायों के एक परिवार से मिलकर एक समुच्चय है।

पदनाम: $$$(B, \ mathscr {B}, \ mathscr {P})$ जहाँ $$$\ mathscr {P} = \ {P_ \ theta, \ space \ theta \ in \ Theta \ "$ ।

चलो $$$B = \ mathbb {R} ^ n$ और $$$(\ mathbb {R} ^ n, \ mathscr {B})$ - चयनात्मक स्थान।

नमूना $$$X = (x_1, \ ldots, x_n)$ एक संयोजन के रूप में माना जा सकता है $$$एन$ वास्तविक संख्या। नमूने के प्रत्येक तत्व को एक संभावना के बराबर असाइन करें $$$\ frac {1} {n}$ ।

चलो

$$

$$I_x (B) = \ _ {केस} 1 शुरू, बी \\ 0 में \ quad x \, B \ एंड में {क्वाड x \ not \ {केस}$$

परिभाषा 4:

नमूना एक्स से निर्मित एक अनुभवजन्य वितरण एक प्रायिकता उपाय है $$$P_n ^ *$ :

$$

$$P_n ^ * (B) = \ frac {1} {n} \ sum_ {k = 1} ^ nI_ {x_k} (B)$$

वह है $$$P_n ^ * (B)$ - नमूना तत्वों की संख्या का अनुपात जो संबंधित हैं $$$ब$ नमूना वस्तुओं की कुल संख्या के लिए: $$$P_n ^ * (B) = \ frac {\ nu_n (B)} {n}, \ space \ nu_n (B) = \ sum \ limit_ {k = 1} ^ nI (x_k \ _ B), \ space B \ in \ mathscr {B}$ ।

परिभाषा 5:

चुनिंदा पल क्रम $$$k$ यह कहा जाता है

$$

$$\ hat {m} ^ * _ k = \ hat {m} ^ * _ k (X) = \ frac {1} {n} \ sum_ {j = 1} ^ nx_j ^ k$$

$$$\ hat {m} _1 ^ * = \ overline {X} = \ frac {1} {n} \ sum \ limit_ {j = 1} ^ n x_j$ - नमूना मतलब ।

परिभाषा 6:

आदेश का चयनात्मक केंद्रीय क्षण $$$k$ समानता द्वारा निर्धारित किया जाता है

$$

$$\ hat {m} _k ^ {* (0)} = \ hat {m} _k ^ {* (0)} (X) = \ frac {1} {n} \ sum_ {j = 1} ^ n () x_j - \ overline {X}) k$$

$$$S ^ 2 = S ^ 2 (X) = \ hat {m} _2 ^ {* (0)} = \ frac {1} {n} \ sum \ limit_ {j = 1} ^ n (x_j - \ overline) {X}) ^ 2$ - नमूना प्रसरण ।

मशीन लर्निंग में, कई कार्य सीखने के लिए हैं कि उपलब्ध डेटा से पैरामीटर का चयन कैसे करें $$$$ थीटा$ जो इस डेटा का सबसे अच्छा वर्णन करता है। गणितीय आंकड़ों में, एक समान समस्या को हल करने के लिए अधिकतम संभावना विधि का उपयोग अक्सर किया जाता है।

वास्तविक जीवन में, त्रुटि वितरण में अक्सर सामान्य वितरण होता है। कुछ औचित्य के लिए, हम केंद्रीय सीमा प्रमेय का वर्णन करते हैं ।

प्रमेय 1 (CLT):

यदि यादृच्छिक चर $$$\ xi_1, \ ldots, \ xi_n$ - स्वतंत्र, समान रूप से वितरित, गणितीय अपेक्षा $$$M (\ xi_i) = एक$ , विचरण $$$D (\ xi_i) = \ sigma ^ 2 \ in (0, + \ infty) \ space \ forall i \ in \ overline {1, n}$ तो

$$

$$\ lim \ limit_ {n \ _ to infty} P \ {\ frac {\ xi_1 + \ xi_2 + \ ldots + \ xi_n - na} {\ _ सिग्मा \ sqrt {n}} / leq x \} = F (x) = \ _ frac {1} {\ sqrt {2 \ pi}} \ int \ limit _ {- \ infty} ^ xe ^ {- u ^ 2/2} du। $$$

नीचे हम अधिकतम संभावना विधि तैयार करते हैं और इसके संचालन को सामान्य वितरण के परिवार के उदाहरण के रूप में मानते हैं।

अधिकतम संभावना विधि

एक सांख्यिकीय मॉडल के लिए चलो $$$(B, \ mathscr {B}, \ mathscr {P} = \ {P_ \ theta, \ space \ theta \ in \ Theta \})$ दो शर्तों से संतुष्ट हैं:

• अगर $$$\ theta_1 \ not = \ theta_2$ तो $$$P _ {\ _ theta_1} \ not = P _ {\ theta_2}$ ;
• ऐसा एक उपाय है $$$\ _मु$ पर $$$(B, \ mathscr {B})$ जिसके विषय में कोई उपाय हो $$$P_ \ थीटा$ । $$$$ थीटा$ , एक घनत्व है $$$f_ \ theta (x) = \ frac {dP_ \ theta (x)} {d \ mu} (x)$ वह है $$$\ forall C \ in \ mathscr {B} \ quad P_ \ theta (C) = \ int \ limit_Cf_ \ theta (x) \ mu (dx)$ ।

परिभाषा 7:

अधिकतम संभावना आकलन (OMP) $$$\ _ {\ थीटा}$ पैरामीटर $$$$ थीटा$ जिसे अनुभव से निर्मित कहा जाता है $$$P ^ * _ n$ नमूने के अनुरूप $$$X = (x_1, \ ldots, x_n)$ , मूल्य $$$$ थीटा$ जिस पर $$$\ मैक्स \ सीमाएँ \ {थीटा \ in \ Theta} \ int \ ln f_ \ theta (x) P_n ^ * (dx) = \ मैक्स \ सीमाएँ _ {\ थीटा} in \ Theta} \ fta {1} {n} \ sum \ limit_ {i = 1} ^ n \ ln f_ \ theta (x)$

परिभाषा 8:

समारोह $$$\ Lambda_ \ theta (X) = \ prod \ limit_ {i = 1} ^ n f_ \ theta (x_i)$ के एक समारोह के रूप में $$$$ थीटा$ संभावना फ़ंक्शन और फ़ंक्शन को कहा जाता है $$$L (X, \ थीटा) = \ sum \ limit_ {i = 1} ^ n \ ln f_ \ theta (x_i)$ - लघुगणक संभावना समारोह ।

ये कार्य समान मूल्यों पर चलते हैं। $$$$ थीटा$ जैसा $$$\ ln x$ - नीरस बढ़ती क्रिया।

एक उदाहरण:

$$$\ mathscr {P} = \ {N (a, \ sigma ^ 2) \ space | \ space a \ in \ mathbb {R}, \ space \ sigma \ (0, + \ infty) \}$ - घनत्व के साथ सामान्य वितरण का परिवार $$$\ phi_ {a, \ sigma ^ 2} (x) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp \ {- \ frac {1} {2 \ "sigma ^ 2} (xa) ) ^ 2 \}$ । नमूने के द्वारा $$$X = (x_1, \ ldots, x_n)$

$$

$$\ Lambda_ {a, \ sigma} (X) = \ frac {1} {(2 \ pi) ^ {\ frac {n} {2}} \ "सिग्मा ^ n} \ _ \ _ \ _ \ _ \ _ \ _ \ _ \ _ \ _ \ _ \ _ {2 \ _ सिग्मा ^ 2} \ _ \ _ सीमाएं {{1 = 1} ^ n (x_j-a) 2 = 2;$$

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ _ सिग्मा ^ 2} \ sum \ limit_ { i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ आंशिक L} {\ आंशिक {a} = \ frac {1} {\ _ सिग्मा ^ 2} \ _ \ _ सीमाएं {{1 = 1} ^ n (x_i-a), \ quad \ frac {आंशिक L } {\ आंशिक \ sigma} = - \ frac {n} {\ sigma} + \ frac {1} {\ _ सिग्मा ^ 3} \ _ \ _ सीमाएं {{1 = 1} ^ n (x_i-a) ^ 2; $$$

$$

$$\ frac {\ आंशिक एल} {\ आंशिक आंशिक} = 0 \ quad \ Rightarrow \ quad \ sum \ limit_ {सीमा = {1} ^ nx_i - na = 0 \ quad \ Rightarrow \ quadar \ frac {1} {n} \ sum \ limit_ {i = 1} ^ nx_i = \ overline {X} = \ hat {a} $$$

$$

$$\ frac {\ आंशिक L} {\ आंशिक \ sigma} = 0 \ quad \ Rightarrow \ quad \ frac {n} {\ sigma} = \ frac {1} {\ sigma ^ 3} \ योग की सीमा_ {i = 1} ^ n (x_i - a) ^ 2 \ quad \ Rightarrow \ quad \ Hat {\ sigma} = \ sqrt {\ frac {1} {n} \ sum \ limit_ {i = 1} ^ n (x_i - \) ओवरलाइन {X}) ^ 2} = \ sqrt {S ^ 2}।$$

गणितीय अपेक्षा और विचरण के लिए अनुमान प्राप्त किए गए थे।

अगर आप सूत्र को करीब से देखें

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ "sigma ^ 2 = \ sum \ limit_ { i = 1} ^ n (x_i-a) ^ 2$$

हम यह निष्कर्ष निकाल सकते हैं कि फ़ंक्शन $$$L (X, (a, \ sigma))$ कब इसका अधिकतम मूल्य मानता है $$$\ sum \ limit_ {i = 1} ^ n (x_i-a) ^ 2$ न्यूनतम है। मशीन सीखने की समस्याओं में, सबसे कम वर्ग विधि अक्सर उपयोग की जाती है, जिसमें सच्चे लोगों से अनुमानित मूल्यों के वर्ग विचलन का योग न्यूनतम होता है।

प्रयुक्त साहित्य की सूची:

• गणितीय आँकड़ों पर व्याख्यान नोट्स, लेखक अज्ञात;
• “गहरी सीख। तंत्रिका नेटवर्क की दुनिया में विसर्जन ”, एस। निकुलेंको, ए। कादुरिन, ई। अरखंजेल्स्काया, पीटर, 2018।