ملخص عن تعلم الآلة. الإحصاء الرياضي. طريقة الاحتمالية القصوى

أذكر بعض التعاريف للإحصاءات الرياضية.

واسمحوا مساحة الاحتمال تعطى $$$(\ Omega، \ Sigma، P)$ .

التعريف 1:

متغير عشوائي $$$\ xi = \ xi (w)$ أخذ القيم في المجموعة $$$S$ ج $\ سيجما$ -الجبر من مجموعات فرعية $$$\ Phi$ دعا أي $$$(\ سيجما ، \ فاي)$ وظيفة قابلة للقياس $$$\ xi \ colon \ Omega \ إلى S$ هذا هو $$$\ forall A \ subseteq S، A \ in \ Phi$ الشرط راض $$$\ xi ^ {- 1} (A) = \ {\ omega \ in \ Omega \ space \ colon \ space \ xi (w) \ in A \} \ in \ Sigma$ .

التعريف 2:

مساحة العينة هي مساحة كل القيم الممكنة للرصد أو العينة مع $$$\ سيجما$ -الجبر من مجموعات فرعية قابلة للقياس من هذا الفضاء.
تعيين: $$$(B، \ mathscr {B})$ .

محدد في مساحة الاحتمال $$$(\ Omega، \ Sigma، P)$ متغيرات عشوائية $$$\ xi ، \ eta ، \ ldots \ colon \ Omega \ to B$ تفرخ في الفضاء $$$(B، \ mathscr {B})$ تدابير احتمالية $$$P_ \ xi \ {C \} = P \ {\ xi \ in C \} ، P_ \ eta \ {C \} = P \ {\ eta \ in C \} ، \ ldots$ في مساحة العينة ، لا يتم تحديد مقياس احتمالي واحد ، ولكن عائلة محدودة أو لا نهائية من مقاييس الاحتمال.

في مشاكل الإحصاءات الرياضية ، تُعرف عائلة التدابير الاحتمالية . $$$\ {P_ \ theta، \ space \ theta \ in \ Theta \}$ المحدد في مساحة أخذ العينات ، وهو مطلوب من العينة لتحديد أي من التدابير الاحتمالية لهذه العائلة يتوافق مع العينة.

التعريف 3:

النموذج الإحصائي عبارة عن مجموع يتكون من مساحة عينة ومجموعة من تدابير الاحتمالات المحددة عليها.

تعيين: $$$(B، \ mathscr {B}، \ mathscr {P})$ حيث $$$\ mathscr {P} = \ {P_ \ theta ، \ space \ theta \ in \ Theta \}$ .

سمح $$$B = \ mathbb {R} ^ n$ و $$$(\ mathbb {R} ^ n ، \ mathscr {B})$ - مساحة انتقائية.

أخذ العينات $$$X = (x_1 ، \ ldots ، x_n)$ يمكن اعتباره مزيج $$$ن$ أرقام حقيقية. تعيين لكل عنصر من عناصر الاحتمال تساوي $$$\ frac {1} {n}$ .

سمح

$$

$$I_x (B) = \ start {cases} 1 ، \ quad x \ in B \\ 0 ، \ quad x \ not \ in B \ end {cases}$$

التعريف 4:

التوزيع التجريبي الذي تم إنشاؤه من العينة X هو مقياس الاحتمال $$$P_n ^ *$ :

$$

$$P_n ^ * (B) = \ frac {1} {n} \ sum_ {k = 1} ^ nI_ {x_k} (B)$$

هذا هو $$$P_n ^ * (B)$ - نسبة عدد عناصر العينة التي تنتمي $$$B$ ، إلى إجمالي عدد عناصر العينة: $$$P_n ^ * (B) = \ frac {\ nu_n (B)} {n} ، \ space \ nu_n (B) = \ sum \ limit_ {k = 1} ^ nI (x_k \ in B) ، \ space B \ in \ mathscr {B}$ .

التعريف 5:

ترتيب لحظة انتقائية $$$ك$ ودعا

$$

$$\ hat {m} ^ * _ k = \ hat {m} ^ * _ k (X) = \ frac {1} {n} \ sum_ {j = 1} ^ nx_j ^ k$$

$$$\ hat {m} _1 ^ * = \ overline {X} = \ frac {1} {n} \ sum \ limit_ {j = 1} ^ n x_j$ - يعني العينة .

التعريف 6:

لحظة المركزية الانتقائية للنظام $$$ك$ يتحدد بالمساواة

$$

$$\ hat {m} _k ^ {* (0)} = \ hat {m} _k ^ {* (0)} (X) = \ frac {1} {n} \ sum_ {j = 1} ^ n ( x_j - \ overline {X}) ^ k$$

$$$S ^ 2 = S ^ 2 (X) = \ hat {m} _2 ^ {* (0)} = \ frac {1} {n} \ sum \ limit_ {j = 1} ^ n (x_j - \ overline {X}) ^ 2$ - تباين العينة .

في التعلم الآلي ، تتمثل العديد من المهام في تعلم كيفية اختيار معلمة من البيانات المتاحة $$$\ theta$ الذي يصف أفضل هذه البيانات. في الإحصائيات الرياضية ، غالبًا ما تستخدم طريقة الاحتمالية القصوى لحل مشكلة مماثلة.

في الحياة الواقعية ، يكون توزيع الأخطاء غالبًا توزيعًا طبيعيًا. لبعض المبررات ، نذكر نظرية الحد المركزي .

نظرية 1 (CLT):

إذا المتغيرات العشوائية $$$\ xi_1 ، \ ldots ، \ xi_n$ - توقعات مستقلة موزعة بالتساوي $$$M (\ xi_i) =$ ، الفرق $$$D (\ xi_i) = \ sigma ^ 2 \ in (0، + \ infty) \ space \ forall i \ in \ overline {1، n}$ ثم

$$

$$\ lim \ limit_ {n \ to \ infty} P \ {\ frac {\ xi_1 + \ xi_2 + \ ldots + \ xi_n - na} {\ sigma \ sqrt {n}} \ leq x \} = F (x) = \ frac {1} {\ sqrt {2 \ pi}} \ int \ limit _ {- \ infty} ^ xe ^ {- u ^ 2/2} du.$$

نضع أدناه طريقة الحد الأقصى للاحتمالية ونعتبر تشغيلها مثالاً على عائلة من التوزيعات الطبيعية.

طريقة الاحتمالية القصوى

دع لنموذج إحصائي $$$(B، \ mathscr {B}، \ mathscr {P} = \ {P_ \ theta، \ space \ theta \ in \ Theta \})$ يتم استيفاء شرطين:

• إذا $$$\ theta_1 \ not = \ theta_2$ ثم $$$P _ {\ theta_1} \ not = P _ {\ theta_2}$ .
• هناك مثل هذا التدبير $$$\ mu$ في $$$(B، \ mathscr {B})$ فيما يتعلق بأي تدبير $$$P_ \ theta$ . $$$\ theta \ in \ Theta$ ، هناك كثافة $$$f_ \ theta (x) = \ frac {dP_ \ theta (x)} {d \ mu} (x)$ هذا هو $$$\ forall C \ in \ mathscr {B} \ quad P_ \ theta (C) = \ int \ limit_Cf_ \ theta (x) \ mu (dx)$ .

التعريف 7:

تقييم الاحتمالات القصوى (OMP) $$$\ hat {\ theta}$ معلمة $$$\ theta$ دعا شيدت تجريبيا $$$P ^ * _ n$ المقابلة للعينة $$$X = (x_1 ، \ ldots ، x_n)$ القيمة $$$\ theta \ in \ Theta$ في أي $$$\ max \ limit _ {\ theta \ in \ Theta} \ int \ ln f_ \ theta (x) P_n ^ * * (dx) = \ max \ limit _ {\ theta \ in \ Theta} \ frac {1} {n} \ sum \ limit_ {i = 1} ^ n \ ln f_ \ theta (x).$

التعريف 8:

وظيفة $$$\ Lambda_ \ theta (X) = \ prod \ limit_ {i = 1} ^ n f_ \ theta (x_i)$ بوصفها وظيفة من $$$\ theta$ يسمى وظيفة الاحتمال ، والوظيفة $$$L (X، \ theta) = \ sum \ limit_ {i = 1} ^ n \ ln f_ \ theta (x_i)$ - وظيفة احتمال لوغاريتمي .

هذه الوظائف ذروتها في نفس القيم. $$$\ theta$ كما $$$\ ln x$ - زيادة رتابة وظيفة.

مثال:

$$$\ mathscr {P} = \ {N (a، \ sigma ^ 2) \ space | \ space a \ in \ mathbb {R}، \ space \ sigma \ in (0، + \ infty) \}$ - عائلة توزيعات طبيعية كثيفة $$$\ phi_ {a، \ sigma ^ 2} (x) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} (xa ) ^ 2 \}$ . حسب العينة $$$X = (x_1 ، \ ldots ، x_n)$

$$

$$\ Lambda_ {a، \ sigma} (X) = \ frac {1} {(2 \ pi) ^ {\ frac {n} {2}} \ sigma ^ n} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} \ sum \ limit_ {i = 1} ^ n (x_j-a) ^ 2 \}؛$$

$$

$$L (X، (a، \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ sum \ limit_ { i = 1} ^ n (x_i-a) ^ 2؛$$

$$

$$\ frac {\ جزئية L} {\ جزئية a} = \ frac {1} {\ sigma ^ 2} \ sum \ limit_ {i = 1} ^ n (x_i-a) ، \ quad \ frac {\ جزئية L } {\ جزئي \ sigma} = - \ frac {n} {\ sigma} + \ frac {1} {\ sigma ^ 3} \ sum \ limit_ {i = 1} ^ n (x_i-a) ^ 2؛$$

$$

$$\ frac {\ جزئية L} {\ جزئية a} = 0 \ quad \ Rightarrow \ quad \ sum \ limit_ {i = 1} ^ nx_i - na = 0 \ quad \ Rightarrow \ quad \ frac {1} {n} \ sum \ limit_ {i = 1} ^ nx_i = \ overline {X} = \ hat {a}؛$$

$$

$$\ frac {\ جزئية L} {\ جزئية \ sigma} = 0 \ quad \ Rightarrow \ quad \ frac {n} {\ sigma} = \ frac {1} {\ sigma ^ 3} \ sum \ limit_ {i = 1} ^ n (x_i - a) ^ 2 \ quad \ Rightarrow \ quad \ hat {\ sigma} = \ sqrt {\ frac {1} {n} \ sum \ limit_ {i = 1} ^ n (x_i - \ overline {X}) ^ 2} = \ sqrt {S ^ 2}.$$

تم الحصول على تقديرات للتوقع الرياضي والتباين.

إذا كنت تبحث عن كثب في الصيغة

$$

$$L (X، (a، \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ sum \ limit_ { i = 1} ^ n (x_i-a) ^ 2$$

يمكننا أن نستنتج أن وظيفة $$$L (X ، (a ، \ sigma))$ يفترض قيمته القصوى عندما $$$\ sum \ limit_ {i = 1} ^ n (x_i-a) ^ 2$ هو الحد الأدنى. في مشكلات التعلم الآلي ، غالبًا ما يتم استخدام طريقة المربعات الصغرى ، حيث يتم تقليل مجموع الانحرافات التربيعية للقيم المتوقعة عن القيم الحقيقية.

قائمة الأدبيات المستخدمة:

• ملاحظات محاضرة عن الإحصاء الرياضي ، المؤلف غير معروف ؛
• "التعلم العميق. الانغماس في عالم الشبكات العصبية "، S. Nikulenko ، A. Kadurin ، E. Arkhangelskaya ، PETER ، 2018.