Sinopsis tentang Pembelajaran Mesin. Statistik matematika. Metode kemungkinan maksimum

Ingat beberapa definisi statistik matematika.

Biarkan ruang probabilitas diberikan $$$(\ Omega, \ Sigma, P)$ .

Definisi 1:

Variabel acak $$$\ xi = \ xi (w)$ mengambil nilai di set $$$S$ c $\ sigma$ -Aljabar himpunan bagian $$$\ Phi$ disebut apa saja $$$(\ Sigma, \ Phi)$ fungsi yang terukur $$$\ xi \ colon \ Omega \ hingga S$ itu adalah $$$\ forall A \ subseteq S, A \ in \ Phi$ kondisinya puas $$$\ xi ^ {- 1} (A) = \ {\ omega \ di \ Omega \ space \ colon \ space \ xi (w) \ dalam A \} \ dalam \ Sigma$ .

Definisi 2:

Ruang sampel adalah ruang dari semua nilai yang mungkin dari pengamatan atau sampel bersama $$$\ sigma$ - Aljabar himpunan bagian terukur dari ruang ini.
Penunjukan: $$$(B, \ mathscr {B})$ .

Didefinisikan pada ruang probabilitas $$$(\ Omega, \ Sigma, P)$ variabel acak $$$\ xi, \ eta, \ ldots \ colon \ Omega \ hingga B$ muncul di angkasa $$$(B, \ mathscr {B})$ langkah-langkah probabilistik $$$P_ \ xi \ {C \} = P \ {\ xi \ dalam C \}, P_ \ eta \ {C \} = P \ {\ eta \ dalam C \}, \ ldots$ Pada ruang sampel, tidak satu ukuran probabilitas ditentukan, tetapi keluarga terbatas atau tak terbatas ukuran probabilitas.

Dalam masalah statistik matematika , keluarga ukuran probabilitas diketahui. $$$\ {P_ \ theta, \ space \ theta \ di \ Theta \}$ didefinisikan dalam ruang pengambilan sampel, dan diperlukan dari sampel untuk menentukan mana dari langkah-langkah probabilitas keluarga ini yang sesuai dengan sampel.

Definisi 3:

Model statistik adalah agregat yang terdiri dari ruang sampel dan keluarga ukuran probabilitas yang didefinisikan.

Penunjukan: $$$(B, \ mathscr {B}, \ mathscr {P})$ dimana $$$\ mathscr {P} = \ {P_ \ theta, \ space \ theta \ di \ Theta \}$ .

Biarkan $$$B = \ mathbb {R} ^ n$ dan $$$(\ mathbb {R} ^ n, \ mathscr {B})$ - ruang selektif.

Sampling $$$X = (x_1, \ ldots, x_n)$ dapat dianggap sebagai kombinasi $$$n$ bilangan real Tetapkan setiap elemen sampel probabilitas sama dengan $$$\ frac {1} {n}$ .

Biarkan

$$

$$I_x (B) = \ begin {cases} 1, \ quad x \ di B \\ 0, \ quad x \ tidak \ di B \ end {cases}$$

Definisi 4:

Distribusi empiris yang dibangun dari sampel X adalah ukuran probabilitas $$$P_n ^ *$ :

$$

$$P_n ^ * (B) = \ frac {1} {n} \ sum_ {k = 1} ^ nI_ {x_k} (B)$$

Yaitu $$$P_n ^ * (B)$ - rasio jumlah elemen sampel yang dimiliki $$$B$ , ke jumlah total item sampel: $$$P_n ^ * (B) = \ frac {\ nu_n (B)} {n}, \ space \ nu_n (B) = \ jumlah \ limit_ {k = 1} ^ nI (x_k \ dalam B), \ space B \ in \ mathscr {B}$ .

Definisi 5:

Urutan momen selektif $$$k$ disebut

$$

$$\ hat {m} ^ * _ k = \ hat {m} ^ * _ k (X) = \ frac {1} {n} \ sum_ {j = 1} ^ nx_j ^ k$$

$$$\ hat {m} _1 ^ * = \ overline {X} = \ frac {1} {n} \ jumlah \ limit_ {j = 1} ^ n x_j$ - Sampel rata-rata .

Definisi 6:

Momen sentral pesanan yang selektif $$$k$ ditentukan oleh kesetaraan

$$

$$\ hat {m} _k ^ {* (0)} = \ hat {m} _k ^ {* (0)} (X) = \ frac {1} {n} \ sum_ {j = 1} ^ n ( x_j - \ overline {X}) ^ k$$

$$$S ^ 2 = S ^ 2 (X) = \ hat {m} _2 ^ {* (0)} = \ frac {1} {n} \ jumlah \ limit_ {j = 1} ^ n (x_j - \ overline {X}) ^ 2$ - varians sampel .

Dalam pembelajaran mesin, banyak tugas adalah mempelajari cara memilih parameter dari data yang tersedia $$$\ theta$ yang paling menggambarkan data ini. Dalam statistik matematika, metode kemungkinan maksimum sering digunakan untuk memecahkan masalah yang sama.

Dalam kehidupan nyata, distribusi kesalahan sering memiliki distribusi normal. Untuk beberapa pembenaran, kami menyatakan teorema batas pusat .

Teorema 1 (CLT):

Jika variabel acak $$$\ xi_1, \ ldots, \ xi_n$ - ekspektasi matematika yang independen, terdistribusi merata, $$$M (\ xi_i) = a$ perbedaan $$$D (\ xi_i) = \ sigma ^ 2 \ in (0, + \ infty) \ space \ forall i \ in \ overline {1, n}$ lalu

$$

$$\ lim \ limit_ {n \ to \ infty} P \ {\ frac {\ xi_1 + \ xi_2 + \ ldots + \ xi_n - na} {\ sigma \ sqrt {n}} \ leq x \} = F (x) = \ frac {1} {\ sqrt {2 \ pi}} \ int \ limit _ {- \ infty} ^ xe ^ {- u ^ 2/2} du$$

Di bawah ini kami merumuskan metode kemungkinan maksimum dan menganggap operasinya sebagai contoh keluarga distribusi normal.

Metode kemungkinan maksimum

Biarkan untuk model statistik $$$(B, \ mathscr {B}, \ mathscr {P} = \ {P_ \ theta, \ space \ theta \ di \ Theta \})$ dua kondisi terpenuhi:

• jika $$$\ theta_1 \ tidak = \ theta_2$ lalu $$$P _ {\ theta_1} \ not = P _ {\ theta_2}$ ;
• ada ukuran seperti itu $$$\ mu$ pada $$$(B, \ mathscr {B})$ tentang yang untuk ukuran apa pun $$$P_ \ theta$ , $$$\ theta \ in \ Theta$ , ada kepadatan $$$f_ \ theta (x) = \ frac {dP_ \ theta (x)} {d \ mu} (x)$ itu adalah $$$\ forall C \ in \ mathscr {B} \ quad P_ \ theta (C) = \ int \ limit_Cf_ \ theta (x) \ mu (dx)$ .

Definisi 7:

Penilaian Kemungkinan Maksimum (OMP) $$$\ hat {\ theta}$ parameter $$$\ theta$ disebut dibangun secara empiris $$$P ^ * _ n$ sesuai dengan sampel $$$X = (x_1, \ ldots, x_n)$ , nilai $$$\ theta \ in \ Theta$ dimana $$$\ max \ limit _ {\ theta \ in \ Theta} \ int \ ln f_ \ theta (x) P_n ^ * (dx) = \ max \ limit _ {\ theta \ in \ Theta} \ frac {1} {n} \ jumlah \ limit_ {i = 1} ^ n \ ln f_ \ theta (x).$

Definisi 8:

Fungsi $$$\ Lambda_ \ theta (X) = \ prod \ limit_ {i = 1} ^ n f_ \ theta (x_i)$ sebagai fungsi dari $$$\ theta$ disebut fungsi kemungkinan , dan fungsi $$$L (X, \ theta) = \ jumlah \ limit_ {i = 1} ^ n \ ln f_ \ theta (x_i)$ - fungsi kemungkinan logaritmik .

Fungsi-fungsi ini memuncak pada nilai yang sama. $$$\ theta$ sejak itu $$$\ ln x$ - Fungsi peningkatan monoton .

Contoh:

$$$\ mathscr {P} = \ {N (a, \ sigma ^ 2) \ space | \ space a \ in \ mathbb {R}, \ space \ sigma \ in (0, + \ infty) \}$ - keluarga distribusi normal dengan kepadatan $$$\ phi_ {a, \ sigma ^ 2} (x) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} (xa ) ^ 2 \}$ . Dengan sampel $$$X = (x_1, \ ldots, x_n)$

$$

$$\ Lambda_ {a, \ sigma} (X) = \ frac {1} {(2 \ pi) ^ {\ frac {n} {2}} \ sigma ^ n} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} \ jumlah \ limit_ {i = 1} ^ n (x_j-a) ^ 2 \};$$

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ jumlah \ limit_ { i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ partial L} {\ partial a} = \ frac {1} {\ sigma ^ 2} \ jumlah \ limit_ {i = 1} ^ n (x_i-a), \ quad \ frac {\ partial L } {\ partial \ sigma} = - \ frac {n} {\ sigma} + \ frac {1} {\ sigma ^ 3} \ jumlah \ limit_ {i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ partial L} {\ partial a} = 0 \ quad \ Rightarrow \ quad \ jumlah \ limit_ {i = 1} ^ nx_i - na = 0 \ quad \ Rightarrow \ quad \ frac {1} {n} \ jumlah \ limit_ {i = 1} ^ nx_i = \ overline {X} = \ hat {a};$$

$$

$$\ frac {\ partial L} {\ partial \ sigma} = 0 \ quad \ Rightarrow \ quad \ frac {n} {\ sigma} = \ frac {1} {\ sigma ^ 3} \ jumlah \ limit_ {i = 1} ^ n (x_i - a) ^ 2 \ quad \ Rightarrow \ quad \ hat {\ sigma} = \ sqrt {\ frac {1} {n} \ jumlah \ limit_ {i = 1} ^ n (x_i - \ overline {X}) ^ 2} = \ sqrt {S ^ 2}.$$

Estimasi untuk harapan matematika dan varians diperoleh.

Jika Anda perhatikan formula ini dengan cermat

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ jumlah \ limit_ { i = 1} ^ n (x_i-a) ^ 2$$

kita dapat menyimpulkan bahwa fungsinya $$$L (X, (a, \ sigma))$ mengasumsikan nilai maksimumnya ketika $$$\ jumlah \ limit_ {i = 1} ^ n (x_i-a) ^ 2$ minimal. Dalam masalah pembelajaran mesin, metode kuadrat-terkecil sering digunakan, di mana jumlah deviasi kuadrat dari nilai-nilai yang diprediksi dari yang benar diminimalkan.

Daftar literatur yang digunakan:

• Catatan kuliah tentang statistik matematika, penulis tidak diketahui;
• “Pembelajaran yang mendalam. Perendaman dalam dunia jaringan saraf ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.