机器学习简介。 数理统计。 最大似然法

回顾一下数学统计的一些定义。

给出一个概率空间 $$$（\ Omega，\ Sigma，P）$ 。

定义1：

随机变量 $$$\ xi = \ xi（w）$ 在集合中取值 $$$S$ ç $\ sigma$ -子集代数 $$$\皮皮$ 叫任何 $$$（\\西格玛，\ Phi）$ 可测功能 $$$\ xi \冒号\ Omega \至S$ 那就是 $$$\ forall A \ subseteq S，A \ in \ Phi$ 条件满足 $$$\ xi ^ {-1}（A）= \ {\ omega \ in \ Omega \ space \ Colon \ space \ xi（w）\ in A \} \ in \ Sigma$ 。

定义2：

样本空间是观测值或样本的所有可能值以及 $$$\ sigma$ -此空间的可测量子集的代数。
名称： $$$（B，\ mathscr {B}）$ 。

在概率空间上定义 $$$（\ Omega，\ Sigma，P）$ 随机变量 $$$\ xi，\ eta，\ ldots \冒号\ Omega \至B$ 在太空中产生 $$$（B，\ mathscr {B}）$ 概率测度 $$$P_ \ xi \ {C \} = P \ {\ xi \ in C \}，P_ \ eta \ {C \} = P \ {\ eta \ in C \}，\ ldots$ 在样本空间上，不是确定一个概率度量，而是一个有限或无限的概率度量族。

在数理统计问题中 ，已知一系列概率测度。 $$$\ {P_ \ theta，\ space \ theta \ in \ Theta \}$ 在样本空间中定义， 需要从样本中确定该族中哪些概率测度与样本相对应。

定义3：

统计模型是由样本空间和在其上定义的一系列概率度量组成的集合。

名称： $$$（B，\ mathscr {B}，\ mathscr {P}）$ 在哪里 $$$\ mathscr {P} = \ {P_ \ theta，\ space \ theta \ in \ Theta \}$ 。

让 $$$B = \ mathbb {R} ^ n$ 和 $$$（\ mathbb {R} ^ n，\ mathscr {B}）$ -选择性空间。

取样方式 $$$X =（x_1，\ ldots，x_n）$ 可以视为组合 $$$n$ 实数。 给样本的每个元素分配等于的概率 $$$\ frac {1} {n}$ 。

让

$$

$$I_x（B）= \开始{cases} 1，\ quad x \ in B \\ 0，\ quad x \ not \ in B \ end {cases$$

定义4：

由样本X构造的经验分布是概率度量 $$$P_n ^ *$ ：

$$

$$P_n ^ *（B）= \ frac {1} {n} \ sum_ {k = 1} ^ nI_ {x_k}（B）$$

那是 $$$P_n ^ *（B）$ -属于样本元素的数量的比率 $$$B$ ，占样本总数： $$$P_n ^ *（B）= \ frac {\ nu_n（B）} {n}，\ space \ nu_n（B）= \ sum \ limits_ {k = 1} ^ nI（x_k \ in B），\ space B \ in \ mathscr {B}$ 。

定义5：

选择性矩顺序 $$$k$ 叫

$$

$$\ hat {m} ^ * _ k = \ hat {m} ^ * _ k（X）= \ frac {1} {n} \ sum_ {j = 1} ^ nx_j ^ k$$

$$$\ hat {m} _1 ^ * = \ overline {X} = \ frac {1} {n} \ sum \ limits_ {j = 1} ^ n x_j$ - 样本均值 。

定义6：

选择性中心矩 $$$k$ 由平等决定

$$

$$\ hat {m} _k ^ {*（0）} = \ hat {m} _k ^ {*（0）}（X）= \ frac {1} {n} \ sum_ {j = 1} ^ n（ x_j-\上线{X}）^ k$$

$$$S ^ 2 = S ^ 2（X）= \帽子{m} _2 ^ {*（0）} = \ frac {1} {n} \ sum \ limits_ {j = 1} ^ n（x_j-\ overline {X}）^ 2$ - 样本方差 。

在机器学习中，许多任务是学习如何从可用数据中选择参数 $$$\ theta$ 最好地描述了这些数据。 在数学统计中， 最大似然法通常用于解决类似问题。

在现实生活中，误差分布通常具有正态分布。 为了证明这一点，我们陈述了中心极限定理 。

定理1（CLT）：

如果随机变量 $$$\ xi_1，\ ldots，\ xi_n$ -独立的，平均分布的数学期望 $$$M（\ xi_i）=一个$ 方差 $$$D（\ xi_i）= \ sigma ^ 2 \ in（0，+ \ infty）\ space \ forall i \ in \ overline {1，n}$ 然后

$$

$$\ lim \ limits_ {n \ to \ infty} P \ {\ frac {\ xi_1 + \ xi_2 + \ ldots + \ xi_n-na} {\ sigma \ sqrt {n}} \ leq x \} = F（x）= \ frac {1} {\ sqrt {2 \ pi}} \ int \极限_ {-\ infty} ^ xe ^ {-u ^ 2/2} du。$$

下面，我们制定最大似然法，并将其操作作为一个正态分布族的例子。

最大似然法

建立统计模型 $$$（B，\ mathscr {B}，\ mathscr {P} = \ {P_ \ theta，\ space \ theta \ in \ Theta \}）$ 满足两个条件：

• 如果 $$$\ theta_1 \ not = \ theta_2$ 然后 $$$P _ {\ theta_1} \ not = P _ {\ theta_2}$ ;
• 有这样的措施 $$$\亩$ 在 $$$（B，\ mathscr {B}）$ 关于任何措施 $$$P_ \ theta$ ， $$$\ theta \ in \ Theta$ ，有密度 $$$f_ \ theta（x）= \ frac {dP_ \ theta（x）} {d \ mu}（x）$ 那就是 $$$\ forall C \ in \ mathscr {B} \ quad P_ \ theta（C）= \ int \ limits_Cf_ \ theta（x）\ mu（dx）$ 。

定义7：

最大可能性评估 （OMP） $$$\帽子{\ theta}$ 参数 $$$\ theta$ 称为经验构造 $$$P ^ * _ n$ 对应样本 $$$X =（x_1，\ ldots，x_n）$ ，值 $$$\ theta \ in \ Theta$ 在哪 $$$\ max \极限_ {\ theta \ in \ Theta} \ int \ ln f_ \ theta（x）P_n ^ *（dx）= \ max \ limits _ {\ theta \ in \ Theta} \ frac {1} {n} \ sum \ limits_ {i = 1} ^ n \ ln f_ \ theta（x）$

定义8：

功能介绍 $$$\ Lambda_ \ theta（X）= \ prod \ limits_ {i = 1} ^ n f_ \ theta（x_i）$ 根据 $$$\ theta$ 称为似然函数 ，该函数 $$$L（X，\ theta）= \ sum \ limits_ {i = 1} ^ n \ ln f_ \ theta（x_i）$ - 对数似然函数 。

这些函数的峰值相同。 $$$\ theta$ 从 $$$\ ln x$ - 单调递增功能。

一个例子：

$$$\ mathscr {P} = \ {N（a，\ sigma ^ 2）\ space | \ space a \ in \ mathbb {R}，\ space \ sigma \ in（0，+ \ infty）\}$ -具有密度的正态分布族 $$$\ phi_ {a，\ sigma ^ 2}（x）= \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp \ {-\ frac {1} {2 \ sigma ^ 2}（xa ）^ 2 \}$ 。 按样品 $$$X =（x_1，\ ldots，x_n）$

$$

$$\ Lambda_ {a，\ sigma}（X）= \ frac {1} {（2 \ pi）^ {\ frac {n} {2}} \ sigma ^ n} \ exp \ {-\ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ {i = 1} ^ n（x_j-a）^ 2 \};$$

$$

$$L（X，（a，\ sigma））=-\ frac {n} {2} \ ln2 \ pi-n \ ln \ sigma-\ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ { i = 1} ^ n（x_i-a）^ 2;$$

$$

$$\ frac {\部分L} {\部分a} = \ frac {1} {\ sigma ^ 2} \ sum \ limits_ {i = 1} ^ n（x_i-a），\ quad \ frac {\部分L } {\部分\ sigma} =-\ frac {n} {\ sigma} + \ frac {1} {\ sigma ^ 3} \ sum \ limits_ {i = 1} ^ n（x_i-a）^ 2;$$

$$

$$\ frac {\部分L} {\部分a} = 0 \ quad \ Rightarrow \ quad \ sum \ limits_ {i = 1} ^ nx_i-na = 0 \ quad \ Rightarrow \ quad \ frac {1} {n} \ sum \ limits_ {i = 1} ^ nx_i = \上线{X} = \ hat {a};$$

$$

$$\ frac {\部分L} {\部分\ sigma} = 0 \ quad \ Rightarrow \ quad \ frac {n} {\ sigma} = \ frac {1} {\ sigma ^ 3} \ sum \ limits_ {i = 1} ^ n（x_i-a）^ 2 \ quad \ Rightarrow \ quad \ hat {\ sigma} = \ sqrt {\ frac {1} {n} \ sum \ limits_ {i = 1} ^ n（x_i-\上划线{X}）^ 2} = \ sqrt {S ^ 2}$$

获得了数学期望和方差的估计。

如果您仔细看一下公式

$$

$$L（X，（a，\ sigma））=-\ frac {n} {2} \ ln2 \ pi-n \ ln \ sigma-\ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ { i = 1} ^ n（x_i-a）^ 2$$

我们可以得出结论，该功能 $$$L（X，（a，\ sigma））$ 在以下情况下取其最大值 $$$\ sum \ limits_ {i = 1} ^ n（x_i-a）^ 2$ 是最小的。 在机器学习问题中，经常使用最小二乘法 ，其中将预测值与真实值的平方偏差之和最小化。

二手文献清单：

• 关于数学统计的讲义，作者不详；
• “深度学习。 沉浸在神经网络世界中”，S。Nikulenko，A。Kadurin，E。Arkhangelskaya，PETER，2018年。