ملخص عن تعلم الآلة. التحليل الرياضي. نزول التدرج

أذكر التحليل الرياضي

وظيفة الاستمرارية ومشتقاتها

سمح $$$E \ subseteq \ mathbb {R}$ . $$$دولا$ هي نقطة الحد من مجموعة $$$E$ (أي $$$a \ in E ، \ forall \ varepsilon> 0 \ space \ space | (a - \ varepsilon، a + \ varepsilon) \ cap E | = \ infty$ ) $$$f \ colon E \ to \ mathbb {R}$ .

التعريف 1 (حد وظيفة كوشي):

وظيفة $$$f \ colon E \ to \ mathbb {R}$ ملتزم $$$دولا$ في $$$x$ تسعى ل $$$دولا$ إذا

$$

$$\ forall \ varepsilon> 0 \ space \ space \ موجود \ delta> 0 \ space \ space \ forall x \ in E \ space \ space (0 <| x- a | <\ delta \ Rightarrow | f (x) - A | <\ varepsilon).$$

تعيين: $$$\ lim \ limit_ {E \ ni x \ to a} f (x) = A$ .

التعريف 2:

1. الفاصلة $$$ab$ دعا مجموعة $$$] a ، b [\ space: = \ {x \ in \ mathbb {R} | <x <b \}$ .
2. نقطة الفاصل $$$x \ in \ mathbb {R}$ ويسمى حي هذه النقطة.
3. الحي المثقب لنقطة ما هو حي النقطة التي يتم منها استبعاد هذه النقطة نفسها.

تعيين:

1. $$$V (x)$ أو $$$U (x)$ - حي نقطة $$$x$ .
2. $$$\ overset {\ circ} {U} (x)$ - ثقب ثقب نقطة $$$x$ .
3. $$$U_E (x): = E \ cap U (x) ، \\ \ overset {\ circ} {U} _E (x): = E \ cap \ overset {\ circ} {U} (x)$

تعريف 3 (الحد من وظيفة من خلال الأحياء):

$$

$$\ lim \ limit_ {E \ ni x \ to a} f (x) = A: = \ forall V_R (A) \ space \ موجود \ overset {\ circ} {U} _E (a) \ space \ space ( f (\ overset {\ circ} {U} _E (a)) \ subset V_R (A)).$$

التعريفان 1 و 3 متساويان.

التعريف 4 (استمرارية دالة عند نقطة):

1. $$$f \ colon E \ to \ mathbb {R}$ مستمر في $$$a \ in E: =$

   $$

   $$= \ forall V (f (a)) \ space \ space \ موجود U_E (a) \ space \ space (f (U_E (a)) \ subset V (f (a)))؛$$
2. $$$f \ colon E \ to \ mathbb {R}$ مستمر في $$$a \ in E: =$

   $$

   $$\ forall \ varepsilon> 0 \ space \ space \ موجود \ delta> 0 \ space \ space \ forall x \ in E \ space \ space (| xa | <\ delta \ Rightarrow | f (x) -f (a) | <\ varepsilon).$$

التعاريف 3 و 4 تبين ذلك
( $$$f \ colon E \ to \ mathbb {R}$ مستمر في $$$a \ in E$ حيث $$$دولا$ - نقطة الحد $$$E$ ) $$$\ Leftrightarrow$
$$$\ Leftrightarrow (\ lim \ limit_ {E \ ni x \ to a} f (x) = f (a)).$

التعريف 5:

وظيفة $$$f \ colon E \ to \ mathbb {R}$ دعا المستمر على المجموعة $$$E$ إذا كانت مستمرة في كل نقطة من المجموعة $$$E$ .

التعريف 6:

1. وظيفة $$$f \ colon E \ to \ mathbb {R}$ المحددة في المجموعة $$$E \ subset \ mathbb {R}$ ويسمى التفاضل في هذه النقطة $$$a \ in E$ الحد للمجموعة $$$E$ إذا كان هناك مثل هذا الخطي فيما يتعلق الزيادة $$$س واحد دولا$ وظيفة حجة $$$A \ cdot (x-a)$ [وظيفة التفاضلية $$$و$ عند هذه النقطة $$$دولا$ ] تلك الزيادة $$$f (x) -f (a)$ وظائف $$$و$ ممثلة

   $$

   $$f (x) -f (a) = A \ cdot (x-a) + o (x-a) \ quad لـ \ space x \ to ، \ space x \ in E.$$
2. قيمة
   

   $$

   $$f '(a) = \ lim \ limit_ {E \ ni x \ to}} \ frac {f (x) -f (a)} {x-a}$$
   
   وظيفة مشتقة $$$و$ عند هذه النقطة $$$دولا$ .

أيضا

$$

$$f '(x) = \ lim _ {\ substack {h \ to 0 \\ x + h، x \ in E}} \ frac {f (x + h) -f (x)} {h}.$$

التعريف 7:

1. نقطة $$$x_0 \ in E \ subset \ mathbb {R}$ تسمى نقطة الحد الأقصى المحلي (الحد الأدنى) ، وتسمى قيمة الوظيفة في الحد الأقصى المحلي (الحد الأدنى) للدالة $$$f \ colon E \ to \ mathbb {R}$ إذا $$$\ موجود U_E (x_0)$ :

   $$

   $$\ forall x \ in U_E (x_0) \ space \ space f (x) \ leq f (x_0) (على التوالي ، f (x) \ geq f (x_0)).$$
2. تسمى نقاط الحد الأقصى والحد الأدنى المحلي نقاط أقصى الطرف المحلي ، وتسمى قيم الوظيفة الموجودة بها extrema المحلية للدالة .
3. نقطة $$$x_0 \ في E$ وظيفة القصوى $$$f \ colon E \ to \ mathbb {R}$ دعا نقطة القصوى الداخلية إذا $$$x_0 دولا$ هي نقطة الحد بالنسبة للمجموعة $$$E _- = \ {x \ in E | x <x_0 \}$ وللمجموعة $$$E _ + = \ {x \ in E | x> x_0 \}$ .

ليما 1 (فيرما):

إذا كانت الوظيفة $$$f \ colon E \ to \ mathbb {R}$ متباينة في نقطة القصوى الداخلية $$$x_0 \ في E$ ، ثم مشتقها في هذه المرحلة هو صفر: $$$f '(x_0) = 0$ .

الاقتراح 1 (نظرية رول):
إذا كانت الوظيفة $$$f \ colon [a، b] \ to \ mathbb {R}$ مستمر على قطعة $$$[a، b]$ التفاضل في الفاصل $$$] أ ، ب [$ و $$$f (a) = f (b)$ ثم هناك نقطة $$$\ xi \ in] a ، b [$ مثل هذا $$$f '(\ xi) = 0$ .

النظرية 1 (نظرية لاجرانج للزيادة المحدودة):

إذا كانت الوظيفة $$$f \ colon [a، b] \ to \ mathbb {R}$ مستمر على قطعة $$$[a، b]$ وقابل للتمييز في الفاصل $$$] أ ، ب [$ ثم هناك نقطة $$$\ xi \ in] a ، b [$ مثل هذا

$$

$$f (b) -f (a) = f '(\ xi) (b-a).$$

النتيجة الطبيعية 1 (علامة على رتابة دالة):
إذا كان مشتق الوظيفة في أي وقت من الأوقات غير سالب (موجب) ، فإن الوظيفة لا تنقص (تزيد) في هذا الفاصل.

النتيجة الطبيعية 2 (معيار ثبات الوظيفة):
مستمر على قطع $$$[a، b]$ وظيفة ليست ثابتة إذا وفقط إذا كان مشتقها هو صفر في أي نقطة من الفاصل $$$[a، b]$ (أو على الأقل الفاصل الزمني $$$] أ ، ب [$ ).

مشتق جزئي من وظيفة العديد من المتغيرات

من خلال $$$\ mathbb {R} ^ m$ دلالة على المجموعة:

$$

$$\ mathbb {R} ^ m = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ m = \ {(\ omega_1، \ omega_2، ... ، \ omega_m)، \ space \ omega_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1، m} \}.$$

التعريف 8:

وظيفة $$$f \ colon E \ to \ mathbb {R}$ المحددة في المجموعة $$$E \ subset \ mathbb {R} ^ m$ ويسمى التفاضل في هذه النقطة $$$x \ في E$ الحد للمجموعة $$$E$ إذا

$$

$$f (x + h) -f (x) = L (x) h + \ alpha (x؛ h) ، \ qquad (1)$$

حيث $$$L (x) \ colon \ mathbb {R} ^ m \ to \ mathbb {R}$ - الخطية فيما يتعلق $$$ح$ وظيفة [وظيفة الفرق $$$و$ عند هذه النقطة $$$x$ (ملحوظة. $$$df (x)$ أو $$$f '(x)$ )] ، و $$$\ alpha (x؛ h) = o (h)$ في $$$h \ إلى 0 ، x + h \ in E$ .

يمكن إعادة كتابة العلاقة (1) على النحو التالي:

$$

$$f (x + h) -f (x) = f '(x) h + \ alpha (x؛ h)$$

أو

$$

$$\ bigtriangleup f (x؛ h) = df (x) h + \ alpha (x؛ h).$$

إذا ذهبنا إلى السجل الإحداثي لهذه النقطة $$$x = (x ^ 1، ...، x ^ m)$ متجه $$$h = (h ^ 1، ...، h ^ m)$ والوظائف الخطية $$$L (x) h = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m$ ، ثم المساواة (1) تبدو هكذا

$$

$$f (x ^ 1 + h ^ 1، ...، x ^ m + h ^ m) -f (x ^ 1، ...، x ^ m) = \\ = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m + o (h) \ quad لـ \ space \ space h \ to 0 ، \ qquad (2)$$

حيث $$$a_1 (x)، ...، a_m (x)$ - المرتبطة نقطة $$$x$ أرقام حقيقية. تحتاج إلى العثور على هذه الأرقام.

نحن نشير

$$

$$h_i = h ^ ie_i = 0 \ cdot e_1 + ... + 0 \ cdot e_ {i-1} + h ^ i \ cdot e_i + 0 \ cdot e_ {i + 1} + ... + 0 \ cdot e_m ،$$

حيث $$$\ {e_1، ...، e_m \}$ - أساس في $$$\ mathbb {R} ^ m$ .

في $$$h = h_i$ من (2) نحصل عليه

$$

$$f (x ^ 1، ...، x ^ {i-1}، x ^ i + h ^ i، x ^ {i + 1}، ...، x ^ m) -f (x ^ 1، ... ، x ^ i ، ... ، x ^ m) = \\ = a_i (x) h ^ i + o (h ^ i) \ quad for \ space \ space h ^ i \ to 0. \ qquad (3) دولا$$

من (3) نحصل عليها

$$

$$a_i (x) = \ lim_ {h_i \ to 0} \ frac {f (x ^ 1، ...، x ^ {i-1}، x ^ i + h ^ i، x ^ {i + 1} ، ..، x ^ m) -f (x ^ 1، ...، x ^ i، ...، x ^ m)} {h ^ i}. \ qquad (4)$$

التعريف 9:
يسمى الحد (4) بالمشتق الجزئي للوظيفة $$$f (x)$ عند هذه النقطة $$$x = (x ^ 1، ...، x ^ m)$ بواسطة متغير $$$x ^ i$ . تم تعيينه:

$$

$$\ frac {\ جزئية f} {\ جزئية x ^ i} (x) ، \ quad \ جزئية (x) ، \ quad f '_ {x ^ i} (x).$$

مثال 1:

$$

$$f (u، v) = u ^ 3 + v ^ 2 \ sin u، \\ \ جزئي_1f (u، v) = \ frac {\ الجزئي f} {\ الجزئي u} (u، v) = 3u ^ 2 + v ^ 2 \ cos u، \\ \ جزئية 2 f (u، v) = \ frac {\ جزئية f} {\ جزئية v} (u، v) = 2v \ sin u.$$

نزول التدرج

سمح $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ حيث $$$\ mathbb {R} ^ n = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ n = \ {(\ theta_1، \ theta_2، ... ، \ theta_n)، \ space \ theta_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1، n} \}$ .

التعريف 10:

وظيفة التدرج $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ دعا ناقلات ، $$$i$ العنصر الذي يساوي $$$\ frac {\ جزئية f} {\ جزئية \ theta_i}$ :

$$

$$\ bigtriangledown _ {\ theta} f = \ left (\ start {array} {c} \ frac {\ الجزئي f} {\ جزئي \ theta_1} \\\ frac {\ جزئي f} {\ الجزئي \ theta_2} \\ \ vdots \\\ frac {\ جزئي f} {\ جزئي \ theta_n} \ end {array} \ right) ، \ quad \ theta = (\ theta_1 ، \ theta_2 ، ... ، \ theta_n).$$

التدرج هو الاتجاه الذي تزيد فيه الوظيفة بسرعة أكبر. هذا يعني أن الاتجاه الذي ينخفض ​​فيه بسرعة أكبر هو الاتجاه المعاكس للتدرج ، أي $$$- \ bigtriangledown _ {\ theta} f$ .

الهدف من طريقة النسب التدرج هو البحث عن النقطة القصوى (الحد الأدنى) للدالة.

دلالة بواسطة $$$\ theta ^ {(t)}$ وظيفة متجه المعلمة في الخطوة $$$t$ . ناقل تحديث المعلمة في الخطوة $$$t$ :

$$

$$u ^ {(t)} = - \ eta \ bigtriangledown _ {\ theta} f (\ theta ^ {(t-1)}) ، \ quad \ theta ^ {(t)} = \ theta ^ {(t- 1)} + u ^ {(t)}.$$

في الصيغة أعلاه ، المعلمة $$$\ eta$ هي سرعة التعلم التي تتحكم في حجم الخطوة التي نتخذها في اتجاه منحدر التدرج. على وجه الخصوص ، قد تنشأ مشكلتان متعارضتان:

• إذا كانت الخطوات صغيرة جدًا ، فسيكون التدريب طويلًا جدًا ، ويزيد احتمال الوقوع في الحد الأدنى المحلي غير الناجح على طول الطريق (الصورة الأولى في الصورة أدناه) ؛
• إذا كانت كبيرة جدًا ، فيمكنك القفز بلا نهاية إلى الحد الأدنى المطلوب ذهابًا وإيابًا ، ولكن لا تصل أبدًا إلى أدنى نقطة (الصورة الثالثة في الصورة أدناه).

مثال:
النظر في مثال لطريقة النسب التدرج في أبسط الحالات ( $$$ن = 1 دولا$ ). هذا هو $$$f \ colon \ mathbb {R} \ to \ mathbb {R}$ .
سمح $$$f (x) = x ^ 2 ، \ quad \ theta ^ {(0)} = 3 ، \ quad \ eta = 1$ . ثم:

$$

$$\ frac {\ جزئي f} {\ جزئية x} (x) = 2x \ quad \ Rightarrow \ quad \ bigtriangledown f_ \ theta (x) = 2x؛ \\ \ theta ^ {(1)} = \ theta ^ {(0)} - 1 \ cdot f_ \ theta (\ theta ^ {(0)}) = 3 - 6 = -3؛ \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 1 \ cdot f_ \ theta (\ theta ^ {(1)}) = - 3 + 6 = 3 = \ theta ^ {(0 )}.$$

في حالة متى $$$\ eta = 1$ ، الوضع كما في الصورة الثالثة من الصورة أعلاه. نحن نقفز باستمرار على النقطة القصوى.
سمح $$$\ eta = 0.8 دولا$ . ثم:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0.8 \ times f_ \ theta (\ theta ^ {(0)}) = 3 - 0.8 \ times6 = 3 - 4.8 = -1.8؛ \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 0.8 \ times f_ \ theta (\ theta ^ {(1)}) = - 1.8 + 0.8 \ times3.6 = -1.8 + 2.88 = 1.08 ؛ \\ \ theta ^ {(3)} = \ theta ^ {(2)} - 0.8 \ times f_ \ theta (\ theta ^ {(2)}) = 1.08 - 0.8 \ times2.16 = 1.08 - 1.728 = - 0.648. \\ \ theta ^ {(4)} = \ theta ^ {(3)} - 0.8 \ times f_ \ theta (\ theta ^ {(3)}) = - 0.648 + 0.8 \ times1.296 = -0.648 + 1.0368 = 0.3888 ؛ \\ \ theta ^ {(5)} = \ theta ^ {(4)} - 0.8 \ times f_ \ theta (\ theta ^ {(4)}) = 0.3888 - 0.8 \ times0.7776 = 0.3888 - .62208 = -،23328. \\ \ theta ^ {(6)} = \ theta ^ {(5)} - 0.8 \ times f_ \ theta (\ theta ^ {(5)}) = - 0.23328 + 0.8 \ times0.46656 = -0.23328 + 0.373248 = \\ = 0.139968.$$

يُرى أننا نقترب من نقطة التطرف.
سمح $$$\ eta = 0.5$ . ثم:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0.5 \ times f_ \ theta (\ theta ^ {(0)}) = 3 - 0.5 \ times6 = 3 - 3 = 0؛ \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 0.5 \ times f_ \ theta (\ theta ^ {(1)}) = 0 - 0.5 \ times0 = 0.$$

تم العثور على النقطة القصوى في خطوة واحدة.

قائمة الأدبيات المستخدمة:

• "التحليل الرياضي. الجزء 1 "، V.A. Zorich، Moscow، 1997؛
• "التعلم العميق. الانغماس في عالم الشبكات العصبية "، S. Nikulenko ، A. Kadurin ، E. Arkhangelskaya ، PETER ، 2018.