تاريخ تشوه العلماء المهنية


"إذا كان لديك مطرقة في يديك ، كل شيء يبدو وكأنه الأظافر"


بصفتنا ممارسين للبيانات ، ينخرط العلماء في تحليل البيانات ، وجمعها ، وتنقيتها ، وإثرائها ، ونقوم ببناء وتدريب نماذج من العالم من حولنا ، استنادًا إلى البيانات ، ونجد علاقات وتناقضات داخلية بين البيانات ، وأحيانًا لا يوجد أي منها. بالطبع ، لا يمكن لمثل هذا الانغماس أن يؤثر على رؤيتنا وفهمنا للعالم. يوجد تشوه احترافي في مهنتنا بالطريقة نفسها الموجودة في أي مهنة أخرى ، لكن ما الذي يحدث لنا بالضبط وكيف يؤثر على حياتنا؟


تنصل


لا تدعي هذه المقالة أنها علمية ، ولا تعبر عن وجهة نظر واحدة لمجتمع نظام الوثائق الرسمية ، وهي رأي شخصي للمؤلف.



مقدمة



إذا كنت مهتمًا بكيفية عمل عقولنا ، وكيف ندرك العالم من حولنا ، وبالفعل ما نقوم به هنا ، فإن العديد من الأشياء الموضحة في هذه المقالة لن تكون شيئًا جديدًا تمامًا بالنسبة لك. بشكل أو بآخر ، تم وصف كل هذا بالفعل أكثر من مرة من زوايا مختلفة تمامًا. تتمثل مهمتي في محاولة النظر إلى كل هذا من منظور محلل البيانات ، وأيضًا استخلاص أوجه التشابه بين الأدوات والمناهج التي نستخدمها في عملنا ، والحياة الحقيقية خارج الشاشة.



مقدمة



أولاً ، تخيل إعدادًا مبسطًا إلى حد ما:


من حولنا هناك عالم من حولنا من أجل البقاء والعمل بنجاح فيه ، يحتاج الشخص إلى فهم ما يمثله (العالم) ، وكيفية التفاعل معه ، وما هي النتائج التي يتم الحصول عليها من التفاعلات المختلفة. بمعنى آخر ، يحتاج الشخص إلى نموذج من العالم من حوله يحل بشكل مناسب مهامه الحالية . المفتاح هو " المهام الحالية ". عندما كانت مهمة البقاء على قيد الحياة في المقام الأول ، تم بناء نموذج العالم ، أولاً وقبل كل شيء ، على الاعتراف السريع بالخطر ورد الفعل المناسب عليه. وهذا هو ، أولئك الذين لديهم نموذج أسوأ - لم يتمكنوا من نقله ؛ ​​أولئك الذين لديهم نموذج أفضل - تم نقلهم إلى ذريتهم. مع تحسن الظروف المعيشية ، بدأ التركيز في النموذج يتغير من البقاء النقي إلى شيء أكثر تنظيماً ، والبيئة الأكثر أمانًا ، كلما أصبح "شيء ما" أكثر تنوعًا. طيف "شيء ما" واسع للغاية - من Bitcoin و DS إلى النسوية الراديكالية والتسامح.


خلقت الطبيعة عقولنا لحل مشكلة البقاء على قيد الحياة في ظروف محدودة الموارد - لم يكن هناك ما يكفي من الغذاء ، ولم يكن هناك ما يكفي من الطاقة لأي من القمامة ، لذلك ، من أجل البقاء على قيد الحياة ، كان من الضروري حل مهمتين متبادلتين:


  • اكتشاف العالم ، وتحسين النموذج ، وزيادة فرص البقاء على قيد الحياة (مهمة تستهلك الكثير من الطاقة)
  • لا تموت من نقص الطاقة

قامت الطبيعة بحل هذه المعضلة بأناقة شديدة ، حيث أدخلت في عقولنا القدرة على تخزين تدفقات البيانات وردود الفعل ، عندما لا تضيع الطاقة عملياً لحل المشاكل الأساسية (في إطار النموذج الحالي) للتفاعل مع العالم الخارجي.


يمكنك قراءة المزيد حول طريقة التخزين المؤقت هذه و "نظرية الاهتمام بالموارد" في أعمال د. كانيمان الممتازة " فكر ببطء ، قرر بسرعة " [1] و " الانتباه والجهد " [3]



بحسب د. كانيمان:



يميز علماء النفس طريقتين للتفكير ، والتي سوف نسميها بالنظام 1 والنظام 2.

يعمل النظام 1 تلقائيًا وبسرعة كبيرة ، دون الحاجة إلى أي جهد أو بدون أي جهد ودون إعطاء إحساس بالتحكم المتعمد

يولي النظام 2 الاهتمام اللازم للجهد العقلي الواعي ، بما في ذلك الحسابات المعقدة. غالبًا ما ترتبط إجراءات النظام 2 بإحساس شخصي بالنشاط والاختيار والتركيز.

تتم برمجة أنماط السلوك وردود الفعل والاستجابات في أدمغتنا (شكل وتغيير نموذج العالم) من الطفولة حتى الموت. يعتمد عاملان على المرحلة التي يوجد بها تشكيل النموذج - معدل قبول التغييرات وكمية الطاقة اللازمة للتغيير. في مرحلة الطفولة ، عندما يكون النموذج مرنًا ومرنًا ، تكون السرعة مرتفعة وتكاليف الطاقة منخفضة للغاية. كلما زادت كثافة النموذج ، زادت الطاقة اللازمة لتغييره. أكثر من ذلك ، هناك حاجة أيضًا للطاقة حتى يرغب الشخص ببساطة في تغيير شيء ما في النموذج . ويتم التحكم في أي هدر للطاقة من قِبل الدماغ ، وهو متردد جدًا في السماح بإنفاقها.


سيتم رفض الأمر بتغيير النموذج من قِبل الدماغ (لا يزال ، مستهلكًا للطاقة ، ولكن لماذا؟ لأن كل شيء على ما يرام معنا) حتى يهدد العمل في إطار النموذج القديم البقاء على قيد الحياة. حسنًا ، أو حتى يتم تلقي الطاقة عن طريق انفجار تلقائي (صدمة من شيء ما ، أو ضربة نفسية ، إلخ.)



TL / DR:


  • من أجل البقاء ، يبني الشخص في رأسه نموذجًا للعالم من حوله ، ويحل مهامه الحالية
  • عند حل أي مشكلة ، يحاول الدماغ تقليل استهلاك الطاقة.
  • أقل العمليات كثافة في استخدام الطاقة في إطار نظام 1 (كانيمان) ، الفشل في اتخاذ القرارات بشأن التغيير
  • الأكثر كثافة في استخدام الطاقة يعمل في إطار System-2 ، واتخاذ القرارات بشأن تغيير النموذج وتغيير النموذج نفسه


Metamodel (نموذج نموذجي)



لذلك ، من أجل التفاعل مع العالم الخارجي ، يصنع الشخص نموذجًا للعالم في دماغه ويتصرف وفقًا لأطول فترة ممكنة (تذكر مرة أخرى حول تقليل تكاليف الطاقة). لكن الشخص ، لسوء الحظ أو لحسن الحظ ، هو حيوان اجتماعي - لا يمكننا التفاعل مع الآخرين ، وغالبًا ما يربكنا هذا التفاعل.


للتفاعل بفعالية مع الآخرين ، نقوم في رأينا ببناء نموذج سلوكي لهؤلاء الأشخاص ، أي نموذج لكيفية تصرفهم في ظروف معينة في وجود بيانات معينة. وهذا هو ، نحن نبني نموذجًا لنموذج العالم المحيط بهذا الشخص بعينه.


توقفوا وفكروا - نموذج العالم في رأس الشخص غير كامل ولا يلبي سوى معاييره الخاصة بالكفاية والكفاية ، ونحن نبني نموذجًا لهذا النموذج (الغريب) ونتفاعل مع هذا الشخص وفقًا لنموذجنا. نعم ، ونريد أيضًا أن يفعل الناس ما يخبرنا به "نموذج نموذجنا" . متفائل؟ نعم ، أكثر من ....


لبناء نموذج مناسب وتدريبه ، ليس لي أن أخبرك ، أنت بحاجة إلى الكثير من الوقت والطاقة والبيانات. وغالباً ما لا نملك واحدة أو أخرى ، وكلما زادت درجة الحرية (البارامترات) التي يتمتع بها النموذج ، زادت الحاجة إلى مزيد من البيانات - لعنة البعد ، تذكر؟


وتطير الحياة ، والوقت قصير ، وبالتالي (يعمل System-1) ، وتلتقي بشخص ما ، وحتى نتواصل معه في بعض الحالات ، نختار أحد قوالب النماذج المجمعة مسبقًا التي لدينا بالفعل في إلى الرأس ("الكلبة" ، "طفل عادي" ، "مولهيل" ، "فقط" رقم ؛ حزب العدالة والتنمية "، إلخ") ، ربما القليل من التفاصيل في حالة معينة.


نعم ، بالطبع ، هناك استثناءات ، فهناك أشخاص لا نشعر بالأسف من أجل الوقت أو الطاقة ، والذين عرفناهم طوال حياتنا. لكن في هذه الحالة ، نعرف فقط عن الشخص الموجود في نموذجنا لهذا الشخص.



ما يلي من هنا؟ بعض الأشياء الواضحة:


حسنًا ، أولاً ، التاريخ الذي لا يشعر فيه العالم بالاستياء تجاه الآخرين .

تماما من الكلمة تماما. في مفرداته ، مصطلح "الاستياء" غائب. لماذا؟ كل شيء بسيط - في قلب أي إهانة يكمن سوء فهمنا:


  • كيف يمكنه (هي ، هكذا) (يقول ، يفعل ، يتصرف)؟
  • أم لا (قل ، افعل ، افعل)؟

وهذا هو ، في نموذجنا لهذا الشخص ، أنه في ظروف محددة مع حزمة مدخلات محددة من المعلومات كان يجب أن يتصرف بهذه الطريقة ، لكنه لم يفعل. هذا اللقيط ، هاه؟ نعم ، إنه ليس لقيطًا ، لكن نموذجنا لهذا الشخص خاطئ. لقد فاتنا شيء ما فيه ، أو لم نعجبه لظروف معينة على الإطلاق ، لكننا أخذنا للتو قالبًا ، أو أن بيانات الإدخال في الوضع الحالي تختلف عن تلك التي قمنا بتدريب النموذج عليها.


ماذا تفعل في هذه الحالة؟ نفس الشيء كالمعتاد - نحن ننظر إلى ما هو الخطأ في البيانات وتجاوز النموذج بالمعلومات الجديدة.


ثانياً ، لا يحتوي تاريخ العالم على رد الفعل " هناك خطأ ما على الإنترنت ".

إنه لا يعمل فقط على الإنترنت ، ولكن أيضًا في العمل ، في المجتمع ، إلخ. إذا كان الشخص لا يفهم شيئًا ما (كما يبدو لك) ، أو يفهمه ، ولكن ليس بالطريقة التي تعمل بها ، فربما يكون لديه ببساطة نموذج مختلف تمامًا لهذا الجزء من العالم . ولإقناع مثل ، حمله على تغيير نموذجه (خاصة إذا لم يكن يريد ذلك) أمر صعب للغاية وكثيفة الاستهلاك للطاقة. هل تحتاجها؟


هناك خيار مختلف تمامًا ، عندما يكون الشخص مستعدًا لتغيير نموذجه ، يريد توسيعه أو تشديده ، ولديه القوة والطاقة اللازمة لذلك. يمكنك المساعدة - المساعدة - لا - توجيه الشخص الذي يمكنه ذلك. لا يمكنك المساعدة ولا التوجيه - لا تتدخل .


في المرة القادمة ، لا تثير غضب أي شخص إذا كان ، في رأيك ، "مخطئًا" أو "لا يفهم شيئًا ما". في نموذجه للعالم ، كل شيء مختلف. وكلما كان النموذج أكثر خشونة و "أبسط" ، زادت الطاقة اللازمة لإخراجها على الأقل من نقطة التوازن ، ناهيك عن تغيير شيء ما.


ثالثًا ، يتذكر تاريخ العالم مبدأ " الأمور ليست دائمًا كما تبدو ".

لفهم كيفية عمل هذا النظام ، هناك فرصة لتقليد بعض النماذج الأساسية والتأقلم مع المجتمع الذي تتواجد فيه حاليًا والتكيف معه ، وإلى أن تخرج منه ، سيكون كل شيء على ما يرام. إنه يعمل في كلا الاتجاهين ، لذلك لا تنسى - " البومة ليست كما تبدو ".


"التصور عن الحبل كأنه ثعبان غير صحيح تمامًا مثل تصور الحبل على أنه حبل" (C)



بناء نموذج والتدريب



حسب تاريخ العلماء ، نفهم جيدًا مدى صعوبة إنشاء نموذج أكثر أو أقل كفاية وتدريبه وإعادة تدريبه باستمرار. وبالتالي ، فإن تاريخ العالم يشير بهدوء وصبر إلى عيوب النماذج في رؤوس الآخرين ويحسن باستمرار نظيره . وبما أنه لا يزال محترفًا ، فإنه يتذكر تمامًا المبادئ الأساسية للنمذجة الناجحة:



ما يدور حوله (القمامة في - القمامة خارج.)


تعتمد دقة وكفاية النموذج على نقاء البيانات أكثر من أي شيء آخر. نعلم جميعًا ذلك ، فنحن نقضي وقتًا هائلًا في تنظيف البيانات ، والمعالجة المسبقة ، والتطبيع ، وما إلى ذلك وهكذا دواليك. تغذية نموذج القمامة - والنتيجة يمكن التنبؤ بها. إطعامها تطهيرها بيانات طبيعية - ورؤى في جيبك. النماذج في رؤوسنا تعمل بنفس الطريقة تمامًا. لفهم هذا ، نحاول استخدام أكثر البيانات دقة ونظيفة للمعالجة والتدريب ، ونستمر في استخدام عين حرجة لتحليل كفاية البيانات ، والسعي لمنع المعلومات القذرة والضوضاء في نموذجنا . باختصار - قراءة هبر ولا تشاهد القناة الأولى.



الفرق بين القطار والاختبار (صداعنا)


يفهم العالم أن قابلية تطبيق النموذج تعتمد بشكل مباشر على تشابه التوزيعات التي درس عليها النموذج والذي تم تطبيقه عليه . قواعد السلوك في مجتمع ما لا تعمل في مجتمع آخر ، ومبادئ النجاح في مجال ما لا تنطبق على مجتمع آخر ، "نموذج السلوك المعتاد" للجنس الآخر ، المبني على أساس قصص والدتي ، فجأة ليس صحيحًا تمامًا ، جيدًا ، إلخ.


نأخذ دائمًا في الاعتبار التباين المحتمل لمجموعة البيانات التدريبية التي قمنا بتدريب نموذجنا على العالم ومجموعة البيانات الحقيقية التي نطبق عليها نموذجنا.


باختصار ، نحن نتفهم سبب التباين ، ونحن مستعدون لإنفاق الطاقة على التدريب المسبق للنموذج لمواءمة العالم الواقعي بشكل أوثق.



اختيار الوظيفة الموضوعية والتعلم متعدد المجالات


يمكن نقل أي مهمة تقريبًا إلى مجال آخر عن طريق تغيير الوظيفة الهدف. لم يتم حل المشكلة كما الانحدار؟ أعد هدف الفئات وحلها كمهمة تصنيف. والأفضل من ذلك ، جعل رأسين بالشبكة ، ودع المرء يحل مشكلة واحدة ، والثاني يعاد صياغته. على نفس مجموعة البيانات ، يمكن تدريب نموذجين مختلفين ، وشحذ على أشياء مختلفة تماما. تذكر هذا ، الخيار الأفضل ، كما في الحياة ، هو التعلم متعدد المجالات ، عندما تغطي وظيفتك النهائية الهدف عدة مجالات في وقت واحد . في العمل ، على سبيل المثال ، يمكنك كسب المال فقط ، ولا يزال بإمكانك تنزيل المهارات المهنية ، ولا يزال بإمكانك تحسين مهارات التفاعل الاجتماعي. كما في حالة النماذج التقليدية ، يسمح هذا النهج ، في النهاية ، بإثراء وتحسين جميع الأهداف متعددة المجالات ، كما لو أننا قمنا بتنزيلها بشكل منفصل. ولا تنسَ هذا الوقت - فهناك ثلاثة طرز للأغراض الفردية تتطلب ثلاثة أضعاف الوقت ، وفي الحياة الواقعية ليست بهذا القدر ، وللأسف ، لن تكون قادرًا على موازنة التدريب بعشرات أو اثنين من أعضاء TPU.



التدريب على القطع (التعلم الدفعي)


منذ فترة طويلة أثبت التدريب النموذجي على دفعات فعاليته. إذا كنت لا تأخذ بعين الاعتبار المجالات المحددة التي تتطلب التدريب عبر الإنترنت ، فلا جدوى من تحديث الأوزان فقط بعد مرور الحقبة بأكملها. نعم ، التدريب على الدُفعات ينتج عنه ضوضاء عالية التردد ، ولكن هذا يقابله معدل تقارب أعلى بنفس الدقة تقريبًا.


ماذا يعطينا هذا؟ فهم أنه من غير المنطقي الانتظار لفترة طويلة قبل تغيير نموذجك للعالم قليلاً بناءً على بيانات جديدة. لا داعي للانتظار للعصر كله ، حسناً ، لا أعرف ، عام في وظيفة جديدة ، سنة من العلاقات مع شخص جديد ، تتغير كثيرًا - ستحصل على حركة أسرع نحو هدفك النهائي ، جيدًا ، الاستكشاف سيتيح المزيد من الفرص. من غير المجدي أن نصرخ بأن "كل شيء قد ضاع" بعد حادثة واحدة ، ربما كان مجرد فورة ، ربما تطورت النجوم على هذا النحو ، انتظر حتى نهاية الدفعة ، تتراكم الأخطاء - ثم قم بتغيير النموذج.




هناك العديد من المقالات (على سبيل المثال ) حول الموضوع ، عند البحث عن أفضل المعلمات ، الفرز العشوائي أفضل من البحث في الشبكة. لذلك ، في حالتنا ، يكون اختيار العمل "العشوائي" هو الأفضل فعلًا "الزائفة عشوائيًا" ، وليس وفقًا لبعض الشبكات المحددة مسبقًا . سوف يدافعونني الآن عن المعجبين وأتباع الأساليب الصارمة ، ولكن على محمل الجد ، يحكمون العالم بفرصة ، ويمكن أن يكون استخدام مثل هذه الطريقة أكثر غرابة.


الأفضل من ذلك ، بالطبع ، هو استخدام التحسين بايزي . لكن هنا ليس لدي أي فهم لكيفية تطبيقها على الحياة الحقيقية. ليس النهج النظرية الافتراضية لفهم المعلومات ، ولكن تحسين النظرية الافتراضية عند اختيار البارامترات.



الفرق (فرقة)


نعلم جميعًا قوة المجموعات ، حيث ينظر كل نموذج في البيانات بطريقته الخاصة ، وسحب بعض الإشارات منها ، ويتم تحقيق أفضل نتيجة باستخدام نموذج metamodel أعلى نماذج المستوى الأول. في الحياة ، كل شيء متماثل تمامًا ، يمكنك بناء النموذج الخاص بك من العالم ليس فقط على أساس تجربتك الخاصة ، ولكن أيضًا استيعاب الأفضل (أو العكس ، فهم واستبعاد الأسوأ) من نماذج الآخرين في العالم. يتم وصف هذه النماذج في الكتب والأفلام ، وفقط من خلال مراقبة سلوك الأشخاص الآخرين ، يمكنك فهم أي نوع من النماذج لديهم ، والاستفادة الأفضل وبناء نفسك.


تذكر "العديد من الأشياء غير مفهومة بالنسبة لنا ، ليس لأن مفاهيمنا ضعيفة ، ولكن لأن هذه الأشياء ليست مدرجة في دائرة مفاهيمنا." أدركت كوزما بتروفيتش مشكلة النماذج المحدودة ، حتى من دون أن تكون عالماً لممارسة التاريخ. :)


أشخاص مختلفون ، بيئات مختلفة ، بيانات مختلفة - نماذج مختلفة ، حتى بالنسبة للأشياء التي تبدو واضحة. إذا كنت تعمل في شركات كبيرة ، فربما تتذكر كل هذه التدريبات التي لا نهاية لها حول السلوك وقواعد الاتصال والتحرش وغير ذلك الكثير. ماذا بحق الجحيم ، فكرت. لكن لا ، ليس القمامة. في الشركات الدولية الكبرى (بسبب الاختلافات في الثقافة والعقلية والقيم) ، من الضروري ببساطة إدخال طبقة من المبادئ الأساسية في نموذج كل موظف لضمان التفاعل والعمل العاديين.



TL / DR


  • ما يحدث لك في هذا العالم ، أنت وحدك من العالم هم المسؤولون
  • لا يتعين على نماذج العالم الآخرين أن ترتبط بنماذجك الخاصة
  • على الأرجح أن نماذج التعريف الخاصة بك لنماذج عالم الآخرين لا تتوافق مع الواقع
  • من الصعب أن تصنع في عقلك نموذجًا مفتوحًا للعالم ، جاهزًا للتغيير وفقًا لمبدأ بايزي. من الصعب الحفاظ عليها في هذه الحالة المفتوحة طوال الحياة. من الصعب جدًا أن تظل شخصًا


ما تبقى وراء الكواليس




نظرية الحد المركزي


كما تقول لجنة مكافحة الإرهاب ، فإن مجموع الأحداث العشوائية التي أُخذت من أي نوع من التوزيعات التي تعتمد على ضعف ضعيف هو بحد ذاته متغير عشوائي ويتم توزيعه عادة في الحد الأقصى.


تتكون حياتنا بأكملها من أحداث عشوائية : وقت انتظار المصعد أو الحافلة في محطة ، أو فاتتك زاوية أم لا ، إلخ. يمكنك تقييم اليوم بشكل مشروط على أنه ناجح أو غير ناجح (متغير عشوائي آخر) ، حسب المكان الذي وصلنا إليه في التوزيع النهائي - إلى المركز أو الذيل. في عينة كبيرة بما يكفي (على سبيل المثال ، سنة) ، يمكن ملاحظة أن هذا المتغير العشوائي الخاص بنا يتم توزيعه بشكل طبيعي ، ويتركز على " جيد ، كل شيء على ما يرام "


التاريخ الذي يفهم فيه العالم كل ما ورد أعلاه ولا يتم تبخيره إذا وقع في ما يسمى "خط أسود" عندما يكون كل شيء سيئًا - وترك الحافلة تحت الأنف ، وصب القهوة ، ولم تحفظ الكود ، إلخ. إنه يدرك أنه لدينا اليوم ذيل التوزيع ، نحتاج فقط إلى البقاء على قيد الحياة هذا اليوم ، وغداً ، ربما ، العالم سيختبر الأحداث لنا بطريقة مختلفة قليلاً.


بالمناسبة ، فإن الانتقال إلى نقطة مرجعية جديدة للأحداث (مجموعة جديدة من العينات) هو حلم . ليس يومًا تقويميًا ، وليس منتصف الليل ، ولكن يومًا شخصيًا جديدًا بعد الاستيقاظ. لقد فهم أسلافنا هذا بشكل حدسي (على الرغم من أنهم لم يكونوا يعرفون شيئًا عن xgboost و keras) ، فمن هنا أصبحت أقوال " صباح المساء أكثر حكمة " و " إذا كنت ترغب في العمل ، اذهب إلى الفراش ، وسوف يمر كل شيء ".


“ ” ( p-value “”), , - ( , ), .




, “ ”. . [1].


, - , . , , , - )


, “ , ”.



(Exploitation vs Exploration)


, , . , , , — “ — ! ”. , , , , - , , , - .


… . - , . ( ), , , - . , “ , ”. , , . . , - , .


“ ” RL( Reinforcement learning ). , , , , , , . , , , , - , , . RL . , ( ) , , , - .


, , , , exploration , .




, , , , - , . , ” “ ”.


, “” . , , , “ ”, .


, - (, , ..) “”, , , .




- , , -1. , , , , .., .. . , -2. . , , -2 , , .



“ ”


, , , -1 , .




, “ , ” (). . , , - , , , . , , , , , , , .



TL/DR


  • ,
  • . ,
  • (exploration)
  • , . , - , 1

استنتاج



, - , , , , , .



  1. . … . — .: , 2013. — 625 .
  2. Kaneman D.، Slovik P.، Tversky A. Decision-making in the اليقين: Rules and prejudties .، Kharkov: Humanitarian Center، 2005. - 632 p. - [ISBN 966-8324-14-5]
  3. Kahneman D. الاهتمام والجهد / العابر. من الانجليزية أنا إس. أوتوتشينا. - M: Sense ، 2006 .-- 288 p.
  4. Frith K. ، "العقل والروح: كيف يشكل النشاط العصبي عالمنا الداخلي"

Source: https://habr.com/ru/post/ar447362/


All Articles