هناك رأي مفاده أنه لا يمكنك أن تصبح مركز بيانات إلا بعد الحصول على تعليم عالٍ مناسب ، أو شهادة.
ومع ذلك ، يتغير العالم ، أصبحت التكنولوجيا متاحة لمجرد البشر. ربما سأفاجئ شخصًا ما ، لكن أي محلل أعمال قادر اليوم على إتقان تقنيات التعلم الآلي وتحقيق نتائج تتنافس مع علماء الرياضيات المحترفين ، وربما حتى الأفضل.
لكي لا يكون لديك أساس من الصحة ، سأخبرك بقصتي - بصفتي اقتصاديًا ، أصبحت محلل بيانات ، بعد أن تلقيت المعرفة اللازمة من خلال الدورات عبر الإنترنت والمشاركة في مسابقات التعلم الآلي.
أنا الآن محلل رائد في مجموعة البيانات الضخمة في QIWI ، ولكن قبل ثلاث سنوات كنت بعيدًا تمامًا عن قواعد البيانات ولم أسمع سوى عن الذكاء الاصطناعي من الأخبار. ولكن بعد ذلك تغير كل شيء ، ويرجع الفضل في ذلك إلى حد كبير إلى Coursera و Kaggle.
لذا ، أول الأشياء أولاً.
عن نفسي
أنا خبير اقتصادي ، عملت كمستشار أعمال لبعض الوقت. تخصصي هو تطوير منهجية إعداد الميزانية وإعداد التقارير للأتمتة اللاحقة. إذا كان ذلك بطريقة بسيطة - فهذا يتعلق ببناء العملية أولاً بشكل طبيعي ، بحيث يحدث لاحقًا نتيجة للأتمتة.
قبل 3 سنوات ، في سن 42 ، عندما شعرت أنه من النجاح في الاستشارات ، بدأت في تحقيق البرونزية ، وبدأت أفكر في الحاجة إلى التغيير. عن الوظيفة القادمة. كانت لدي خبرة بالفعل في كيفية بدء مهنة من الصفر (في عمر 30 غيرت حياة الاقتصادي الهادئة إلى الاستشارات) ، لذا لم تخفني التغييرات.
لا يتبادر إلى ذهني على الفور ، ولكن عندما تفكر في الأمر ، يصبح من الواضح أنه على الرغم من أنني عملت بالفعل لمدة 20 عامًا ، لا يزال هناك حوالي 25 عامًا قبل التقاعد (كان من المفهوم منذ فترة طويلة أنه يجب علينا التركيز على التقاعد في سن 70 أو حتى في وقت لاحق ) بشكل عام ، الطريق أمامك أطول من الطريق الذي مر بالفعل ، وسيكون من الجيد أن تذهب مع تخصص فعلي. لذا كان الأمر يستحق التعلم. في ذلك الوقت ، عملت بشكل مستقل ، ومن أجل المستقبل ، خفضت عدد المشاريع وتمكنت من تخصيص وقت كافٍ للدراسة.
بينما كنت أفكر في مكان أبعد من ذلك ، اكتشفت Coursera. النهج الغربي في التعليم ، عندما شرحوا أولاً المعنى ، والفكرة العامة ، وبعد ذلك فقط التفاصيل ، تبين أنها قريبة مني. على عكس نظام التعليم السوفياتي الوحشي ، الذي يفترض أن المستحقين فقط هم الذين سيظهرون ، فإنهم يعطون فرصة لأشخاص مثلي ، الذين يعانون من فجوات في التعليم الأساسي.
لقد بدأت مع دورات تحليلات الأعمال. لقد كان هذا مفيدًا للغاية بالنسبة لي كمستشار. ساعدتني نفس الدورات التدريبية في فهم دور تقنيات الذكاء الاصطناعي في تطوير الأعمال بشكل أفضل ، والأهم من ذلك ، رؤية دوري في ذلك. هذا هو الحال مع التقنيات الأخرى - ليس من الضروري على الإطلاق أن يكون أولئك الذين يطورون تقنيات جديدة هم الأفضل في تطبيقاتهم. لكي تساعد التكنولوجيا حقًا شركة ما ، من المهم أن تفهم هذا العمل. الخبرة في العمليات التجارية لا تقل أهمية عن فهم تقنيات التعلم الآلي ومعالجة البيانات الضخمة ، إلخ.
وانغمست في دورات حول البيانات والإحصاءات والبرمجة.
مع الانقطاعات ، على مدار عام ، أتقنت أكثر من 30 دورة في Coursera ولم أعد أشعر وكأنني أجنبي في عالم الكبار وتعلم الآلة.
Kaggle
أوصت بعض الدورات التدريبية Kaggle كمكان رائع لممارسة. لا تكرر خطأي - لقد جئت إلى هناك فقط عندما شعرت بالفعل أنني جمعت ما يكفي من المعرفة. وكان الأمر يستحق ذلك قبل ستة أشهر ، عندما ظهر الفهم الأول لما وكيف ظهر. سيكون أكثر برودة لمدة ستة أشهر. بعد كل شيء ، هذه ليست مجرد واحدة من أماكن المسابقات ، إنها أفضل منصة (في الوقت الحاضر) لإتقان التعلم الآلي في الممارسة ، وهو مفيد للمبتدئين والخبراء. وهناك تنمو ، كما يقولون ، يوم في دورتين - فقط الدورات بدون ممارسة لن يكون لها مثل هذا التأثير.
كانت أول منافسي
مسابقة من Santander Bank - توقع رضا العملاء. كنت مبتدئًا وأردت التحقق من مستوى معرفتي في مجال الأعمال. جمعت بين تجربتي كعميل مصرفي ، ومهارات تحليل حالات الأعمال وتقنيات تعلُّم الآلة ، وصنعت نموذجًا جيدًا صعدت به إلى أفضل 50 شركة رائدة على مستوى الجمهور. كان هذا أعلى بكثير من توقعاتي من المسابقة الأولى ، حيث شارك فيه أكثر من 5 آلاف شخص.
ولكن لم يكن كل شيء بهذه البساطة. لم أكسب عطلة نهاية أسبوع سعيدة. هناك مشكلة شائعة بين المبتدئين مثل "إعادة تدريب النموذج" ، والتي التقيت بها في الممارسة. كانت عملية التحقق من الصحة المحلية سيئة التنظيم ، وكنت أركز كثيرًا على الجمهور ، ونتيجة لذلك - في الجزء المغلق من الاختبار ، قمت بطيران أكثر من 500 وظيفة. بالطبع ، كنت مستاءً ، لكن الدرس ذهب للمستقبل: التحقق الجيد هو أساس التعلم الآلي ، ويجب معالجته بجدية. الآن هذا المكون هو أحد نقاط القوة في نماذجي.
على الرغم من النتيجة الأولى الضعيفة ، كان هناك ثقة بأن الدخول إلى القمة أمر حقيقي ، فأنت بحاجة إلى المزيد من الممارسة والمعرفة الإضافية.
بالنسبة لأولئك الذين لا يعرفون ما هو Cuggle المناسب له ، فإن المجتمع مستعد لمساعدة المبتدئين في التغلب على نوع من الكمامات ، ومناقشة الأفكار ، ومشاركة أمثلة حول "كيف يعمل". حسنًا وليس أقل أهمية - في نهاية المسابقة هناك فرصة لدراسة قرارات القادة. التعلم من تجربة شخص آخر ، يمكنك تحقيق تقدم سريع. ليس من الضروري أن تخطو في جميع المكابس بنفسك.
على الفور لا يسعني إلا أن أذكر OpenDataSaines (ods.ai) ، مجتمع الأطباء الناطقين بالروسية. تعد التدريبات على التعلم الآلي التي ينظمها ods طريقة أخرى لمعرفة المزيد حول هذا الموضوع. حسنًا ، كمنصة للتواصل بشأن أي مشكلات ، فهي تساعد أيضًا كثيرًا. إذا كنت تفكر في مستقبلك في قواعد البيانات ، ولم تسجل بعد بأسماء غريبة ، فهذا خطأ فادح.
نظرًا لأن التوقعات بتحقيق نتائج عالية في Cuggle غالبًا ما يتم ذكرها في الوظائف الشاغرة لوظائف Datacientist ، فقد رأيت فرصة لذلك - بالإضافة إلى اكتساب الخبرة ، فمن الممكن ملء سيرة ذاتية فارغة بخبرة أكثر أو أقل صلة. لقد بدأت في التعامل مع Cuggle كوظيفة حيث يمكن أن تكون البداية المهنية مكافأة.
بمجرد ظهور وقت الفراغ ، قمت ببناء نماذج على Cuggle ، ومع كل منافسة أصبحت النتيجة أفضل.
كان لدي شيء لم يكن لدى معظم المشاركين - القدرة على تحليل حالات العمل وتجربتي في الاستشارات ، وقد ساعدت كثيرًا عند بناء النماذج. بعد ستة أشهر ، حصلت على المركز السابع في المسابقة التالية من بنك Santander وحصلت على أول ميدالية ذهبية.
إذا كنت تسعى باستمرار لتحقيق هدف معين ، فستحققه - في يونيو 2017 ، بعد عام ، مع القليل من معاركي في Cuggle ، فزنا ، مع المطور اللاتفية Agnis Lukis ، في منافسة من Sberbank للتنبؤ بأسعار الشقق في موسكو.
كانت نقاط قوتنا تفهم الحالة (هذه مهمة معقدة ، لم يكن ينبغي حلها في الجبهة ، كما فعلت الأغلبية) والتحقق المحلي القوي. لقد أنهينا المنافسة في المرتبة الثانية علنًا ، لكن نموذجنا لم يعاني كثيرًا من إعادة التدريب ولم يتراجع كثيرًا عن البيانات المغلقة - في النهاية كنا الأول بهامش كبير.
لقد دفعني هذا الفوز إلى أعلى 50 ترتيبًا عالميًا في Kaggle ، مما أدى إلى عروض عمل. بعد دراسة الخيارات ، اخترت البنك كمكان حيث توجد العديد من المهام التي يمكنك من خلالها ضخ المهارات ، بالإضافة إلى الشعور بالحقيقة الكاملة للحياة عند تطوير النماذج - ومع ذلك ، فإن الظروف تكون نوعًا من الاحتباس الحراري في المسابقات.
كانت خطط حياتي المهنية طموحة ولم يتم النظر في خيار "عدم التسرع في العمل لعدة سنوات للنمو إلى المستوى التالي". كان من الضروري البحث في العمل ، وفي النوبة الثانية لا تنسى Cuggle. الأمر ليس سهلا ، ولكن لمن هو سهل الآن؟ وقد أسفر ذلك عن نتائج - 3 ميداليات ذهبية أخرى وحصلت على كتافات Grandmaster على Cuggle plus راسخة في القمة العالمية (الآن 23).
مثل الكرز على الكعكة - الجائزة الثالثة في مسابقات التسجيل المصرفي ، هذا ما فعلته باحتراف في العام الماضي. ويبدو أنه كان على ما يرام.
للأسف ، فإن حقيقة الحياة في البنك هي أيضًا عملية اتخاذ قرار محافظة للغاية وسريعة. كان إدخال نماذجي يتحرك ببطء. لم تكن هناك خطة لإعادة بناء عمل البنك بأكمله ، لذلك كان من الأسهل ، وإن كان مع الأسف ، تغيير الوظائف.
تبين أن هذا ليس صعبًا على الإطلاق - بفضل النتائج على Cuggle ، لم يستغرق البحث الكثير من الوقت ، ولعدة أشهر الآن أحفر مليارات الجداول في QIWI. لدينا
مجموعة من المهام المثيرة للاهتمام ، وأنا متأكد من أنه قريبًا جدًا سنتمكن من تحويل بياناتنا إلى أرباح للشركة - تساعد خلفية الاقتصاديين كثيرًا في ذلك. انتهى Caggloop هنا أيضًا في شباك التذاكر في العديد من الحالات.
والآن حول كيفية النجاح في المسابقات
الجزء الأكثر أهمية هو فهم المشكلة والعثور على جميع الدوافع التي يمكن أن تؤثر على النتيجة. كلما فهمت الحالة بشكل أفضل ، زادت الفرص لجعلها رائعة. يمكن للجميع إنشاء مئات أو حتى الآلاف من الميزات الأساسية ، ولكن يمكنهم التوصل إلى تلك التي تم تصميمها خصيصًا لهذه المهمة وشرح الهدف بشكل جيد ، وهو أكثر تعقيدًا. استثمرها ، وسرعان ما تجد نفسك في القمة. من الجدير تطبيق أي خبرة ذات صلة (الأعمال ، الأسرة ، إلخ) - فهي تساعد كثيرًا.
ثم - التحقق المحلي. عدوك الرئيسي هو إعادة التدريب ، خاصة إذا كنت تستخدم تقنية قوية مثل تعزيز التدرج. أعلم مدى صعوبة نفساني التوقف عن التركيز على لوحة الصدارة العامة ، ولكن إذا كنت لا تريد خيبات الأمل ، فإن الإجابة الصحيحة هي استخدام التحقق المتبادل ، قل "لا" للتحديد المتأخر. بالطبع ، هناك استثناءات ، ولكن حتى في المشاكل المتعلقة بالسلسلة الزمنية ، يمكنك تثبيت التحقق المتقاطع ، مما يزيد بشكل كبير من موثوقية النموذج. لن يكون نظام التحقق المحلي بسيطًا دائمًا ، ولكنه يستحق قضاء الوقت عليه - سواء في المسابقات أو في الحياة الواقعية. ستكون المكافأة نماذج مستقرة.
بالطبع ، تحتاج إلى دراسة الأدوات الأساسية جيدًا. بمعرفة مبادئ التقنيات المختلفة ، يمكنك اختيار أفضل أداة مناسبة لحل مشكلة معينة. بالنسبة للبيانات المجدولة ، أصبح تعزيز التدرج الآن هو الرائد ، وعلى وجه التحديد Lightgbm. ولكن من المهم أن تكون قادرًا على استخدام طرق أخرى ، من التسجيل إلى الشبكات العصبية - في الحياة وفي المسابقات لن تكون غير ضرورية.
بالمناسبة ، أفضل طريقة لفهم التقنيات التي تقود الآن عندما يتغير كل شيء بسرعة هي معرفة المكتبات التي يستخدمها قادة المنافسة. في السنوات الأخيرة ، اخترقت العديد من التقنيات ذات القيمة للعالم من خلال Cuggle.
معلمات هايبر من المهم معرفة المعلمات الرئيسية للأدوات المستخدمة. عادة لا تحتاج إلى تغيير العديد من المعلمات. في اعتقادي أنه لا يجب عليك قضاء الكثير من الوقت في اختيار المعلمات الفائقة. بالطبع ، من الضروري العثور على معلمات مفرطة جيدة ، ولكن لا يجب أن تذهب في دورات فيها.
عادة ، عندما يتم توضيح النموذج ، أقوم بتحديد مجموعة ثابتة من المعلمات بشكل أو بآخر وأعود إلى ضبطها بالقرب من النهاية فقط ، عندما تنفد الأفكار الأخرى. يقترح الفطرة السليمة أن الوقت الذي يقضيه في إنشاء واختبار متغيرات ومكتبات وأفكار جديدة غير قياسية يمكن أن يعطي زيادة أكبر في النموذج من التحسين من الانتقال من مجموعة جيدة من المعلمات المفرطة إلى نموذج مثالي.
إذا كنت تعتمد على Kaggle كميزة ستضخ سيرتك الذاتية - فاعتبرها وظيفة ، فلن تندم عليها. لقد ساعدني ، سوف يساعدك.
حسنا ومرة أخرى عن المسابقة. إنها مرتفعة للغاية هنا ، لذلك من الصعب جدًا الفوز بمفردك. العمل الجماعي مفيد جدًا ، يتيح لك تآزر الأفكار القفز فوق رأسك. لا تتردد في استخدامه.
المجموع
حسنًا ، القليل من الدافع في النهاية. بادئ ذي بدء ، أثبتت لنفسي أنه يمكنني أن أصبح مركز بيانات في سن 44. تبين أن الوصفة بسيطة بشكل مدهش - التعليم عبر الإنترنت ، والتفكير الموجه للأعمال ، والأداء والتصميم.
أنا الآن أشجع أصدقائي في كل شيء على السير بنفس الطريقة. يحتاج الاقتصاد الرقمي الجديد (وسيحتاج) إلى محترفين من الدرجة الأولى. تعد Coursera + Kaggle مكانًا رائعًا للبدء.
ذات مرة ، كان Excel أداة جديدة وغير مفهومة (حتى أتذكر مدى صعوبة المعارك الأولى مع الآلة الحاسبة التقليدية). والآن ، بعد كل شيء ، لا يوجد لدى أي شخص شكوك في أن أخصائيًا ضليعًا في أعماله يمكنه الحصول على فوائد حقيقية من Excel أكثر بكثير من مطوري Excel أنفسهم.
سيمر القليل من الوقت ، وسيصبح امتلاك أدوات التعلم الآلي إلزاميًا مثل امتلاك Excel ، فلماذا لا تستعد لهذا مسبقًا وتربح المنافسة في سوق العمل الآن؟
علاوة على ذلك ، لا تستحق المنافسة ذلك. كلما زاد عدد الأشخاص من قطاع الأعمال الذين يأتون إلى البيانات - كلما زاد المال. يمكن أن يؤدي إدخال التقنيات الجديدة في القطاعات التقليدية للاقتصاد إلى تسريع الأعمال التجارية ، ولهذا ، يجب أن تبدأ الأعمال في فهم الفرص التي تفتحها التقنيات الجديدة اليوم. في الواقع ، يمكن لأي محلل أعمال ، بعد أن أتقن العديد من الدورات ، أن يكون في طليعة التقدم ومساعدة شركته على تجاوز المنافسين المحافظين.
آمل أن تساعد تجربتي شخصًا ما على اتخاذ قرار مهم.
إذا كان لديك أي أسئلة حول Kaggle ، اكتب ، يسعدني أن أجيب في التعليقات.