وفقًا لـ Gartner ، فإن التعلم الآلي في ذروته. من خلال المشاركة في تطوير وتنفيذ الحلول في مجال تحليل البيانات والتعلم الآلي ، اكتسب فريق DATA4 خبرة في المراحل والمزالق الرئيسية ، والتي سأشاركها في المقالة.
فكر في مراحل التنفيذ:
1. بيان المشكلة
يجب أن تحل أي تقنية مشاكل عمل محددة. سيطلب مقال منفصل لوصف جميع تطبيقات التعلم الآلي ، ولكن يمكن تمييز العديد من المجالات الرئيسية. هذا هو التحليلات التنبؤية (التقييم ، التدفق ، تحديد أفضل عرض ، المنتجات ذات الصلة ، وما إلى ذلك) ، تحليل النص (المراجعات على الإنترنت ، الإشراف على المحتوى ، موضوعات المكالمات ، إلخ) ، تحليلات الكلام وتحليلات الفيديو.
من أجل التنفيذ الناجح ، من الضروري تحديد أي عمل من مؤشرات الأداء الرئيسية التي نقوم بتحسينها ، وكيف وبأي مقياس نقيس النتيجة.
2. جمع وتخزين ومعالجة البيانات
عند تعيين المهمة ، من الضروري إنشاء عينة تدريب (للأسف ، يتم حل معظم مهام العمل عن طريق "التعلم مع المعلم"). في تجربتنا ، أخذ العينات هو أطول خطوة. للحد من ذلك ، يجب أن يكون لدى الشركة ثقافة العمل مع البيانات.
بالإضافة إلى جمع البيانات ، من الضروري مسحها وتحديد الميزات التي تؤثر على النتيجة النهائية.
3. تدريب الخوارزميات
إن تطوير الجزء الخوارزمي هو الأكثر إثارة للاهتمام ، ولكنه الأسرع أيضًا. عادة ما يستغرق الأمر من عدة ساعات إلى عدة أسابيع من العمل.
4. تطوير الربط عالية المستوى
يجب أن يكون الحل واضحًا ليس فقط للمتخصص في تحليل البيانات ، ولكن أيضًا للمبرمج أو المسؤول الذي سينفذ هذا الحل. وإذا كان هذا حلًا عالي التحميل ، أو حلًا بمتطلبات أمان متزايدة ، فقد تضطر إلى إعادة كتابته من Python إلى لغة أخرى.
5. التكامل
كقاعدة ، يستغرق الأمر الكثير من الوقت بسبب الحاجة إلى اتصالات وموافقات إضافية. من الأفضل أداء هذه المرحلة من قبل القوى الداخلية لفريق العميل.
6. جمع الملاحظات وتعديل النموذج
يتغير العالم باستمرار ، ولا يمكن أخذ جميع الميزات في الاعتبار في بداية التطوير. يساعد جمع الملاحظات في إعادة تدريب النماذج في الوقت المناسب. من الناحية المثالية ، في هذه المرحلة ، تبدأ الدورة من جديد ، ولكن بوقت أقل.
ميزات الحلول القائمة على التعلم الآلي:
- يعتمد التعلم الآلي على الإحصائيات ، وعندما تعطي الخوارزمية تنبؤًا غير صحيح - فهذا أمر طبيعي. من الأفضل أن تشرح فورًا لعميل الأعمال ما هي المقاييس التي يتم تقييم الجودة بها ، وما تعنيه هذه المقاييس (لا يعرف الجميع ما هو مقياس F و Roc-Auc) ، وأن إعداد 3 أمثلة يدويًا والنظر إلى النتيجة أمر مثير للاهتمام ، ولكن ليس ذو دلالة إحصائية .
- نتيجة متوقعة ضعيفة. لا تحتوي البيانات دائمًا على إشارة مفيدة ، ومن المستحيل التنبؤ بدقة بالنتيجة مقدمًا. عادة ما نأخذ البيانات ، وننشئ نماذج بسيطة ، واستنادًا إليها بالفعل نقول نوع النتيجة التي يمكن تحقيقها. لا تنطبق هذه المشكلة على بعض المهام الكلاسيكية (التعرف على الوجوه والتعرف على الكلام وما إلى ذلك).
- التعلم الآلي هو تقنية الميل الأخير ، وليس رصاصة فضية من جميع المشاكل. إذا لم يلتقط البائعون هاتفًا من أحد العملاء ولم يتصلوا به مرة أخرى ، فلن يكون هناك أي معنى يذكر في تقديم التحليلات الصوتية.
- يقضي معظم الوقت على التكامل وجمع البيانات ومعالجتها ، وليس على تدريب الخوارزمية (مع استثناءات نادرة).
خيارات العمل مع مطوري الطرف الثالث:
- الدفع بالساعة. مناسب فقط للنماذج الأولية و MVP. ولكن غير مناسب للحلول التي تتطلب المزيد من الدعم.
- تطوير العقد. تنتقل الملكية الفكرية إلى العميل ، الدعم ممكن ، ولكن يجب وصف المعارف التقليدية بعناية.
- الدفع من فعالية مثبتة. من التجربة الشخصية في DATA4 ، حالة معقدة للغاية من حيث الموافقات ، والتي لا يتم تطبيقها عمليًا.
بدلاً من ذلك ، يمكنك استخدام الأنظمة الأساسية الجاهزة من IBM و Microsoft وما إلى ذلك ، ولكن من الناحية العملية ، فإنه مكلف مع الاستخدام المستمر ، وليس من الممكن دائمًا تنفيذ حالة محددة باستخدام أدوات جاهزة ، وهناك قيود على البيانات التي يمكن إرسالها هناك.
الخلاصة
تزيد تقنيات التعلم الآلي من كفاءة الأعمال ، ولكن يجب أن نتذكر أنه من أجل اتخاذ قرار كامل ، لا يكفي فقط تدريب الخوارزمية ، ولكن من الضروري إعداد البيانات ودمج الحل مع الأنظمة الداخلية. وكن على استعداد أن تعتمد النتيجة على جودة عينة التدريب.