منذ عام ونصف ، شغل منصب مطور ML الرئيسي في شركتي. ستة أشهر أدير فريق صغير. لقد اكتسبت خبرة أريد مشاركتها. سأفعل ذلك في شكل قمة الأخطاء والصعوبات المحتملة.
نريد شبكة عصبية!
لقد سمع الكثير من الناس على الأقل شيئًا عن الذكاء الاصطناعي وإنجازات الشبكات العصبية. يريد بعض الأشخاص استخدام الشبكات العصبية في العمل لمجرد أنها شائعة. إذن ، لقد قمت بحل بعض المهام الصغيرة لتحليل النص ويمكنك أن تعلن للجميع بأمان أن عملك يستخدم أحدث تقنيات الذكاء الاصطناعي.
علاوة على ذلك ، لا أحد تقريباً يفهم نقاط القوة والضعف في الشبكات العصبية. في الواقع ، بسبب ارتفاع استهلاك الموارد ، فهي بعيدة كل البعد عن النموذج الأمثل.
في كثير من الأحيان ، يمكن للخوارزميات مثل التعزيز أو أقرب الجيران أو svm إظهار مؤشرات عالية الجودة في حل مشاكل العمل (إذا كنا نتحدث عن ميزات البرنامج النصي الكلاسيكية -> القيمة) من الشبكات العصبية. هذا على الرغم من حقيقة أنها أكثر خفيفة الوزن.
إذا أخبرك العميل: "نحن بحاجة إلى شبكة عصبية لحل مثل هذه المشكلة ومثل هذه المشاكل" ، فعلى الأرجح أنه لا يعرف الأدوات التي من الأفضل حلها. ولكن يبدو له أن هناك حاجة إلى بعض الخوارزميات المعقدة هنا والشيء الوحيد الذي يتبادر إلى ذهنه هو شبكة عصبية.
حتى تتمكن من حل المشكلة من خلال نموذج أكثر الخفيفة.
يبدو الأمر واضحًا ، ولكن في الواقع ، بعد هذا الطلب من العميل ، يمكنك قضاء بعض الوقت في الفرز عبر العديد من بنى الشبكات العصبية قبل أن تدرك أن المهمة يمكن حلها بسهولة أكبر.
بيانات الصباح ، المساء تقدير
في كثير من الأحيان ، سيُطلب منك تحديد مواعيد نهائية لأداء التجارب / طرح الحلول في المنتج. علاوة على ذلك ، كأساس لمثل هذه التقديرات يمكن أن تقدم فقط وصفا تجريديا للمشكلة. على سبيل المثال: "نريد شبكة عصبية تقوم ، حسب الصور الطبية ، بتشخيص شخص مصاب بمرض. كم من الوقت سيستغرق؟ " الأشخاص الذين لم يعملوا مع ML (وأحيانًا يعملون) لديهم فهم قليل لمفهوم التجارب. العديد من النهج تطوير حلول ML كتطوير البرامج القياسية. لكن هذه كلها أخطاء. يعتبر تطوير ML أقرب إلى العلم منه إلى التنمية (خاصة في المراحل الأولية). معظم الوقت مطلوب لتحليل البيانات والتجارب. ونادرا ما يفهم الناس هذا.
إذا كنت محظوظًا وكان لديك ، على سبيل المثال ، مدير مشروع ذو خبرة ، فلن تضطر إلى التعامل مع مثل هذه المشكلات. هو نفسه سوف يشرح كل شيء للعميل. ولكن يحدث ذلك في الاتجاه المعاكس - عندما يفهم المدير نفسه بشكل سيء تفاصيل ML ، ينحني تحت العميل ويبدأ في مواكبك ، ويطلب المواعيد النهائية بضعة أيام أو أسبوع بعد تلقي طلب من العميل. في بعض الأحيان حتى قبل تلقي البيانات. بعد ذلك ، سيكون عليك على الأرجح تسمية بعض التواريخ (جيدًا ، أو تغيير مكان العمل ، وهو أيضًا خيار جيد في هذا الموقف). لكن كن حذرًا إذا قررت إجراء تقدير للجدول الزمني دون معلومات كافية. يستغرق بعض الوقت لتجربة الهامش.
دقة النموذج في التجربة الأولية 99.99999 ٪
حتى إذا تلقيت مقاييس عالية في التجارب الأولية أو عند اختبار النموذج الأولي ، فهذا ليس سببًا لإبلاغهم على الفور بالعميل. لكن كل ما تقوله يمكن استخدامه ضدك.
إذا حصلت على قيم عالية لتقديرات جودة النموذج في تجارب أولية ، فيمكنك إخبار العميل أن المشكلة قابلة للحل بشكل فريد ، لكن يجب ألا تسعده بالأرقام مقدمًا ، والتي قد لا تكون جيدة في أجزاء جديدة من البيانات. أو يمكنك الاتصال بالمقاييس ، ولكن مع الحجز الإلزامي الذي لا يمكنك ضمان أنه في ظروف أخرى ، ستبقى الجودة كما هي. يمكن أن تتحسن وتتفاقم. هناك دائمًا خيار أنك كنت مخطئًا عند إجراء التجارب (مولد غير صحيح مكتوب على سبيل المثال ، وبعض البيانات التي تم تسريبها من التدريب إلى الاختبار).
بدلاً من ذلك ، يمكنك إصلاح مدفوعات مختلفة في العقد للحصول على جودة نهائية مختلفة للنموذج الخاص بك.
بشكل عام ، يثق الناس عادة بأمثلة ملموسة أكثر من مجرد أرقام مجردة. سيعطي العرض التوضيحي الصغير للطراز الخاص بك العميل ثقة أكبر من العبارات التي تبلغ دقة 99 ٪.
إذا كنت تقوم بحل مشكلة ، على سبيل المثال ، الكشف / التصنيف باستخدام الأساليب العصبية التلافيفية وحان الوقت لكتابة تقرير عن نجاح الفريق لفترة مشروطة ، وقضاء 30 دقيقة إضافية وجعل بعض الصور الجميلة: اللعب مع تصور للمرشحات التلافيفية في مستويات عالية من التجريد أو إخفاء طبقات متصلة بالكامل ، خرائط حرارة الطبقات ، إلخ.
لن تكون هناك مشاكل مع الخوادم
في مرحلة ما بدأت ألاحظ أن عمل النموذج يعتمد في الغالب على حجمه. على سبيل المثال ، عندما تحتاج إلى إنشاء مصنف لخمسة ملايين فئة ، فقد تكون أبسط الطُرز كثيفة الاستخدام للموارد. ثم ينشأ السؤال بشكل طبيعي عن مواصفات الخادم ، والتي يمكن للعميل حلها بشيء مثل: "لن تكون هناك مشاكل مع الخوادم - سنختار شيئًا على الخدمات السحابية."
المشكلة هي أنه قد لا يمثل مقياس النموذج على الإطلاق. على سبيل المثال ، سوف تزن مجموعة البيانات 2 تيرابايت ، ومصفوفة الوزن الخاصة بالنموذج المدرب 500 غيغابايت أخرى. لاستخدام مثل هذا النموذج ، تحتاج إلى 68-128 غيغابايت من ذاكرة الوصول العشوائي. إن استئجار مثل هذه السيارة قد يكلف العميل من عدة آلاف إلى عشرات الآلاف من الدولارات شهريًا (إذا كانت هناك حاجة إلى المزيد من وحدات معالجة الرسومات). وهنا ، لا يتفق الكثيرون على الدفع مقابل هذه الخوادم.