هل تتساءل عن كيفية توفير المال عند اختبار برنامجك؟ أنت لست وحدك. لا يوجد سوى صغير واحد ولكن: إذا لم تقم باختبار البرنامج ، فستكون السيناريوهات الأكثر سلبية ممكنة - من المكلفة وغير المواتية للغاية بالنسبة لك لوضع اللمسات الأخيرة على التطبيق في المراحل اللاحقة إلى فقدان السمعة ورحيل العملاء / العملاء إلى المنافسين.
هل أنت مستعد لتوظيف أكثر من 50 اختبارًا لضمان جودة المنتج؟ هذا رائع! لماذا؟ عليك أن تفهم: إذا قمت بتخصيص الكثير من الموارد للاختبار في الحالات التي يكون فيها هذا غير مبرر ، فسوف تضخّم الميزانية وسيكون البرنامج مكلفًا للغاية. هل المستخدمين والعملاء سعداء بهذا؟ أنت في خطر مرة أخرى.
نعم ، نحن نلمح إلى أن الحقيقة في مكان ما بينهما. في هذه المقالة سوف نتحدث عن المبادئ الأساسية ، والتي يمكنك من خلالها إيجاد توازن بين تكلفة الاختبار وجودة منتجك.
المبدأ رقم 1. ابدأ الاختبار في أقرب وقت ممكن
أحد أكثر الأخطاء شيوعًا هو بدء اختبار المنتج في المراحل اللاحقة ، عندما يكون جاهزًا للإصدار تقريبًا. وكلما أسرع فريق الاختبار (QA) في عملية التطوير ، انخفض احتمال فقدان خطأ في الإنتاج. بالإضافة إلى ذلك ، سيكون الخطأ الذي تم تحديده في مرحلة مبكرة من التطوير أرخص. في بعض الاحيان تُظهر تجربتنا أن سعر التثبيت في المراحل اللاحقة قد يكون أغلى بـ 30 مرة من إصلاح الخطأ نفسه ، على سبيل المثال ، في مرحلة النموذج الأولي.
حالة من التدريب العملي: لقد انتظرنا وقتًا طويلاً للغاية في اختبار تطبيق خادم قام بجمع ومعالجة مجموعة كبيرة من بيانات المستخدم. رفض المطورون ببساطة التخلي عنه ، مشيرين إلى حقيقة أن لديهم الكثير من المشاكل ، ويمكن إجراء الاختبار في النهاية. في النهاية ، عملوا على الإصدار الجديد لمدة أربعة أشهر.
عندما بدأنا اختبار التطبيق باستخدام المقدار الحقيقي لبيانات المستخدم ، اتضح أن بنية قاعدة البيانات المحددة لم تستطع التعامل مع مثل هذا الحمل. اضطر فريق التطوير المكون من خمسة أشخاص إلى إعادة تخطيط كل شيء ، وإعادة كتابة التصميم والهندسة المعمارية للتطبيق ، وكان علينا اختباره من البداية. تم إطلاق الإصدار بعد ستة أسابيع من الموعد المقرر.
خلاصة القول: أدت الرغبة في توفير 150 ساعة عمل في الاختبار وتأجيله للنشر إلى فقدان 1100 ساعة عمل لموظفيها ومضاعفة تكلفة الاختبار.
المبدأ رقم 2. حفظ ، ولكن ليس التحليلات
لنفترض أنك استمعت إلى حججنا وقررت تنفيذ المبدأ الأول. في أي مرحلة من مراحل تطوير المنتج ، من الأفضل أن تتخلى عن فريق اختبار وتشارك فيه؟ الإجابة: في مرحلة تخطيط بنية التطبيق ، أو على الأقل في مرحلة تحليل وإعداد المتطلبات.
بدون تحليلات جيدة الأداء ، فإنك تواجه خطر إطلاق المنتج المثالي الذي لا يحتاجه أحد. يحدث هذا عندما لا تأخذ في الاعتبار خصائص جمهورك المستهدف.
نتذكر قصة الرعب عن التطبيق قيد التشغيل ، والتي تم تصميمها للمستخدمين من آسيا. من المؤكد أن آسيا الوسطى ستحقق ذلك وتحقق أرباحًا إذا تمكن العملاء من تثبيت التطبيق على هواتفهم الذكية. لكنهم لم يستطيعوا ، ولكن هل تعرف لماذا؟ في مرحلة جمع المتطلبات ، حدث خطأ بسبب اختبار التطبيق على أجهزة Samsung iPhone وأجهزة الهواتف الذكية الموجودة في آسيا على الأقل. بعد كل شيء ، يفضل المستخدمون الآسيويون هواوي و OPPO.
في مثالنا ، فشل المطور في الحفظ مرة أخرى. لم يكن عليك فقط قضاء 300 ساعة عمل في وضع اللمسات الأخيرة على المنتج واختباره ، ولكن أيضًا تكاليف السمعة أدت إلى خروج المشروع عن الركب.
خلاصة القول: يمكنك دعوة خبراء خارجيين أو تقييد نفسك ، الشيء الرئيسي هو أن تتذكر أن اختبار المستهلك في مرحلة الدعم أغلى بعشرات المرات. وبكلمة باهظة ، لا نعني الخسائر النقدية بقدر ما تعني تكاليف السمعة. لا تقم بحفظ التحليلات. ليس فقط عليها!
المبدأ رقم 3. تحديد الأهداف والتوقعات
بالطبع ، تريد أن يعمل كل شيء بشكل جيد. لكن هذا لا يكفي. تحتاج إلى فهم كيف جيدا ولماذا كثيرا.
هل تعرف كيفية التعرف على مدير اختبار جيد؟ يبدأ فورًا في "تعذيبك" لفهم نوع المنتج الجيد الذي تحتاجه. نحن نسميها مجموعة من التوقعات. تتكون جودة البرنامج من طوب معين. سيرغب مدير الاختبار ذو الخبرة في معرفة أي من الطوب المعين يضعه في أساس الجودة.
عندما يأتي إلينا عميل ويقول: "أريد أن يعمل" ، نبدأ في سؤاله: ما هو الهدف الرئيسي لإنشاء منتج؟ ما هي الميزات الأكثر طلبا من قبل المستخدمين؟ كيف يستخدمونها؟
بعد تجميع التوقعات ، يتم تحديد أهداف SMART ، وهي متحللة ، ويتم إنشاء المهام وجداول KPI. نتيجة لذلك ، نحدد بوضوح:
- أنواع الاختبارات ؛
- مواعيد احتجازهم ؛
- تكوين الفريق
- وحتى المخاطر المحتملة.
كل هذا ضروري لضمان الجودة التي يتطلبها العميل ، دون الكشف عن أعصابه.
في بعض الأحيان ، ومع ذلك ، تحدث الحوادث. في مشروع المتجر الإلكتروني لخدمات التأمين ، أجرينا تحليلًا وأعدنا اقتراحًا. نظرًا لتعقيد وظائف الوحدات وحجمها ، بالإضافة إلى الاختبار الوظيفي والانحداري الكامل للمنتج ، نوصي بأتمتة الانحدار. على الرغم من حقيقة أن الأمر استغرق معظم الوقت للتراجع ، فقد رفض العميل تشغيله تلقائيًا ، مما حفزه على وجود فريق قوي من "حراس اليد" ، وستستغرق عملية الأتمتة كثيرًا من الوقت وتصبح غير مربحة. تم تجاهل جميع الحجج والحسابات الأخرى. لم نتمكن من إثبات موقفنا ولمدة ثلاثة أشهر اختبرنا الانحدار يدويًا ، وهو في الواقع لم يكن مربحًا للعميل.
بعد ذلك تم تقليص المشروع وتحليله لمدة شهرين وعاد بمقترح لاستخدام خطة الأتمتة التي اقترحناها قبل خمسة أشهر.
خلاصة القول: يجب أن تكون قادرًا على أن لا تفهم أهداف المشروع ورغبات العميل فحسب ، بل تثبت له أيضًا أنك بجانبه ومعرفة كيفية الحصول على الفائدة. وإلا فستكون مثل ميزانيتنا: ميزانية مدمجة لاختبار الانحدار اليدوي ، على الرغم من أن التشغيل الآلي سيوفر الوقت والمال. يتحدث عن الأتمتة ...
المبدأ رقم 4. أتمتة
... ولكن بحكمة. وبعد حساب العائد على الاستثمار.
لكي يوفر لك التشغيل الآلي أموالًا ، يجب أن يكون المنتج مستقرًا. ومع ذلك ، إذا تغير بشكل حيوي للغاية ، فإن هذا لا يعني أن الأتمتة لن تساعدك. باستخدام الأدوات والبرامج المتخصصة هو بالفعل الأتمتة. على سبيل المثال ، يمكنك المساعدة في أتمتة العمليات الروتينية التي تستهلك وقت اختبارك. دعنا نقول كتابة الأداة المساعدة التي تجمع التكوينات اللازمة.
دراسة حالة: أراد العميل إطلاق سراحه كل يوم بدلاً من مرتين في الأسبوع. علاوة على ذلك ، استغرق اختبار الانحدار اليدوي الكامل يومين إلى ثلاثة أيام. ونظرًا لأن 80٪ من وظائف المنتج كانت راسخة ومستقرة ، فقد تقرر تشغيلها تلقائيًا. لهذا ، قمنا بتطوير أربعة سيناريوهات الأتمتة وإجراء تحليل مقارن لفعاليتها. عادة ما نستخدم ثمانية مؤشرات لهذا:
- مبلغ TC - عدد الحالات في البرنامج النصي.
- الأتمتة (أيام * رجل) - استهلاك الموارد لأتمتة البرنامج النصي (باستثناء بيانات الاختبار لكل حالة اختبار).
- 1 TC أتمتة (رجل * ساعة) - تكلفة أتمتة حالة اختبار واحدة.
- الاختبار اليدوي (أيام * رجل) - تكلفة الاختبار اليدوي للبرنامج النصي ككل.
- التحقيق في النتائج (رجل * ساعة) - تكلفة فحص نتائج الاختبار التجريبي.
- أوقات التنفيذ - يتم تشغيل عدد الاختبارات المطلوبة لفترة العمل في المشروع. يعكس هذا الرقم العدد المتوقع للعمليات ، مع مراعاة ثبات الأداء الوظيفي والجدول الزمني المطلوب لتشغيل الاختبار (انتظام المعلومات) ، إلخ.
- فعالية الأتمتة (٪) - اختبار كفاءة التشغيل الآلي في٪ من الوقت الموفر. بالنظر إلى أخطاء الحساب ، يمكن اعتبار التشغيل الآلي بمؤشر يزيد عن 150٪ فعالًا.
- الوقت المحفوظ (أيام * الرجل) - عدد أيام العمل المحفوظة أثناء المشروع بأكمله.
هنا هو كيف يبدو على مثال مشروعنا:
ذهب الاختيار النهائي من خلال اثنين من سيناريوهات الأتمتة. سمح لنا استخدامها بتقليل الانحدار من يومين إلى ساعتين لتشغيل الاختبارات التلقائية ، بالإضافة إلى ساعتين للشيكات اليدوية المتبقية ، والتي تبين أنها غير مربحة للتشغيل الآلي.
خلاصة القول: الأتمتة يمكن أن تقلل من تكاليف العمالة لاختبار عشرات المرات ، ويمكن أن تستنزف الميزانية من أجل لا شيء. بدون القدرة على تحليل وحساب العائد على الاستثمار ، فأنت دائمًا ما تخاطر بخيبة الأمل إلى الأبد من خلال الأتمتة.
المبدأ رقم 5. تعلم كيفية استخدام المبتدئين
لا تريد لأتمتة؟ اختبار مع خبرة تصل الميزانية؟ التفكير في توظيف خريجي المدارس الثانوية المتدرج مقابل راتب صغير ولكن معقول؟ ليست فكرة سيئة ، ولكن هناك بعض الفروق الدقيقة. حتى لو كان لديك منتج بسيط ، فإن بعض القادمين الجدد لن يكونوا كافيين بالنسبة لك.
يمكن للطفل العثور على خطأ في اللعبة وكسر التطبيق عن طريق اختبار شرك ، ولكن هل سيجد كل الأخطاء؟ بالطبع لا. نحن مغرمون جدا بالوافدين الجدد ، لكنهم عادة لا يملكون طرق اختبار البحوث. لكن يمكنهم "السير" في الاختبارات. لذلك ، بالنسبة لشركة من المبتدئين ذوي العيون المحترقة ، فأنت بحاجة إلى "رجل عجوز" يصف الشيكات بمستوى يفهمه مبتدئين.
على سبيل المثال ، نحن نجذب القادمين الجدد تحت إشراف الموجهين حتى في بعض المشاريع المعقدة. في البداية ، استغرقت عملية دمج وتكييف المبتدئين في المشروع شهرًا ، مما زاد بالطبع من تكلفة الاختبار وتكلفته. لحل هذه المشكلة ، قمنا بتطوير "حزم المبتدئين" مع وثائق الاختبار وجميع الإرشادات لتثبيت المكونات الضرورية وتكوينها. مكّنت هذه الخطوة من تقليل فترة التكيف الكامل في أول أسبوعين ، وبعد إضافة مجموعة من الحالات المرئية ومقاطع الفيديو التدريبية إلى "الحزمة" - ما يصل إلى أسبوع.
ويرد أدناه جزء من مجموعة من الحالات لاختبار منتج التأمين.
قد تتضمن "حزمة المبتدئ" شيئًا بسيطًا جدًا ولكنه مفيد ، مثل
مولد البيانات .
ويمكن أن تعطي خطوات محددة لتمرير الحالات. بالمناسبة ، في تجربتنا ، من الأفضل إعطاء المبتدئين اختبارًا دقيقًا للحالات (مع الخطوات والشروط المسبقة التفصيلية) ، بدلاً من قوائم المراجعة.
بوجود هذه المجموعة في متناول اليد ، سيعرف المبتدئ دائمًا الاختبار الذي يجب إجراؤه ، وما الذي يجب عمله ، وأين يبحث عن المعلومات المفقودة.
خلاصة القول: إنه من المربح استخدام عمل المبتدئين دون فقدان الجودة وسرعة الاختبار. جونيور قادر على تحقيق فوائد حقيقية للمشروع بالفعل من الأسبوع الثاني ، مما يقلل من الوقت الضائع للتكيف بنسبة 4 مرات (من 160 إلى 40 ساعة).
ستساعد عمليات الأعمال الخاصة بالتكوين الموجهين والمبتدئين على تنمية فريق رائع في وقت قصير. نحن نقوم بذلك بانتظام ، وقد تجاوز عدد المختبرين الكبار الذين تلقينا تدريبهم بالفعل ألف!
المبدأ رقم 6. لا تحتاج إلى مائة اختبار ، فأنت بحاجة إلى أولئك الذين يعملون مع رؤوسهم
لا ينبغي أن يكون هناك العديد من المختبرين ، يجب أن يكون هناك ما يكفي منهم. لا ترغب في الاستثمار في شباب ذوي خبرة كبيرة سوف يشعرون بالملل في العمل أو يبدؤون قاصرين غير ضروريين؟ بنفس الطريقة ، لا تريد أن يقوم أربعون مطورًا بملء إختصاصي اختبار مؤسف بكل إصلاحاته ولم يكن لديه ما يكفي من الوقت أو الطاقة للقيام بعمل جيد في المهام. لذلك ، القاعدة السادسة لتوازن السعر والجودة هي السعي لتحقيق هذا التوازن.
الحدس مهم ، ولكن لا يزال يحاول اللجوء إلى مساعدة الاستراتيجيين والمحللين الذين سيساعدونك في تقييم نطاق المهام وعدد الأشخاص الذين تحتاجهم ومؤهلاتهم.
حالة شائعة من الممارسة. منذ وقت ليس ببعيد ، تم الاتصال بنا من قبل عميل كان لديه 12 اختبارًا في الفريق: TM ، وكبار ، ومتوسط ، و 9 صغار. لقد أجرينا تدقيقًا لعمليات الاختبار وتخلينا عن ثمانية آلاف مهمة غير ضرورية (مثل تراجع وظيفة لا تتأثر بالتحديثات ، ومؤسسة القصر ، وما إلى ذلك) ، بالإضافة إلى أننا اكتشفنا كيفية تحسين الاختبارات. اتضح أن المشروع يحتاج إلى ثلاثة أجهزة أتمتة (عرضت بنفسها) و middl آخر ، والتي نمت من بين المبتدئين. كان يجب التخلي عن بقية القادمين الجدد.
بعد ذلك ، تركنا اختبار الوظائف الحرجة في كتلة "التعريف والاعتراف" في الوسط. فحصوها باليد واختبار البحث. اختفت جميع الكتل الأخرى تقريبًا بالكامل إلى الأتمتة.
في النهاية ، سمح هذا:- تقليل تكلفة اختبار ما قبل النشر من 232400 إلى 35200 روبل.
- زيادة اختبار العائد على الاستثمار من خلال الأتمتة بنسبة 5 مرات.
- تقليل عبء الإدارة على الإدارة.
- تقليل وقت اختبار ما قبل النشر بنسبة 23 ساعة رجل.
- تحسين جودة الاختبار ، مع ترك المختبرين ذوي الخبرة فقط في المشروع.
المبدأ رقم 7. معرفة ما هو أكثر ربحية بالنسبة لك: الموظفين أو الاستعانة بمصادر خارجية
في كثير من الأحيان ، ولكن ليس دائمًا ، يكون الاستعانة بمصادر خارجية أرخص ويسمح لك بتوظيف المزيد من الموظفين ذوي الخبرة بأسعار مخفضة.
حالة أخرى من ممارستنا: كيفية توفير أكثر من مليون ونصف روبل في السنة عن طريق التعاقد مع تسعة متعاقدين خارجيين براتب 130 ألف بدلاً من تسعة اختبار بدوام كامل براتب 70 ألف روبل.
حتى لا تكون بلا أساس ، سنقوم بإظهار جدول يوضح من أين تأتي هذه الميزة.
في مثالنا ، تكلف الشركة التي تعمل بنظام الدوام الكامل براتب 70 ألف روبل شهريًا الشركة 14،877 روبل أكثر من أخصائي الاستعانة بمصادر خارجية الأكثر تكلفة مع ضعف الراتب تقريبًا. إذا أخذنا في الاعتبار قسم 9 أشخاص الذين عملوا لمدة عام ، فإن الفائدة ستكون 1606016 روبل. وهذا هو المال.
ومع ذلك ، في بعض الأحيان يحدث ذلك ، حتى مع تحقيق الفوائد ، لا ترغب الشركات في الاستعانة بمصادر خارجية للاختبار. على سبيل المثال ، نواجه غالبًا رغبة العميل في نقل كل شيء إلى موظفيه. ويرجع ذلك إلى المخاوف وعدم القدرة على تبادل أفضل الممارسات والوثائق مع العملاء الخارجيين.
هذا الموقف له ما يبرره تمامًا: على الرغم من جميع اتفاقيات عدم الإفصاح ، لا يزال هناك دائمًا خطر التسرب غير المقصود للمعلومات ، والتي لا يتم بعد ذلك تغطية أي دعاوى بشأنها. من أجل عدم الدخول في مثل هذا الموقف ، نوصيك بأن تلعبه بأمان وأن تتحول إلى شركة فيما يتعلق بعدم تقديم مطالبة منفردة على مدى السنوات العشر الماضية ، بعد أن اتصلت مسبقًا مع العملاء المذكورين على موقعها على الويب.
لفترة وجيزة حول ما قيل
1. وفقًا لإصدار المعهد الوطني للمعايير والتكنولوجيا ، قد تتجاوز تكلفة الاختبار في نهاية التطوير تكلفته في المراحل الأولية بمقدار 15 مرة ، وبعد إصدارها 30 مرة.
لا تريد أن تبالغ؟ ابدأ الاختبار في أقرب وقت ممكن!2. سوء فهم الجمهور المستهدف ومتطلبات المنتج دفن العديد من المشاريع الممتازة.
انقاذ على التحليلات؟ احصل على استعداد لدفع ثمن لعبة التخمين!3. من الضروري تحليل ليس فقط CA ، ولكن أيضا رغبات العملاء. بناءً عليها ، يجب أن تكون قادرًا على تحديد أهداف SMART وتحليلها.
لا يمكن وضع أهداف واضحة؟ أهدافك غير مفهومة للعميل؟ وضع تكاليف الانتهاء وإعادة صياغة!4. الأتمتة تساعد على تحسين تكاليف الاختبار. ولكن ليس في كل مكان وليس دائما.
هل تعتقد أن الاختبار بيديك أكثر ربحية؟ حساب العائد على الاستثمار من الأتمتة في عدة سيناريوهات ومقارنة الأرقام!5. المبتدئين في الاختبار متحمسون ، لكنهم يفتقرون إلى الخبرة. معلم جيد و "حزمة المبتدئين" يزيد من كفاءة يونيو في المشروع بنسبة 2-3 مرات.
سجل خريجي الأمس مقابل رسوم معقولة؟ احصل على استعداد لدفع أموال إضافية لتحويلها من "قرد" إلى رجل!6. الجودة لا تساوي الكمية. أخصائي جيد أغلى لأنه يعطي أفضل نتيجة.
لا تريد حفظ ، والعمل على النتيجة؟ ثم يجب عليك عدم مراجعة فريق الاختبار وتحسين تكوينه.7. الاستعانة بمصادر خارجية للاختبار يتيح لك الحصول على فريق من ذوي الخبرة في المشروع مع ضمان للنتيجة. لكن الاستعانة بمصادر خارجية ليست مناسبة للجميع.
تريد حلا جاهز مع ثمن الديمقراطية؟ حساب الفوائد من الدولة ومن الاستعانة بمصادر خارجية ، وربما الخيار الثاني سيكون أكثر ربحية.بدلا من خاتمة
الجودة هي مفهوم متعدد الأوجه ، وبالتالي ، قد يختلف سعرها حسب عمق فهم الشركة لهذا المصطلح. هناك العديد من الطرق للتوفير على حساب الجودة ، ولكن لا توجد العديد من الخيارات لتحسين الجودة دون دفع مبالغ زائدة. ساعدنا الامتثال للمبادئ المذكورة أعلاه على اكتساب سمعة موثوق بها في السوق ولاء عملائنا ، ولعملائنا أنفسهم - لتوفير القوة والموارد والوقت.
جرب هذه المبادئ على نفسك ، فهي بسيطة للغاية ، وبالتالي فعالة. نأمل أن تساعدك مقالتنا على الحفظ في الاختبار دون المساومة على الجودة. ونحن في انتظار أسئلتك والأفكار والاقتراحات والتعليقات في التعليقات.
نينا أجيفا
نائب مدير مختبر الجودة.