اختيار نظام إدارة الاختبار في عام 2019

على الرغم من القدرات الهائلة لمحرري الجداول الحديثة ، بالنسبة للعديد من فرق التطوير ، فإن السؤال الذي يطرح نفسه عاجلاً أم آجلاً هو تقديم أدوات (أنظمة) متخصصة لإدارة عملية الاختبار في مشاريعهم. أي واحد للاختيار؟



تم طرح مثل هذا السؤال في ممارستي أكثر من مرة. هذا دفعني إلى إنشاء هذا المقال المراجعة. في المستقبل ، لتوفير القليل من الوقت لأنفسنا وجميع أولئك الذين يواجهون هذه القضية أيضا. وحتى إذا لم يكن هناك إجابة عليه في نهاية المقالة (آسف على المفسد) ، إلا أن عقلك الباطن ، على الأرجح ، سيتم تحديده الآن وفي الوقت المناسب في مشروع محدد سيخبرك بالإجابة.

في عمليات البحث التي أجريتها ، صادفت العديد من المقالات المشابهة (في أحدها استعارت بنية جدول مقارن) ، ولكنها جميعًا تدرج وظائف قليلة من مواقع هذه الأنظمة و1-2 لقطات شاشة للواجهة وغالبًا ما تحتوي على إعلانات مخفية أو مفتوحة لأحد هذه الأدوات. لكنني أردت اختبار كل نظام "على نفسي" ومشاركة ما رأيته بشكل صريح ، وتحكي عن مشاعري.


في ما يلي الجدول المقارن النهائي (قابل للنقر) ، وبعد ذلك سوف يجد القارئ ، وليس في عجلة من أمره للقاء ، بضع كلمات عن كل نظام.

الأدوات المدفوعة:

TestRail
QA Touch
اختبار collab
مدير qTest
PractiTest
زفير قائم بذاته
اختبار لودج
EasyQA

أدوات مفتوحة المصدر:

TestLink
TM الاسكواش
كيوي TCMS

---

ومن المهم أن:
لقطات من واجهات قابلة للنقر ومخفية تحت المفسد. يمكنك العثور على المزيد من لقطات الشاشة على موقعي . لا أحد يحب الترويج الذاتي ، لذلك إذا كانت هناك أمثلة على المقالات أو طريقة لإضافة معارض صور مماثلة بسرعة وسهولة إلى مقال عن Habré ، فأخبرني في التعليقات أو في رسالة شخصية. سأحاول إعادة ثم إزالة هذه الملاحظة.

---

TestRail

الموقع الإلكتروني: www.gurock.com/testrail
المطور: Gurock Software GmbH
السعر: TestRail Cloud 30 دولارًا لكل مستخدم شهريًا (1-20 مستخدمًا)

يحلو: واجهة مريحة وبديهية. الإدراج السريع للصور. ترميز النص النص ؛ إضافة الحقول المخصصة ضبط ترتيب عرض حقول الحالة ؛ القدرة على تخصيص كل حالة (أو اختبار) لمستخدم فردي ؛ حالات النسخ والانتقال السريع ؛ تجميع عدة testranes في خطة اختبار ؛ التكامل السريع مع bugtrackers (عن طريق URL تعقب أو باستخدام الإضافات) ؛ تصدير كلتا الحالتين والتقارير بتنسيقات XML و CSV ؛ إمكانيات واجهة برمجة التطبيقات الواسعة للتكامل مع الأنظمة الداخلية (مزامنة المعلومات في الحالات ، وحفظ نتائج الاختبار ، وما إلى ذلك) ؛ تقارير بصرية أشكال الطباعة أنيق. عند إنشاء مشروع ، يمكنك اختيار ثلاثة أنواع من الهياكل لتخزين حالات الاختبار (أحدها يسمح لك بتقسيم الحالات إلى فروع تتوافق مع التطوير).

غير سعيد: لا توجد متطلبات مضمنة ؛ لا تعقب الأخطاء ؛ السعر مرتفع للغاية (خاصة بالنسبة للشركات الصغيرة).

QA Touch

الموقع الإلكتروني: www.qatouch.com
المطور: DCKAP
السعر: 69 دولار للمحترفين لمدة 50 مستخدم / شهر

إرضاء: الفرص المتاحة والمخطط لها على نطاق واسع بسعر مناسب ؛ واجهة المستخدم لطيفة. المدمج في bugtracker والمتطلبات ؛ التكامل مع بتتبع الأخطاء الخارجية JIRA و GitHub و GitLab ؛ الافراج عن تخطيط testranes. هناك إمكانية إنشاء إعادة تشغيل (إعادة تشغيل) مع حالات حالة معينة ؛ الاتصال الصوتي وإكمال النص لعنوان القضية والأخطاء ؛ خطوات حالة قابلة لإعادة الاستخدام.
لسوء الحظ ، لم أستطع تجربة لقطة لبعض مكونات المنتج بسبب ذلك أنها متوفرة فقط في الخطط المدفوعة.

غير سعيد: يتم توزيع مكونات الحالة (الحقول الرئيسية والخطوات والمرفقات) في علامات تبويب عند التحرير ؛ لا يوجد تنسيق النص ؛ الصورة ، على الرغم من إمكانية إضافتها إلى خطوة واحدة ، ولكن فقط إلى خطوة واحدة وكملف قابل للتحميل ؛ لا حالة الإصدار. مساحات النص من الخطوات والنتائج المتوقعة ، عند تغيير حجمها يدويًا ، تضيع أثناء التحرير (وليس على نفس السطر) ؛ شكل اختيار الحالات ل testran يختلف قليلاً عند إنشائه وتحريره ؛ تتضمن قائمة الحالات والأخطاء اسمها ومعرفها فقط (للحصول على نظرة عامة سريعة على القائمة ، لن تكون الحقول المخصصة الإضافية غير ضرورية) ؛ يتم وضع علامة الحالة أثناء التشغيل أيضًا في علامة تبويب منفصلة عن المعلومات العامة للحالة ؛ يوجد عدد ضئيل في البيانات المعروضة (إجمالي عدد الحالات على لوحة القيادة وحقل "التعيين إلى" الغريب - وأرجع ذلك إلى حقيقة أنني سجلت ذلك العام ، ومنذ ذلك الحين قام البائع باستكماله بشكل كبير ).

اختبار collab

الموقع الإلكتروني: testcollab.com
المطور: اختبار Collab
السعر: الشركات الناشئة من 25 دولارًا لكل مستخدم / شهر (أكثر من 50 مستخدمًا - 10 دولارات)

إرضاء: تكوين واسع من إعلامات البريد (مع القدرة على تحرير قوالب الرسائل) ؛ الجمع بين testranes في خطط الاختبار ؛ واجهة لطيفة مع تلميحات (والتي يمكن إيقاف تشغيلها) ؛ وظيفة خطوات قابلة لإعادة الاستخدام ؛ القدرة على التعليق على القضية أثناء التحرير ؛ علامات. اختيار نوع تنسيق النص (تخفيض السعر ، HTML / WYSIWYG ، نص عادي) ؛ إضافة الحقول المخصصة قوالب قابلة للتخصيص لاختيار الحالات في testran ؛ متطلبات مدمجة السعر (للمشاريع الصغيرة هناك خطة مجانية مع 200 حالة و 400 حالة مكتملة).

غير سعيد: لا يمكنك تحرير حقول النظام (خاصة الأولوية) ؛ لا توجد طريقة لحفظ الحقول المعروضة في القوائم (عند إعادة تعيين تحديث الصفحات افتراضيًا) ؛ هناك عيوب صغيرة في عرض عناصر واجهة المستخدم ؛ لا توجد نماذج مطبوعة للحالات أو للتقارير (من المحتمل الآن أنها نادراً ما تستخدم ، لكن الأدوات الأخرى توفر هذه الوظيفة) ؛ يتم تحديث البيانات على لوحة القيادة المشتركة مع تأخير. تصدير الحالات لمجموعة اختبار واحدة فقط (في هذه الحالة ، مجموعات المتداخلة عملية التصدير فقط إلى XML) ؛ إدراج غير مريح للصور في خطوات القضية (عبر الرابط) ؛ لا تعقب الأخطاء.

مدير qTest

الموقع: tricentis.com
المطور: Tricentis (حصلت QASymphony في عام 2018)
السعر: من 99 دولارًا لكل مستخدم / شهر (السعر تقريبي ويعتمد على عدد المستخدمين)

يسر: إعداد حقول النظام وإضافة حقول مخصصة لكائنات مختلفة (مع القدرة على معاينة هذا الكائن وحتى تغيير الألوان لحالة التشغيل) ؛ تاريخ تغيير الحالة بالمعلومات ؛ المدمج في محرر HTML في الحقول النصية للقضية ؛ التعليق على حالة واحدة ؛ يمكنك الاشتراك في حالة منفصلة وتلقي الإخطارات عن طريق البريد حول التغييرات ؛ تطبيق مثير للاهتمام للإصدار التلقائي للحالة (مع المكونات الرئيسية والثانوية) ؛ وظيفة التشغيل السريع للقضية (بدون تحديد الحالة لكل خطوة) ؛ المتطلبات المضمنة مع غلاف الحالة ومؤشر للتجميع المستهدف ؛ وهناك أيضًا تتبع الأخطاء المضمّن ؛ حالات قابلة لإعادة الاستخدام تكوينات testran للتخصيص. فرص وافرة للتكامل مع كل من bugtrackers وخدمات CI / CD ؛ API للتفاعل أكثر مرونة. استعلامات البحث المخزنة حسب الحالة ، المتطلبات ، إلخ ؛ تقارير مختلفة إعدادات مرنة من جانب المسؤول (المستخدمون ، الإشعارات ، الحقوق ، المجموعات ، إلخ) ؛ مشروع مدمج مع جميع البيانات للتعرف على قدرات المنتج ؛ خطط الاختبار.

غير سعيد: لا توجد أشكال مطبوعة من الحالات ؛ تصدير الحالات فقط بتنسيق Excel (ولكن لديه نظرة قابلة للقراءة) ؛ عرض غير مريح قليلاً من الصور في خطوات الحالة أثناء التشغيل ؛ لا يحتوي الموقع على معلومات حول سعر المنتج (تحتاج إلى تقديم طلب منفصل) وهو مثير للإعجاب.

PractiTest

الموقع: www.practitest.com
المطور: PractiTest
السعر: 49 دولار للشركات لكل مستخدم / شهر (3 مستخدمين على الأقل)

يسر: القدرة على التعليق على القضية (اختبار) ؛ العلامات (الكلمات الرئيسية) للاختبار ؛ قفزة سريعة إلى رقم الاختبار ؛ توليد التباديل من testranes (لمختلف المختبرين ، الإصدارات) ؛ استخدام المعلمات في خطوات الحالة (مع القدرة على تغيير القيمة لكل تشغيل) ؛ تضمين خطوات (استدعاء لاختبار) لحالة واحدة في حالة أخرى (أحيانًا يكون ذلك ضروريًا حقًا ولا يلزمك الانتقال إلى روابط لحالات أخرى) ؛ التكامل في اتجاهين مع Jira و YouTrack (عن طريق إنشاء رمز مميز لـ API) ؛ إضافة الحقول المخصصة kanban حالة المجلس للحالات. تعقب الأخطاء والمتطلبات الخاصة بهم (ولكن لم يأخذ لقطات شاشة معهم).

غير سعيد: مجمع UI / UX ككل (على وجه الخصوص ، تقسيم هيكل الحالة إلى علامات تبويب: الوصف والخطوات في علامات تبويب مختلفة) ؛ النسخة المطبوعة الضئيلة وغير القابلة للتمثيل لكل من الحالات نفسها والتقارير ؛ على الرغم من وجود دعم للترميز ، إلا أن الصور تضاف إلى الخطوات فقط كمرفقات ؛ لا يمكنك تغيير حالة الحالة بأكملها إذا لم تنجح بعض الخطوات (هذا صحيح ، لكن في بعض الأحيان تحتاج إلى "اختبار" الاختبار بالكامل) ؛ لا يمكن إعطاء قائمة المستخدمين أولوية الفرز (فرز أبجدي) ؛ السعر (مبالغ فيه ، حتى مع مراعاة الميزات الفريدة) ؛ دعم دردشة القطعة على كل صفحة.
لم يكن موقع الشركة الإلكتروني وقت النشر متاحًا من عنوان IP الروسي ، بينما كانت منصة الويب مفتوحة.

زفير قائم بذاته

الموقع الإلكتروني: www.getzephyr.com
المطور: برنامج SmartBear
السعر: من 50 دولارًا لكل مستخدم / شهر (السعر مأخوذ من الماضي ، والآن لا يظهر على الموقع)

أنا سعيد: تخطيط جذاب لمراحل الاختبار (على غرار مخطط جانت) مع إضافة وتخصيص مختلف أعمال الاختبار ؛ متطلبات مدمجة و bugtracking ، والتي ، مع JIRA ، تتكامل معها بسلاسة (مع القدرة على البحث وعرض التذاكر مباشرة من Zephyr) ؛ من الممكن إضافة حقول مخصصة إلى الكائنات (المشروع ، الحالات ، المتطلبات) ، تغيير الاسم واللون إلى حالة التشغيل (الحالة بأكملها وخطوة واحدة) ؛ يمكنك إضافة عناصر واجهة مستخدم لمشروع بخصائص مختلفة (مخططات) سيتم تحديثها بعد وقت محدد ؛ تصدير الحالات بتنسيق HTML و PDF مع الحقول الضرورية.

غير سعيد: واجهة غير عادية ، تحتاج إلى التعود على UX / UI لفترة من الوقت ؛ لا يوجد رابط مباشر لحالة منفصلة (فقط من خلال استعلام البحث يمكنك إنشاء عنوان URL لذلك) ؛ لا تتم إزالة لوحة القيادة مع أداة المساعدة أدناه ؛ لا يمكنك تغيير حقول النظام ؛ لا يمكن إضافة صور لخطوات الحالة إلا كمرفقات للحالة بأكملها ؛ شحذ فقط تحت JIRA ؛ يجب تحديد السعر عند الطلب (وفقط عن طريق الهاتف ، لا يتم توفير هذه المعلومات في الرسالة الإلكترونية) .

اختبار لودج

الموقع الإلكتروني: www.testlodge.com
المطور: TestLodge Limited
السعر: 49 دولارًا أساسيًا لـ 600 حالة / شهر (الاشتراك حسب كمية البيانات)

يحلو لك: واجهة موجزة. إنشاء واختيار التكوين عند إنشاء testran ؛ التكامل السريع مع بتتبع الأخطاء الشائعة ؛ إنشاء خطة اختبار (مع قالب افتراضي) ؛ مصفوفة التغطية (إذا تم الاحتفاظ بالمتطلبات داخل المنتج) ؛ نموذج الاشتراك من خلال كمية البيانات (بالنسبة لبعض المشاريع هذا هو زائد) ؛ قم بتعيين تصدير إلى HTML (وهو أيضًا نموذج مطبوع).

غير سعيد: لا يوجد تقسيم للقضية إلى خطوات منفصلة ؛ لا يمكن نقل الحقول المخصصة فوق حقول النظام ؛ لا يمكن إدراج صورة إلا كمرفق أو رابط إليها ؛ تصدير الحالات فقط كل مجموعة على حدة ؛ يمكن تحديد مجموعة اختبار لخطة اختبار واحدة فقط ؛ لا تعقب الأخطاء.

EasyQA

الموقع: geteasyqa.com
المطور: ThinkMobiles
السعر: 10 دولارات لكل مستخدم / شهر

إرضاء: القدرة على مراقبة واختبار التجميعات المتنقلة (ملفات APK و IPA) ، والاندماج مع مستودعات GitHub أو GitLab ؛ تعقب الأخطاء الخاص مع إمكانية إضافة مكون إضافي للتكامل مع الأنظمة الأخرى (GitHub ، GitLab ، YouTrack ، JIRA ، RedMine ، Pivotal Tracker ، Trello) ؛ سهولة الاستخدام (أحيانًا تكون علامة زائد) مع كائنات الاختبار (الخطط ، الاختبارات ، حالات الاختبار ، التقارير) ؛ مقارنة مرئية للحقول عند تصدير الحالات من ملف CSV (ولكن يتطلب الانتباه ، يمكنك الدخول في دورة تصدير لا نهاية لها).

غير سعيد: لا توجد طريقة لتخصيص الكائنات بطريقة ما على الأقل. لا توجد نتيجة متوقعة لكل خطوة في القضية ؛ في الحالات التي لا يمكنك تنسيق النص وإرفاق الصور ؛ هناك أسئلة إلى واجهة المستخدم في بعض الأماكن (خاصة عند عرض الجداول) ؛ لم يتلق خطاب دعوة للمشارك الثاني في البريد من مجال شخصي ؛ لا يمكنك تغيير حقوق الأدوار (+ تعذر تغيير دور المشروع لمستخدم غير معترف به).
انطلاقًا من النشاط على الشبكات الاجتماعية والمدونة على الموقع ، قاموا بتعليق التطوير.

---

الأنظمة الحرة تجذب الكثيرين بسبب عدم وجود رسوم شهرية. لكنها بالتأكيد تتطلب تكاليف معينة. أولا ، استضافة تأجير (موارد الحوسبة). ثانياً ، تكاليف العمالة لمسؤول النظام لتثبيت وتكوين والحفاظ على أداء النظام. لكن يمكن أن يكون لديك بالفعل خادم (أو جهاز افتراضي صغير) ، كما أن توفر صور Docker الجاهزة يبسط عملية النشر ، لذا فإن بدء تشغيل نظام مجاني من البداية قد يكون أسهل من التسجيل باستخدام نظام مدفوع (أنا أبالغ ، بالطبع ، ولكن هناك بعض النكات في كل نكتة ). أضف إلى ذلك اتجاه "السيطرة الكاملة" على البيانات ، وأصبحت المنتجات مفتوحة المصدر أكثر جاذبية للتنفيذ. لقد راجعت ثلاثة من هذه الأنظمة: TestLink و SquashTM و Kiwi TCMS.

---

TestLink

الموقع الإلكتروني: testlink.org
لغة التطوير: PHP

يرضي: المدمج في المتطلبات وتتبعها من خلال الحالات ؛ تقارير نصية مختلفة القدرة على إضافة الحقول المخصصة ؛ التخصيص المرن لأدوار المستخدم ؛ التكامل مع bugtrackers (JIRA ، YouTrack ، GitLab ، Bugzilla ، إلخ) ؛ بالإضافة إلى ذلك ، يمكن أن يحدد testlid الحاجة الملحة لكل حالة في testran ، مما سيؤثر على ترتيب الحالات ؛ إدارة قائمة المنصات المختبرة ؛ جرد المضيفين (تافه ، ولكن لطيفة) ؛ محرر HTML مع القدرة على إدراج الصور والروابط والجداول والقوائم ؛ في رأيي ، أداة Open Source الأكثر شعبية مع العديد من التعليمات والمقالات حول الإعداد والاستخدام ؛ يتيح لك وجود مورد تطوير بلغة PHP تغيير المنتج حسب احتياجاتك (إذا كانت الوظائف القياسية تبدو غير كافية أو اتضح أنها غير مريحة).

لست سعيدا: واجهة الادمان قليلا. سوف تضطر إلى العبث بتكوين بعض المكونات للتشغيل الكامل (ضبط ملفات التكوين ، إرسال البريد ، التكامل مع أداة تتبع الأخطاء) ؛ في الإطارات النصية لمحرر HTML ، لا يعمل التدقيق الإملائي القياسي للمستعرض ؛ لا يمكنك تحرير حقول النظام والترتيب الذي يتم عرضها به في نموذج الحالة ؛ التغيير اليدوي لترتيب الخطوات (عليك إدخال الأرقام ، بدلاً من السحب والإفلات) ؛ يبدو أن تعيين الحالات لـ testran (build) بعد الأدوات المدفوعة غير مريح.

TM الاسكواش

الموقع الإلكتروني: www.squashtest.org
لغة التطوير: جافا

يسر: إدارة المتطلبات مع الإشارة إلى حالات الاختبار ؛ محرر HTML استخدام المعلمات في خطوات الحالة والشروط المسبقة ؛ القدرة على إنشاء حالة اختبار باستخدام برنامج Gherkin النصي ( BDD ) ؛ وظيفة واجهة المستخدم لطي محتويات خطوات القضية ؛ هناك وضع لتشغيل الحالات مع عرض موقع الويب الذي تم اختباره في الإطار (في معظم الحالات لم يعد ملائمًا ، ولكن هناك مثل هذا الاحتمال) ؛ استخدام حالة موجودة (استدعاء حالة اختبار) ؛ إضافة الحقول المخصصة إلى الكائنات تمايز اللون بين مكونات المنتج ؛ مؤشر حالة اللون في مكتبة الحالات يبدو مريحًا أيضًا ؛ الإضافات للتكامل مع بتتبع الأخطاء JIRA و Mantis ؛ هناك وثائق مفصلة (على الرغم من أن بعض الأقسام في ترتيب خاطئ) .

غير سعيد: لإرفاق صورة في المرفق ، يجب عليك أولاً إضافة امتدادات لمثل هذه الملفات إلى القائمة البيضاء لإعدادات النظام (افتراضيًا png و jpg مفقودة) ؛ لا يمكن تحرير حقول النظام (الفئة والأولوية) ؛ لا يمكنك تحرير الأدوار السبعة المتاحة لحقوق الوصول (ومع ذلك ، فإن 7 مستويات من ذلك غالباً ما تكون كافية) ؛ لم أستطع إنشاء بعض التقارير (علمت من السجلات أن هناك مشكلة في تهيئة الفصل) ؛ المصطلحات غير المعتادة لخطط الاختبار و testranes (يطلق عليها هنا اسم الحملة والتكرار) ؛ تبويب واجهة المستخدم.

كيوي TCMS

الموقع الإلكتروني: kiwitcms.org
لغة التطوير: بيثون

إرضاء: تكوين مرن لحقوق مجموعة المستخدمين ؛ التكامل مع بتتبع الأخطاء JIRA و Bugzilla و GitHub و GitLab ؛ تشغيل سريع للنظام ؛ توصيف النص العلامات مع القدرة على معاينة بسرعة ؛ القدرة على توصيل المكونات الإضافية (بعضها ، مع ذلك فقط في خطط التطوير) لجمع نتائج الاختبارات الذاتية ؛ API الخارجية وثائق المنتج مفصل. التطوير النشط للميزات والخطط الجديدة للمستقبل.

غير سعيد: في الاختبار لا يوجد تقسيم إلى خطوات منفصلة ؛ لا يتم تحديث بعض العدادات في واجهة المستخدم بعد اكتمال الإجراء (تحتاج إلى تحديث الصفحة) ؛ الإملاء في محرر نصوص ؛ تقرير واحد عن الحالات التي تم إنشاؤها (لكن يخطط لإضافة المزيد منها) ؛ لا تقسيم إلى مشاريع داخل النظام.

استنتاج

هذا ليس سوى جزء صغير من الأنظمة المتاحة في السوق. ومع ذلك ، فإن الاستعراض يحصل بالفعل لفترة طويلة. لم يتم تضمين المكونات الإضافية لـ JIRA ( TM4J ، Zephyr ، Xray ، TestFLO ، وما إلى ذلك) فيها ، لأنه هذه هي الطيور في رحلة مختلفة. جيرة ، على الرغم من أنه يستخدم الآن في العديد من المشاريع ، ولكن لا يزال ليس حلا سحريا. لذلك ، هذا هو موضوع لمقال منفصل ، لا تقل. أيضًا ، لم يقع اختبار IT تحت السلاح ، ولكنه ظهر مؤخرًا عندما تم بالفعل كتابة الجزء الرئيسي من هذه المقالة. ربما ، خلال هذا الوقت ، تم "إنشاء" المزيد من الأنظمة أو أن هناك أنظمة موجودة بالفعل تستحق المراجعة - اكتب في التعليقات. يبدو أن الناس يحبون البرامج التلفزيونية - كتابة تتمة!

في غضون ذلك ، أقترح المشاركة في مناقشة "ما هو نظام إدارة الاختبار في مشروعك؟".

(أفهم أن هذا ليس دائمًا النظام "المرغوب فيه" ، ثم شارك الألم الخاص بك: الذي تعمل به والذي ترغب في العمل به.)