在2019年选择测试管理系统

尽管现代表编辑器具有强大的功能,但对于许多开发团队而言,迟早会出现引入专用工具(系统)来管理其项目中的测试过程的问题。 选择哪一个?



在我的实践中,这样的问题已经被问了不止一次。 这促使我创建此评论文章。 将来,为我们自己和所有面临此问题的人们节省一些时间。 即使在文章末尾没有答案(对剧透者来说很抱歉) ,但您的潜意识很可能会立即确定,并在特定项目的正确时间告诉您答案。

在搜索中,我遇到了许多类似的文章(其中我借用了一个比较表的结构),但是它们都很少列出这些系统的站点中的函数以及该接口的1-2个屏幕截图,并且经常包含此类工具之一的隐藏或公开广告。 但是我想“自己”测试每个系统,并公开分享我所看到的,讲述我的感受。

免责声明
在本文中,只有我的主观意见,某些观点才有可能改变(考虑到从构想到发布所花费的时间为9个月) 。 我与上市公司和产品没有关系,所有屏幕截图仅供参考。 文本中有很多英语。 表或文本中的位置不是排名中的位置,您可以自己确定“最佳”和“最差”。
一个月前另一位作者发表的一篇非常相似的文章 -您没有deja vu,但这并不排除在平行世界(如果您选择蓝色药丸)中您已经阅读了我的文章的事实。

下面是最终的比较表(可单击),在此之后,读者(不着急见面)将找到有关每个系统的几句话。



付费工具:


睾丸
质量检查接触
测试合作
测试经理
实践测试
Zephyr独立版
测试小屋
Easyqa

开源工具:


测试链接
壁球TM
猕猴桃TCMS


重要说明:
界面的屏幕快照是可单击的,并且隐藏在扰流器下方。 您可以在我的网站上找到更多屏幕截图。 没有人喜欢自我推销,因此,如果有文章示例或快速便捷地在Habré上为文章添加类似图像库的方法,请在评论或个人信息中告诉我。 我将尝试重做,然后删除此注释。


睾丸


网站: www.gurock.com/testrail
开发人员:Gurock Software GmbH
价格:TestRail Cloud $ 30每位用户/月(1-20位用户)

取悦:便捷直观的界面; 快速插入图像; Markdown文本标记; 添加自定义字段 设置案例字段的显示顺序; 将每个案例(或测试)分配给单个用户的能力; 快速复制和移动案件; 将多个Testran分组为一个测试计划; 与错误跟踪器快速集成(通过跟踪器URL或使用插件); 以XML和CSV格式导出案例和报告; 与内部系统集成的广泛API功能(案例中的信息同步,保存测试结果等); 视觉报告; 整齐的印刷表格; 创建项目时,可以选择三种类型的结构来存储测试用例(其中一种允许您将用例分为与开发相对应的分支)。

不满意:没有内置要求; 没有错误跟踪器; 价格很高(尤其是对于小型公司)。

界面截图:




质量检查接触


网站: www.qatouch.com
开发人员: DCKAP
价格:专业版,每50位用户每月69美元

讨好:以适当的价格提供广泛的和计划好的机会; 不错的用户界面; 内置的bugtracker和要求; 与外部错误跟踪器JIRA,GitHub,GitLab集成; 发布测试计划; 有可能创建具有特定状态的案件的重审(重审); 语音拨号和案文标题及漏洞的文字填写; 可重用的案例步骤。
不幸的是,我无法对产品的某些组件进行截图,因为 它们仅在付费计划中可用。

不满意:案例组成部分(主要字段,步骤,附件)在编辑时会分散到选项卡中; 没有文字格式; 图片,尽管可以将其添加到一个步骤中,但只能添加到一个步骤中,并作为可下载文件; 没有案例版本控制; 步骤和预期结果的文本区域在手动更改大小时会在编辑过程中丢失(不在同一行上); 创建和编辑testran的案例选择形式略有不同; 案例和错误列表仅包括它们的名称和ID(为快速查看列表,将不会多余的自定义字段); 运行过程中的状态标记也与案件的一般信息放在单独的选项卡上; 在显示的数据中有少量沙漏(仪表板上的案件总数和“分配给”的奇怪字段-我将其归因于我当年注册的事实,此后卖方对此进行了实质性补充 )。

界面截图:




测试合作


网站: testcollab.com
开发人员:Test Collab
价格:初创企业每位用户每月25美元(超过50位用户-10美元)

取悦:广泛的邮件通知配置(具有编辑信函模板的功能); 将测试计划合并到测试计划中; 带有提示的漂亮界面(可以关闭); 可重复使用的步骤功能; 在编辑时对案件发表评论的能力; 标签 选择文本格式的类型(Markdown,HTML / WYSIWYG,纯文本); 添加自定义字段 可定制的模板,用于在testran中选择案例; 内置要求; 价格(对于小型项目,有200个案例和400个已完成案例的免费计划)。

不满意:您无法编辑系统字段(尤其是“优先级”); 无法将显示的字段保存在列表中(默认情况下重置更新页面时); UI元素的显示存在一些小缺陷; 没有用于案件或报告的印刷表格(可能现在很少使用,但是其他工具提供了这种功能) ; 通用仪表板上的数据会延迟更新; 仅导出一个测试集的案例(在这种情况下,嵌套集仅处理导出到XML的过程); 不方便地将图像插入案件步骤(通过链接); 没有错误跟踪器。

界面截图:




测试经理


网站: tricentis.com
开发者:Tricentis(于2018年收购QASymphony)
价格:每位用户每月99美元起(价格是近似值,取决于用户数量)

满意:设置系统字段并将自定义字段添加到各种对象(具有预览该对象甚至更改运行状态颜色的能力); 内容丰富的案例变更历史; 案件文本字段中的内置HTML编辑器; 评论单个案件; 您可以订阅单独的案例,并通过邮件接收有关更改的通知; 案例自动版本化的一个有趣实现(具有主要和次要组成部分); 快速运行案件的功能(无需设置每个步骤的状态); 带有案例绑定的内置要求和目标程序集的指示;还具有内置的错误跟踪; 可重用的案例; 可定制的testran配置; 与错误跟踪程序和CI / CD服务集成的充足机会; API提供更灵活的交互; 按案例,要求等存储搜索查询; 各种报告; 管理员侧的灵活设置(用户,通知,权限,组等); 具有所有数据的嵌入式项目,以使您熟悉产品的功能; 测试计划。

不高兴:没有印刷形式的案件; 仅以Excel格式导出案例(但外观可读); 在运行过程中,在表壳的各个步骤中略微不便查看图片; 该网站没有有关产品价格的信息(您需要单独提出要求),令人印象深刻。

界面截图:




实践测试


网站: www.practitest.com
开发人员:PractiTest
价格:ENTERPRISE每位用户每月49美元(最少3位用户)

满意:对案件发表评论能力(测试); 测试的标签(关键字); 快速跳转到测试编号; 生成testranes的排列(针对不同的测试人员,版本); 在案例步骤中使用参数(具有为每次运行更改值的能力); 在另一个案例中包含一个案例的步骤(要求进行测试) (有时确实是必要的,您不必跳转到其他案例的链接) ; 与Jira和YouTrack双向集成(通过创建API令牌); 添加自定义字段 看板情况委员会; 他们的错误跟踪器和要求(但没有与他们一起截屏)。

不满意:整体上是复杂的UI / UX(特别是将案例结构划分为选项卡:不同选项卡上的描述和步骤); 案件本身和报告的印刷本微薄,无法表述; 尽管支持降价标记,但是图片仅作为附件添加到步骤中; 如果没有通过某些步骤,则无法更改整个案例的状态(这是正确的,但有时您需要使整个测试“绿色”) ; 不能给用户列表排序的优先级(按字母顺序排序); 价格(即使考虑到独特功能,价格过高); 支持每个页面上的聊天小部件。
Web平台开放时,俄罗斯IP无法提供该公司发布时的网站。

界面截图:




Zephyr独立版


网站: www.getzephyr.com
开发人员: SmartBear软件
价格:每位用户每月50美元(过去的价格,现在网站上未显示)

我很高兴:有吸引力的测试阶段计划(类似于甘特图)加上各种测试工作的添加和定制; 内置的需求和错误跟踪,可以与JIRA无缝集成(可以直接从Zephyr搜索和查看票证); 可以向对象(项目,案例,需求)添加自定义字段,将名称和颜色更改为运行状态(整个案例和一个步骤); 您可以为具有各种特征(图)的项目添加小部件,这些小部件将在指定时间后更新; 以必要的字段导出HTML和PDF格式的案例。

不开心:界面不正常,您需要一段时间习惯UX / UI; 没有到单独案例的直接链接(仅通过搜索查询,您可以为其生成URL); 带有以下帮助小部件的仪表板未删除; 您不能更改系统字段; 案例步骤的图片只能作为附件添加到整个案例中。 仅在JIRA下锐化; 价格必须根据要求找到(并且只能通过电话获得,电子信息中不会提供此信息)

界面截图:




测试小屋


网站: www.testlodge.com
开发商:TestLodge Limited
价格:600箱/月,基本49美元(按数据量订阅)

请:简洁的界面; 创建testran时创建和选择配置; 与流行的错误跟踪器快速集成; 创建测试计划(使用默认模板); 覆盖率矩阵(如果要求保留在产品内部); 订阅模型的数据量(对于某些项目,这是一个加分); 将导出设置为HTML(这也是一种打印形式)。

不高兴:没有将案件分为不同的步骤; 自定义字段不能移到系统字段上方; 图片只能作为附件或链接插入; 仅将案件分别单独出口; 只能为一个测试计划指定一个测试套件; 没有错误跟踪器。

界面截图:




Easyqa


网站: geteasyqa.com
开发人员:ThinkMobiles
价格:每位用户每月10美元

愉悦:能够监视和测试移动程序集(APK和IPA文件),并与GitHub或GitLab存储库集成; 自己的错误跟踪器,能够添加插件以与其他系统集成(GitHub,GitLab,YouTrack,JIRA,RedMine,Pivotal Tracker,Trello); 易于使用(有时是一个加号)测试对象(计划,测试集,测试用例,报告); 从CSV文件导出案例时,对字段进行可视化比较(但需要注意,您可以进入无尽的导出周期)。

不高兴:没有办法至少以某种方式自定义对象。 案件的每一步都没有预期的结果; 如果您无法设置文本格式和附加图片; UI在某些地方存在问题(尤其是在显示表格时); 没有收到个人域发送给第二位参与者的邀请函; 您不能更改角色的权限(+不能更改未确认用户的项目角色)。
从社交网络上的活动和站点上的博客来看,他们暂停了开发。

界面截图:





免费系统由于缺乏月租费而吸引了许多人。 但是他们肯定会需要一定的费用。 首先,托管租金(计算资源)。 其次,系统管理员在安装,配置和维护系统性能方面的人工成本。 但是您已经可以拥有服务器(或小型虚拟机),并且现成的Docker映像的可用性简化了部署,因此,从头开始启动免费系统比在付费系统中注册容易(当然,我夸张了,但是每个玩笑中都有一个玩笑) 除此之外,数据“全面控制”的趋势更加明显,开放源代码产品对于实施变得越来越有吸引力。 我回顾了三个这样的系统:TestLink,SquashTM和Kiwi TCMS。


测试链接


网站: testlink.org
开发语言:PHP

满意:内置需求并通过案例进行跟踪; 各种文本报告; 添加自定义字段的能力; 灵活定制用户角色; 与错误跟踪器(JIRA,YouTrack,GitLab,Bugzilla等)集成; 睾丸还可以为testran中的每个案例设置紧急性,这将影响案例的顺序; 管理测试平台列表; 主机清单(琐事,但不错) ; HTML编辑器具有插入图片,链接,表格,列表的功能; 我认为,这是最受欢迎的开源工具,其中包含许多有关设置和使用的说明和文章; PHP语言中开发资源的存在使您可以根据需要更改产品(如果标准功能似乎不足或事实证明​​它们不太方便)。

不开心:界面上瘾; 您将不得不配置一些组件以进行完整操作(对配置文件进行微调,发送邮件,与错误跟踪器集成); 在HTML编辑器的文本窗口中,浏览器的标准拼写检查不起作用; 无法编辑系统字段及其在案件表格上的显示顺序; 手动更改步骤顺序(您必须输入数字,而不是拖放); 在付费工具之后分配testran(构建)的案例似乎很不方便。

界面截图:




壁球TM


网站: www.squashtest.org
开发语言:Java

满意:参考测试用例进行需求管理; HTML编辑器 在步骤和前提条件下使用参数; 具有使用Gherkin脚本( BDD )创建测试用例的能力; UI功能折叠案例内容的步骤; 有一种用于运行案例的模式,其中在框架中显示了经过测试的网站(在大多数情况下,它不再相关,但是有这种可能性); 使用现有案例(称为测试案例); 向对象添加自定义字段 产品组件的颜色区分;案例库中的颜色状态指示器似乎也很方便; 与错误跟踪器JIRA和Mantis集成的插件; 有详细的文档(尽管某些部分的顺序错误)

不满意:要在附件中附加图片,您必须首先将此类文件的扩展名添加到系统设置的白名单中(默认情况下缺少png和jpg); 系统字段(类别和优先级)无法编辑; 您不能编辑可用的七个访问权限角色(但是,通常七个级别就足够了); 我无法生成一些报告(我从日志中了解到该类的初始化存在问题); 测试计划和测试记录的不常用术语(在这里称为“活动和迭代”); 标签用户界面。

界面截图:




猕猴桃TCMS


网站: kiwitcms.org
开发语言:Python

请:灵活配置用户组权限; 与错误跟踪器JIRA,Bugzilla,GitHub和GitLab集成; 快速的系统操作; Markdown文本标记具有快速预览的功能; 连接插件(但是,某些仅在开发计划中)以收集自动测试结果的能力; 外部API 详细的产品文档; 积极开发新功能和未来计划。

不高兴:在测试中,没有分成单独的步骤; 完成操作后,UI中的某些计数器不会更新(您需要刷新页面); 在文本编辑器中自己拼写; 关于已创建案例的一份报告(但计划再添加几份); 没有在系统内划分项目。

界面截图:




结论


这只是市场上可用系统的一小部分。 但是,审查已经相当漫长了。 JIRA插件( TM4JZephyrXrayTestFLO等)未包含在其中,因为 这些是不同飞行的鸟。 JIRA,尽管现在已在许多项目中使用,但仍然不是万能药。 因此,这是另外一篇文章的主题。 此外,Test IT并没有落伍,但是它是在本文的主要部分已经写好之后才问世的。 也许在这段时间内,更多的系统“诞生”了,或者已经有一些值得回顾的系统-在评论中写下。 似乎人们喜欢电视节目-写续集!

同时,我建议参加讨论“您的项目上的测试管理系统是什么?”。

(我知道这并不总是“理想的”系统,所以要分担您的痛苦:与您一起工作以及与您一起工作。)


Source: https://habr.com/ru/post/zh-CN463333/


All Articles