十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
自动化测试优与劣
创新互联自2013年起,先为崇阳等服务建站,崇阳等地企业,进行企业商务咨询服务。为崇阳企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
为何要开展自动化测试?手工测试与自动化测试相比孰优孰劣呢?本节针对该问题展开论述与讲解。
测试工作中,往往需要面对很多问题。经常可以听到测试工程师的抱怨,其抱怨内容大体如下:
v 重复、频繁的工作太多;
v 测试工作任务重,测试周期短,工作压力大;
v 创新性的工作太少,无法体现自己的能力与自己的人生价值;
v 测试结果有时需要精确到秒,手工测试来做太难了。
那如何将测试工程师从繁杂的测试工作中解脱出来?如何体现测试工程师的价值,发挥测试工程师的特长?又如何将测试结果精确到秒呢?
上述问题均可以通过自动化测试来解决,一方面提高了测试的工作效率,另一方面可以通过自动化测试体现测试工程师的能力,改变众人对测试工作的观点。
1.1自动化测试定义
既然自动化测试可以弥补手工测试的一些不足,并能体现测试工程师的价值,那何为自动化测试?它又具备哪些特性?
自动化测试即借助于测试工具、依照测试规范,从局部或全部代替人工进行测试以及提高测试效率的过程。其具备如下主要特征:
v 自动测试过程是通过模拟人工操作,完成对被测试系统的输入,并且对输出进行检验的过程。
v 自动测试是由软件代替人工操作,对被测试系统的GUI发出指令,模拟操作,完成自动测试过程。
相对于手工测试,自动化测试可概括为如下几点:
v 优化成本:降低劳动量,降低测试成本;
v 可靠:提高测试的全面性,提高测试精确度;
v 快速:加快测试速度;
v 规范化:提供规范化的测试流程;
v 可重用:提高测试的重用性;。
1.2自动化测试与手动测试的关系
自动化测试既然有如此大的优势,那手工测试是否可以退出测试舞台呢?首先,,让我们思考几个问题。通过对如下问题的讨论,来解答读者的疑问。
1. 手工测试与自动化测试相比谁发现的缺陷多?
测试的主要目的是通过发现缺陷、解决缺陷来提高软件质量。通常,测试的执行需要依赖测试用例。而测试工作中执行测试用例的通用方法往往是手工运行测试用例。假想一下,如果某个测试用例被自动化,则首先应对自动化后脚本的正确性进行测试。
据统计数据显示:手动测试可以发现80%以上的缺陷,而自动测试只能发现20%左右的缺陷。这恰恰反映出自动化测试源于手工测试,且只是替代人工的重复性劳动。
2. 测试质量孰高孰低?
自动化测试(工具)只能判断实际结果与期望结果之间的差异。因此,在自动化测试过程中,测试任务就演变为验证实际结果与期望结果的一致性。而测试的目的是提高测试的质量。因此通过手动测试,测试质量更高一些。
3. 自动化测试与软件开发的关系?
自动化测试比手动测试更“脆弱”。软件开发过程中,部分功能的改变,也有可能使自动化测试崩溃。而由于自动化测试比手工测试开销大,并且需要不断的维护,这也限制了自动化测试的开展。
4. 自动化测试工具是否存在局限性?
自动化测试工具毕竟是软件,工具只可按预订指令执行。而自动化测试工具和测试者都可以按指令执行一组测试,但人拥有思想,可以按不同的方式、不同的思维完成相同的任务。
例如:测试工程师运行测试用例(或测试场景),执行测试执行过程中,经常需检查实际输出是否正确。此时,即使软件实际输出与期望输出一致,软件也有可能存在缺陷,测试者可以判断,而测试工具则不可。测试者可以发挥其想象力和创造力改进测试用例(或测试场景),而测试工具只有呆板的执行。
通过以上四个问题的讨论,可以得出结论:手动测试不会退出历史舞台,其有存在的价值。同时,手动测试比测试工具的优越性还有很多,手动测试可以灵活的处理意外事件。例如,网络连接中断时,手动测试就可以尽可能快地解决问题,然而这样的意外事件却可以让自动测试的执行终止。
以上,1.2和1.3小节分别阐述了自动化测试与手动测试存在的必要性,那么在测试工作中,何时引入自动化测试呢?自动化测试又有哪些优势呢?下面通过以下几节,逐一揭示。
1.3何时开展自动化测试
什么时候适合开展自动化测试呢?
测试工作中,被测软件(或系统)需要多个版本的迭代。根据公司(或项目)的不同,版本发布的时间也存在差异。
开展自动化测试之前,首先需依照测试用例,对被测功能模块展开手动测试。当手动测试执行通过后,使用自动化测试工具,将手动测试的操作过程录制下来,并将正确的结果进行保存(被称为期望结果)。由于自动化测试工具记录的为关键×××模块,被测软件(系统)的下一版本发布后,该模块仍应进行测试。
在软件新版本的测试中,启动自动化测试工具,运行前面录制好的自动化测试脚本。对比实际运行后的结果与预期结果,如不一致,则确定为缺陷;如一致,则认为该功能模块在新的版本中测试通过。
到此,可以得出一条结论:自动化测试,适合在被测软件(或系统)版本相对稳定后开展。如软件版本相对不太稳定,则会造成使用自动化测试工具录制的脚本在新的版本中回放失败,这样既浪费人力,又浪费时间。
1.4自动化测试的优势
自动化测试的开展究竟能给测试工作带来哪些改进,带来哪些突破与欣喜呢?其实,自动化测试的特点即能够很好的概括自动化测试的优势。其主要特点如下:
1. 可重复
不可否认,软件测试有时确实是繁杂且重复性较高的工作。关键×××模块要在不断迭代的测试版本中重复的测试,而这些工作,随着软件测试版本的迭代将一直持续下去。当开展自动化测试后,即可通过自动化工具来替代这些重复性工作。大大缩减回归测试的工作量与压力,有效提高工作效率,缩短回归测试的时间。
2. 可程序化
自动化测试深入开展后,将不再是简简单单的录制与回放,自动化测试将优化录制的测试脚本,大大提高脚本的灵活性与交互性。自动化测试录制后生成脚本,脚本中包含录制过程中生成的操作与数据。测试工作中,需用不同的测试数据覆盖不同的测试路径来满足不同的测试场景。
因此,数据维护将是一个繁杂的工作。可以将数据与录制的自动化脚本剥离,用外部数据源管理测试数据,而测试脚本只负责测试流程的组织。这样,就可以大大提高自动化测试的灵活性与可持续性。
后续自动化测试工作中,还可开发UI界面,使用UI驱动自动化测试脚本。增加自动化测试交互性。
3. 可靠,提高测试精确度
自动化测试可以执行一些手工测试难以达到或不可能实施的测试。例如,测试工作的执行要精确到秒;模拟大量用户同时对某一个功能点展开测试。这些工作都是手动测试无法实现或很难达到的。而开展自动化测试后,很容易实现这些测试需求。
4. 资源的有效利用
将繁杂重复的测试任务实现自动化,可以提高准确性和工作效率,提高测试工程师的工作积极性。将测试工程师从繁杂重复的工作中解脱出来,投入更多精力到其他的测试工作中(如测试质量),这更有利于测试质量的提高。在实际工作中,有些测试场景是仅适合于手动测试的,测试工程师可以专注于手动测试部分,提高手动测试的效率。
1.5自动化测试实施的场景
1.4小节中提到,并非任何手动测试都适合用自动化测试来替代。究竟哪些场合适合开展自动化测试呢?
v 回归测试;
v 更多更频繁的测试 ;
v 手工测试无法实现的工作 ;
v 跨平台产品的测试;
v 重复性较强的操作 。
哪些场合又不适合开展自动化测试呢?
v 软件版本不稳定;
v 涉及与物理设备交互的测试;
v 测试结果较容易通过人工判断的测试。
1.6 实施自动化测试的成本
当前,很多企业或管理者期望借助软件测试自动化作为催化剂,提高效率、提高质量,同时,节省开支。甚至有些企业希望实施自动化测试后,就能够给企业带来效益。
在此,可以肯定的是自动化测试已经在很多领域成功实施,也有很多成功案例给了企业希望,并且这些企业成功实施自动化测试后,确实节省了相当可观的费用。而不幸的是,也有很多失败的案例,即使在看到光鲜的成功案例背后,也有失望与失败的过程。身边也有很多企业不止一次尝到了自动化测试失败的滋味。花巨资购买自动化软件,被搁置,努力化为了泡影。失败的结果不仅仅造成了人力、物力的损失,更是直接给公司带来了经济上的损失。
测试自动化实施前期需要考虑很多因素,人力、物力、财力都是需要认真考虑与规划的。自动化测试在整个测试周期中何时开展,哪些测试工作可以由自动化测试替代,这些都需要在开始部署自动化测试前,认真的思考。影响自动化测试效率的因素,不单单是大家看到可量化的测试工作,还有许多无形的因素影响着自动化测试,如测试组织的部署等。因此,在真正实施前一定要认真规划和考虑自动化测试实施方案。
自动化测试的实施过程,完全不同于手动测试。自动化测试用例与手工测试用例也大不相同。自动化测试实施过程中,需要不断的开发与维护脚本,因此对测试人员能力有很高的要求。
自动化测试实施前,需要认真分析与规划测试方案,计算自动化测试的成本。自动化测试成本包括以下几方面:
v 软件成本:自动化软件产品购买的费用;
v 培训成本:自动化测试工程师培训费用;
v 人力成本:自动化测试用例和测试脚本的编写的人力成本。
只有合理的规划自动化成本,站在全局角度考虑自动化的成本与收益,方可增加自动化方案成功实施的可能性。