测试范围

关于测试内容和需要考虑的信息

Nikola Jonic avatar
作者:Nikola Jonic
一周前更新

“如果你发现任何令人困惑或矛盾的信息,请通过聊天与团队负责人询问,而不是做出假设。”

动机

测试的范围定义了客户产品的哪些部分应该进行测试,应该关注哪些功能,客户对哪些错误类型感兴趣,以及哪些区域或功能绝不应该进行测试。

如果某事在范围内,请进行测试;如果某事不在范围内,则不应进行测试。了解测试范围对于成为我们平台上成功的测试员至关重要。

测试范围的信息包括什么?

本次测试的条款

首先要明确的是,本次测试的条款部分将总结测试的范围,并确定报告中应使用的语言。这个部分是测试中的第一个部分,因为不遵循这些指示将对你和你的 Test IO 账户产生后果。

测试环境

在测试概览页面顶部的访问部分中的URL定义了应该进行测试的网站或应用程序。任何其他网站或应用程序都不在测试范围内(除非在测试描述中另有说明),包括同一应用程序的其他版本。有关更多信息,请参阅测试环境

你只能在测试开始后看到访问信息(请注意顶部的倒计时),确认你要参与测试周期,然后同意测试周期的条款。

功能

每个测试至少包含我们所谓的功能之一。一个功能可以描述一个产品的某个区域,例如网店的落地页、产品概览页或产品详细页,它可以描述一个网站或应用程序的结帐流程,或者甚至可以是应该进行测试的特定功能。例如:

当客户设置新的测试时,所谓的标准功能将默认添加。客户可以使用这些标准功能,并根据需要进行修改或添加全新的功能。你可以在"这里"了解更多有关我们的一些标准功能。

只有在测试中存在相应的功能时,才能提交错误报告。例如,如果没有给定的功能包括结帐流程,你将无法提交与之相关的错误报告。

错误类型和严重程度

通常客户只对特定的错误类型和/或严重程度感兴趣,而不是同时关注所有类型(功能性、内容、视觉、可用性)。你可以通过查看测试概览页面右侧的支付表格来了解哪些错误类型和严重程度在测试范围内:

如果一个错误类型/严重程度没有列在那里,那么你将无法在错误表单中选择它,因此它不在范围内。例如,如果支付表格没有列出错误类型视觉,那么你就不能报告视觉错误。

测试指南

测试指南显示在访问部分下方,分为三个部分:

  • 测试目标:这个部分通常涵盖测试的一般目的。它通常会说明需要关注的内容,例如即将发布的新功能。

  • 不在范围内:这里明确指出了不应该进行测试的内容。在实时网站上,在结帐流程结束时,你通常不应该完成订单,或者网站或应用程序的某些区域可能尚未准备好。务必遵守这些信息 - 忽视它们可能会产生重大后果。

  • 其他要求:如果有其他需要指出的内容,该部分将提供信息。这可能是有关整个测试的信息,用户账户的凭据,虚拟支付信息等等。

附件

在某些情况下,可能会提供一个或多个附件。它们通常位于测试概览页面右侧。这些通常是由客户直接提供的电子表格、文档、图像、视频或 PDF 文件。附件可能包含客户的重要信息或要求,因此在开始测试应用程序或网站之前,请务必仔细查看它们。

请求的设备

通常,你会被邀请参加测试周期,使用你的特定设备。这个设备显示在测试概览页面右侧。为了获得理想的设备覆盖率,我们的分发算法邀请不同设备的测试员。你只能使用分配给你的请求设备。在测试网站时,你不仅必须使用正确的设备,还必须使用列表上可用的浏览器之一。

如果请求设备的位置已满,如果有其他空位开放,你可能能够使用不同的设备参加测试。在“提交错误”页面上,你可以检查你在测试中使用的设备。

聊天信息

团队负责人或客户成功经理可能会提供有关范围或发布重要提醒的额外信息。请始终检查聊天,如果你看到有新消息的话。每当你对环境或测试周期的范围有任何问题时,请使用聊天向团队负责人或其他测试员寻求帮助。

不在范围内

不在范围内意味着某些内容不应该进行测试。请注意,以下几点始终不在范围内(除非在测试描述中另有说明):

  • 法律问题。 我们不是法律顾问,错误的严重性不是由法律规定、框架或标准来确定的。

  • 与浏览器扩展、广告拦截器或病毒扫描器相关的问题,例如,阻止某些内容甚至应用程序的执行。

  • 网站内容不应更改,例如,使用 Google 翻译服务将网站翻译成不同语言,因为这可能导致意外行为。

  • 测试中的设置问题。

设置问题

设置问题是合法的错误 - 它只意味着测试设置或测试环境存在问题。请通过测试聊天向团队负责人报告,团队负责人将与CSM联系。以下是一些示例:

  • 测试环境部分提供的URL错误(404错误)。

  • 测试环境只能通过凭据访问,但没有提供凭据,或提供的凭据不起作用。

  • 测试环境需要代理或VPN才能访问,但在说明中没有提供这些信息(403、1020错误)。

  • 无法下载或安装应用程序。

  • 在测试过程中,环境一段时间内不可用。请记住,在测试运行期间,客户可能会更新环境,因此请确保你的问题不是暂时性的。

  • 客户为用户帐户提供了登录或付款凭据,但它们无法使用。

  • 暂存环境上的链接重定向到他们的实时网站。在测试环境设置期间,该链接没有更新为指向暂存环境。

  • 测试的设备要求,例如列出iOS 9,但要测试的应用程序只能安装在iOS 10及以上版本上。

范围不清晰或包含矛盾信息

如果你不理解范围的某些内容或发现矛盾的信息,请按照文章混乱的说明中所述,通过测试聊天联系测试的团队负责人分享这样的信息有助于我们改进未来测试的设置。

为什么信息有时不一致?

当客户打算运行一个新的测试,但之前测试的设置可以以某种方式重新使用时,他们通常会复制旧的测试并调整严重性以及其他要求。通常不会调整功能和说明,因此有时可能会向你显示无关的信息,或者功能描述和其他要求可能会相互矛盾。由于功能被复制,但其他要求是专门为新的测试编写的,因此其他要求通常会覆盖功能描述。

如果你发现任何混淆或矛盾的信息,请与团队负责人通过聊天询问,而不要自行假设。

这是否解答了您的问题?