所有收藏
教育材料
缺陷报告要求
缺陷报告要求

如何正确记录缺陷报告以及Test IO的标准是什么?

Nikola Jonic avatar
作者:Nikola Jonic
一周前更新

在本文中,您将学到如何根据我们的规则和标准正确记录您的缺陷。为了理解缺陷,客户需要具有高质量文档的充分信息。您将在本文的每个部分中找到有关我们规则的更详细信息,但以下是我们缺陷报告要求的快速摘要:

  • 如果您报告的是功能性缺陷,您必须在填写缺陷报告的其余部分之前选择一个可用的严重性级别。

  • 标题必须回答发生了什么,缺陷发生在哪里以及何时触发的问题,反映实际问题,避免描述未发生的情况(而是关注实际发生的情况)。

  • URL必须是从触发缺陷的页面中复制的浏览器URL。

  • 第一个复现步骤必须包含登陆页的URL或应用程序名称。其他步骤应描述您采取的操作以触发问题,最后一步应该是触发问题的最后一个操作(而不是"观察")。

  • 实际结果应由一两个句子组成,解释在最后一个操作之后发生了什么。如果有必要,您还可以添加以前操作的结果。它不应与标题相同。

  • 预期结果应包含在执行最后一步以触发缺陷后应该发生的信息。它不应是实际结果的副本,其中有一些微小的变化或负面词语,因为这两个字段的目的不同。

  • 如果报告需要附件,请不要忘记附上附件。

  • 最后,您必须选择正确的使用环境和浏览器(如果适用),这是基于您接受任务时所使用的设备。

您在缺陷报告表单中的第一步应该是选择正确的特性。如果在下拉列表中找不到正确的特性,请返回测试概览页面,浏览所有特性描述并标记为已读。然后,您可以返回到缺陷报告表单,所有特性将显示在下拉列表中。

缺陷表单

选择特性后,整个缺陷表单将对您可见。例如,功能性缺陷的表单如下:

您应根据我们的质量标准填写缺陷表单的每个字段。有关每个字段及其要求的更详细信息,可以在下面找到。

严重性

仅适用于功能性缺陷,您将看到一个额外的字段称为严重性:低、高和/或关键。严重性指示您的报告的紧急程度,取决于多个因素。有关不同严重性级别的详细信息,请访问以下文章:功能性错误

对于其他类型的缺陷,不会显示严重性字段。

标题

缺陷报告标题应总结问题,以便读者通过仅阅读标题就能对缺陷有一个总体了解。他们不应该不得不阅读整个报告才能理解问题是什么。您的缺陷报告标题应既精确又不太长。它应包含信息:缺陷是什么,缺陷发生在哪里,以及何时触发缺陷?因此,当您为缺陷报告编写标题时,始终记住:是什么?在哪里?什么时候?

当编写缺陷标题时,描述正在发生的事情而不是未发生的事情。您的标题永远不应该声明某事不起作用,否则读者无法了解实际发生了什么。

标题必须反映实际问题。如果缺陷仅在某些条件下发生,则这些条件必须包含在缺陷标题中。例如,如果您不能在自己是青少年的情况下预订票,这是相关信息,必须包含在标题中。

为了得到一个描述性的标题,设身处地地想象一下从未测试过该网站/应用程序的人,他无法想象您所在的页面是什么样子,您做了什么。以这个人的角度阅读您的标题,看看您是否能理解该缺陷。如果您无法获得有关缺陷的良好想法,请调整缺陷标题并重复该过程。

示例缺陷标题

错误:购物车页面显示错误

正确:用户单击“结账”按钮后,购物车页面将显示“错误500”。

错误:用户无法将产品添加到购物车

正确:当用户在PDP上选择尺寸并单击“添加到购物车”按钮时,“意外错误”将显示在PDP右上角的横幅上,并且该产品未添加到购物车中。

上述示例有什么问题:这些标题太抽象,可能适用于许多场景,读者无法了解您执行的操作以及系统对其的响应。因此,审阅人必须阅读整个报告才能理解缺陷,并且不容易将此缺陷与其他缺陷区分开来。

URL

访问缺陷出现的页面,将URL从浏览器的URL字段复制并粘贴到缺陷报告表单的URL字段中。

The URL must be valid.

复现步骤

缺陷必须是可复现的,需要详细的逐步指南来说明如何复现它们。每个步骤应描述一个单独的操作。

请注意,您不必对步骤进行编号,因为这是我们的系统自动完成的。

第一步必须包含一个指示,即访问客户在Access部分提供的登陆页的URL,如果您正在测试网站,或者是指示打开应用程序(带有其名称),如果您正在测试移动应用程序。所有后续步骤应描述从初始步骤开始到出现缺陷的那一刻的操作——您按下哪些按钮,跟随哪些链接,输入了什么内容。您的最后一步必须描述触发缺陷的操作。请记住,“观察”不是用户采取的操作。

您的步骤应尽可能一般。只有在缺陷仅在特定条件下发生时,例如仅在特定产品概述页面、特定筛选器、特定输入等情况下,才在步骤中命名此条件。例如,在您的步骤中,不要描述您访问的特定产品概述页面,然后是在问题适用于任何产品时添加到购物车的特定产品。这将有助于读者理解您的缺陷的思路,并且不会被不相关的细节分散注意力。

最后,请确保您的步骤包含尽可能少的操作。在阅读每个步骤后,复现您报告的缺陷的人应该能够在网站或应用程序上完成这些操作。他们不应该多次检查相同的步骤来记住需要做什么。

示例复现步骤

  1. 在右上角的搜索栏中输入任何搜索查询(例如“旧金山”)

  2. 单击“立即搜索”按钮

  3. 滚动并单击“按价格排序”

  4. 选择“按价格从高到低排序”选项

不好的示例复现步骤

  1. 观察

  2. 搜索 > 排序 > 从高到低

  3. 观察

上述示例有什么问题:第一步必须包含指示,即访问登陆页的URL,而不仅仅是URL本身。第三步不够详细,包含了太多操作。第二步和第四步是多余的,不必要的,不有助于理解缺陷。

实际结果

实际结果是缺陷报告中最重要的字段之一,因为您在这里解释问题是什么以及需要理解缺陷的所有其他细节。

按照您的逐步指南进行后,实际发生的事情应该尽可能详细地描述。尽量精确,不要过于一般化,例如,不要说应用了排序方法X后,产品在大多数情况下仍然保持在相同的顺序中,而应该描述未按正确顺序排列的产品的具体示例。如果需要了解缺陷的相关信息,例如示例、进一步的条件、异常或必要时其他重要结果,请在此字段中添加任何信息。只需确保结构化信息,以帮助读者理解您的思考过程。

重要说明:实际结果和预期结果绝不能完全相反。应该发生的预期和实际发生的情况差异很大。

同样,实际结果不应与报告的标题相同。标题是问题的摘要,实际结果应该是对问题的详细描述,并应包括场景信息、示例和在执行复现缺陷的步骤时获得的结果等进一步细节。

示例实际结果

错误:单击“结账”按钮后,购物车页面上显示错误。

正确:当用户将某些产品添加到购物车并尝试转到结账页面时,他将注意到无法执行此操作。在右侧菜单中单击“结账”按钮后,将显示“错误500 - 内部服务器错误 - 抱歉,出现了问题”。

错误:用户无法将产品添加到购物车,显示错误。

正确:用户在打开“Test IO - 产品1”详细页面后,选择尺码:36,并单击“添加到购物车”按钮后,将在PDP右上角看到“意外错误”错误消息横幅,并且该产品未添加到购物车中。

预期结果

描述在执行您上一步描述的操作后您希望发生的情况。如常,细节是关键。考虑一下如果您没有遇到缺陷,一切都正常工作时应该发生什么。

请记住,预期结果不同于实际结果,只是稍微变化或带有负面词语的实际结果的副本,而是一个不同的字段,用于解释在执行复现缺陷的最后一步后应该发生的一切。

示例预期结果

错误:用户可以继续进行结账。

正确:在将某些产品添加到购物车并单击“结账”按钮后,用户应该能够正确重定向到结账页面,在那里他应该能够添加运输和付款信息并下订单。

错误:产品应成功添加到购物车。

正确:选择“尺码:36”的“Test IO - 产品1”,并单击“添加到购物车”按钮后,产品应成功添加到购物车。用户在此过程中不应遇到任何错误。

附件

了解您的缺陷所需的附件类型以及适用的规则,请访问以下文章:缺陷报告附件要求

使用环境

对于我们和我们的客户来说,知道您在经历缺陷时使用的设备非常重要。在测试网站时,单击您所使用的设备旁边的浏览器图标。在测试移动应用程序时,选择您用于测试并安装了应用程序的设备。

您只能使用您的配置文件中列出的设备进行测试。此外,当您报告缺陷时,应仅选择一个设备或浏览器,并仅上传与之相关的附件。如果您能够在其他设备或浏览器中复现缺陷,请在实际结果中提及。

选择缺陷发生的正确环境是强制性的操作。提交报告时,请确保选择正确的环境。如果不小心选择了错误的环境,您可以在提交报告之前更正。在团队领导审查缺陷报告之前,您可以通过更改环境选择来进行更正。如果缺陷报告包含错误的环境,团队领导将在缺陷报告审查期间拒绝报告。

您想使用的设备不在您配置文件中可用设备的列表中吗?只需通过支持聊天发送请求,我们将为您将该设备添加到列表中,前提是该设备与我们的客户相关。

注意:如果您从配置文件中删除了您接受测试邀请的设备,您将无法在此测试中提交报告。缺陷表单的环境部分将为空,并且无法发送表单。删除配置文件中的设备后,无法恢复。只要您接受测试邀请,就不能撤销删除设备的操作!

改进您的报告

提交报告后,您仍然可以编辑所有字段,除了所选的缺陷类型。您必须始终提交准备好供审查的完整缺陷报告,只有在出现小的拼写错误或者希望重新表达您的话以提高报告质量时才使用编辑选项。

请记住不允许使用占位符,因此不要提交不完整的报告以后再编辑。

如果您的缺陷仅发生在某种特定输入上,请使用真实用户将使用的术语,避免在创建缺陷报告或附件时输入随机关键字,这样会使您的报告看起来不专业。

这是否解答了您的问题?