Zum Hauptinhalt springen

Anforderungen an Bug-Reports

Wie dokumentiere ich einen Bug-Report ordnungsgemäß und was sind die Standards bei Test IO?

Verfasst von André

In diesem Artikel erfährst du, wie du deinen Bug gemäß unserer Regeln und Standards ordnungsgemäß dokumentierst. Damit Kunden einen Bug verstehen können, benötigen sie ausreichende Informationen in einem hochwertig dokumentiertem Bug-Report. Du findest detailliertere Informationen zu unseren Regeln in jedem Abschnitt dieses Artikels, aber hier ist eine schnelle Zusammenfassung unserer Anforderungen an Bug-Reports:

  • Wenn du einen funktionalen Bug meldest, musst du einen der verfügbaren Schweregrade auswählen, bevor du den Rest des Bug-Reports ausfüllst.

  • Der Titel sollte den Fehler zusammenfassen und die notwendigen Informationen enthalten, um das Problem zu verstehen, ohne den Bug-Report öffnen zu müssen. Zu diesen Informationen gehören, was passiert ist, wo der Fehler aufgetreten ist und wann, wie oder unter welchen Bedingungen er ausgelöst wurde.

  • Die URL muss die Webseiten-URL sein, auf der der Fehler aufgetreten ist. Sie können die URL einfach aus der Adressleiste Ihres Browsers kopieren.

  • Dokumentieren Sie die Schritte, die es ermöglichen, den Fehler zu reproduzieren, wenn sie befolgt werden.

  • Das tatsächliche Ergebnis sollte aus einem oder mehreren Sätzen bestehen, in denen erklärt wird, was nach der letzten Aktion passiert ist. Du kannst auch Ergebnisse früherer Aktionen hinzufügen, wenn sie notwendig sind, um den Fehler zu verstehen. Das tatsächliche Ergebnis sollte aber keine Kopie des Titels sein.

  • Überlegen Sie, was hätte passieren sollen, wenn kein Fehler vorhanden gewesen wäre, und schreiben Sie diese Erwartung in das Feld erwartete Ergebnis.

  • Fügen Sie einen Anhang hinzu, der den Fehler zeigt, um ihn visuell zu veranschaulichen und seine Existenz zu bestätigen.

  • Schließlich musst du die korrekte Testumgebung und den Browser (falls zutreffend) auswählen, auf welchem der Test durchgeführt wurde. Dies hängt in der Regel davon ab, welches Gerät bzw. welche Geräte dir in einem Testlauf zugewiesen wurden.

Dein erster Schritt im Bug-Formular sollte darin bestehen, das richtige Feature auszuwählen. Wenn du das richtige Feature nicht in der Dropdown-Liste findest, navigiere zurück zur Übersichtsseite des Testlaufs, gehe alle Feature-Beschreibungen durch und markiere sie als gelesen. Danach kannst du zum Bug-Formular zurückkehren und solltest nun alle Features in der Dropdown-Liste finden.

Bug-Formular

Nachdem du das Feature ausgewählt hast, wird dir das gesamte Bug-Formular angezeigt. Ein Formular für funktionale Fehler sieht zum Beispiel wie folgt aus:

Du solltest jedes Feld im Bug-Formular entsprechend unseren Qualitätsstandards mit den korrekten Informationen ausfüllen. Detaillierte Informationen zu jedem Feld und seinen Anforderungen findest du weiter unten.

Schweregrad

Nur für funktionale Fehler gibt es ein zusätzliches Feld namens Schweregrad: Low, High und/oder Critical. Der Schweregrad zeigt die Priorität deines Berichts an und hängt von mehreren Faktoren ab. Informationen zu verschiedenen Schweregraden findest du in folgendem Artikel: Funktionale Fehler.

Das Feld Schweregrad wird für andere Bug-Arten nicht angezeigt.

Titel

Der Titel des Bug-Reports sollte den Fehler so zusammenfassen, dass der Leser allein durch das Lesen des Titels einen allgemeinen Eindruck vom Problem erhält. Er sollte nicht den gesamten Report lesen müssen, um zu verstehen, worum es bei dem Fehler geht. Ihr Bug-Report-Titel sollte präzise und prägnant sein.

Ein guter Bug-Titel enthält die notwendigen Informationen, um das Problem zu verstehen und es von anderen Bug-Reports zu unterscheiden. Zu diesen Informationen gehören:

  • Was ist passiert?

  • Wo ist der Fehler aufgetreten?

  • Wann, wie oder unter welcher Bedingung wurde er ausgelöst?

Wenn du einen Bug im Titel beschreibst, beschreibe, was passiert, anstatt zu sagen, was nicht passiert. Dein Titel sollte niemals aussagen, dass etwas nicht funktioniert, da der Leser ansonsten keine Vorstellung darüber hat, was tatsächlich passiert.

Bug-Titel müssen das tatsächliche Problem widerspiegeln. Wenn der Fehler nur unter bestimmten Bedingungen auftritt, müssen diese Bedingungen im Titel enthalten sein. Wenn du zum Beispiel kein Ticket buchen kannst, da du ein Teenager bist, muss diese relevante Information im Titel enthalten sein.

Um einen aussagekräftigen Titel zu erstellen, versetze dich selbst in die Lage einer Person, welche die Website bzw. App noch nie getestet hat: Sie kann sich in der Regel nicht vorstellen, auf welcher Seite du dich befindest und was du genau gemacht hast. Lies deinen Titel aus dieser Perspektive, um zu sehen, ob du den Fehler verstehen würdest. Wenn du keine klare Vorstellung vom Fehler bekommst, passe den Titel an und wiederhole den Prozess.

Beispiele von Bug-Titeln:

Korrekt

Falsch

Fehlermeldung wird auf der Checkout-Seite angezeigt, wenn eine Bestellung mit PayPal abgeschickt wird

Checkout funktioniert nicht

Die Warenkorbseite zeigt einen 404-Fehler an, wenn sie von einem angemeldeten Benutzer geöffnet wird

Die Warenkorbseite zeigt einen 404-Fehler an

URL

Besuchen Sie die Seite, auf der der Fehler auftritt, und kopieren Sie die URL aus der Adressleiste Ihres Browsers. Fügen Sie sie anschließend in das URL-Feld des Bug-Report-Formulars ein. Die URL muss gültig sein.

Beispiele

Szenario

Korrekte URL

Falsche URL

Die Schaltfläche „In den Warenkorb“ reagiert auf einer Produktdetailseite (PDP) nicht.

Die URL der Produktdetailseite (PDP), auf der auf die Schaltfläche geklickt wurde. Beispiel: https://www.example.com/product/running-shoes

Jede andere Seiten-URL

Ein Link leitet auf eine 404-Seite weiter.

Die URL der Seite, die den fehlerhaften Link enthält. Beispiel: https://www.example.com/sale

Die URL der 404-Seite. Beispiel: https://www.example.com/404

Schritte zur Reproduktion

Bugs müssen reproduzierbar sein und sie benötigen eine detaillierte Schritt-für-Schritt-Anleitung, wie sie reproduziert werden können. Jeder Schritt sollte eine separate Aktion beschreiben.

Beachte, dass du deine Schritte nicht nummerieren musst, da dies automatisch von unserem System erledigt wird.

Der erste Schritt muss einen Hinweis enthalten, die in der Rubrik Access angegebene URL der Kundenumgebung aufzurufen, wenn Sie eine Website testen, oder einen Hinweis, die App (mit ihrem Namen) zu öffnen, wenn Sie eine mobile App testen. Beispiel:

Für Websites:

  1. Öffnen Sie https://test.io/

Für mobile Apps:

  1. Öffnen Sie die App testNow

Alle weiteren Schritte sollten Ihre Aktionen vom ersten Schritt bis zu dem Zeitpunkt beschreiben, an dem der Fehler auftritt – welche Schaltflächen Sie anklicken, welchen Links Sie folgen und welche Eingaben Sie machen. Ihr letzter Schritt muss die Aktion beschreiben, die Sie ausführen und durch die der Fehler ausgelöst wird.

Deine Schritte sollten so allgemein wie möglich sein. Wenn dein Fehler unter bestimmten Bedingungen auftritt, z. B. nur auf einer bestimmten Produktübersichtsseite, für einen bestimmten Filter oder für eine bestimmte Eingabe usw., sollten diese speziellen Bedingungen auch in der Schrittbeschreibung erwähnt werden. Beschreibe in deinen Schritten bspw. aber nicht, dass eine spezifische Produktübersichtsseite aufgerufen oder ein bestimmtes Produkt in den Warenkorb gelegt werden muss, wenn das Problem bei jedem Produkt auftritt. Somit lässt sich der Bug besser vom Leser erfassen und er wird nicht von unwichtigen Details abgelenkt.

Stelle abschließend sicher, dass deine Schritte die geringste Anzahl von Aktionen enthalten, um den Bug auszulösen. Anhand deiner Schrittbeschreibung sollte der Leser problemlos in der Lage sein, den Bug zu reproduzieren.

Beispiel einer guten Schrittbeschreibung

  1. Gib eine beliebige Suchanfrage in die Suchleiste oben rechts ein (z. B. "San Francisco")

  2. Klicke auf den Button "Jetzt suchen"

  3. Scrolle nach unten und klicke auf "Sortieren nach"

  4. Wähle die Option "Nach Preis sortieren: Hoch nach Niedrig"

Tatsächliches Ergebnis

Das tatsächliche Ergebnis ist eines der wichtigsten Felder eines Bug-Reports, weil du hier erklärst, was das Problem ist, und alle weiteren Details, die benötigt werden, um den Fehler zu verstehen.

Was tatsächlich passiert, nachdem du deiner Schritt-für-Schritt-Anleitung gefolgt bist, sollte so detailliert wie möglich beschrieben werden. Versuche hier sehr präzise und nicht zu allgemein zu sein. Statt z. B. nur zu schreiben, dass Produkte nach Anwendung der Sortierungsmethode X größtenteils in derselben Reihenfolge bleiben, solltest du stattdessen spezifische Beispiele für Produkte erwähnen, die sich nicht in der richtigen Reihenfolge befinden. Füge alle Informationen in diesem Feld hinzu, die für den Fehler relevant sind, z. B. weitere Bedingungen, Ausnahmen oder Ergebnisse anderer wichtiger Informationen, falls erforderlich. Strukturiere in diesem Feld deine Informationen, um den Leser zu unterstützen, deinen Denkprozess zu verstehen.

Wichtige Hinweise: Das tatsächliche und das erwartete Ergebnis dürfen niemals einfach das Gegenteil voneinander sein. Die Erwartung dessen, was hätte passieren sollen und was tatsächlich passiert ist, sollten sich erheblich unterscheiden.

Ebenso darf das tatsächliche Ergebnis nicht dasselbe sein wie der Titel des Bug-Reports. Während der Titel eine Zusammenfassung des Problems ist, sollte das tatsächliche Ergebnis eine detaillierte Beschreibung davon enthalten und weitere Details wie Szenario-Informationen, Beispiele und Ergebnisse umfassen.

Beispiel eines tatsächlichen Ergebnisses

Korrekt

Falsch

„Fehler 500 – Interner Serverfehler – Leider ist ein Fehler aufgetreten“ wird dem Benutzer angezeigt, nachdem er versucht hat, zur Checkout-Seite zu gelangen.

Fehler wird auf der Warenkorbseite angezeigt, nachdem auf den Button "Zur Kasse gehen" geklickt wurde.

In der oberen rechten Ecke der Produktdetailseite erscheint die Fehlermeldung „Unerwarteter Fehler“ und das Produkt wird nicht zum Warenkorb hinzugefügt.

Der Benutzer kann kein Produkt in den Warenkorb legen, es wird ein Fehler angezeigt.

Erwartetes Ergebnis

Beschreiben Sie, was Ihrer Erwartung nach nach dem Ausführen Ihres zuletzt beschriebenen Schritts passieren sollte. Überlegen Sie, was hätte passieren sollen, wenn der Fehler nicht aufgetreten wäre – also wenn alles korrekt funktioniert hätte.

Das erwartete Ergebnis sollte eine kurze Beschreibung enthalten. Bei komplexen Fehlern können jedoch zusätzliche Informationen erforderlich sein.

Denken Sie daran, dass das erwartete Ergebnis nicht dasselbe ist wie das tatsächliche Ergebnis mit kleinen Änderungen oder verneinenden Formulierungen. Es handelt sich um ein separates Feld, in dem Sie erklären können, was nach Abschluss des letzten Schritts zur Reproduktion des Fehlers hätte passieren sollen.

Beispiel für ein erwartetes Ergebnis

Korrekt

Falsch

Die Checkout-Seite sollte erfolgreich geladen werden.

Der Benutzer sollte korrekt zur Checkout-Seite weitergeleitet werden, wo er Versand- und Zahlungsinformationen eingeben und eine Bestellung aufgeben können sollte.

Das Produkt „Batman T-Shirt“ sollte dem Warenkorb hinzugefügt werden, sodass der Benutzer mit der Bestellung fortfahren kann.

Das Produkt „Batman T-Shirt“ sollte erfolgreich dem Warenkorb hinzugefügt werden. Der Benutzer sollte keine Fehler wie „Error 500“ erhalten und in der Lage sein, alle Artikel in seinem Warenkorb zu bestellen.

Anhänge

Um herauszufinden, welche Art von Anhang für deinen Bug-Report erforderlich ist und welche Regeln gelten, lies bitte den folgenden Artikel durch: Anforderungen für Anhänge zu Bug-Reports.

Verwendete Testumgebung

Für uns und unsere Kunden ist es wichtig, zu wissen, auf welchem Gerät der Bug aufgetreten ist. Hast du eine Webseite getestet, dann klicke zur Auswahl der Testumgebung auf das Browser-Symbol neben dem Gerät, welches du verwendet hast. Sofern du eine mobile App getestet hast, dann wähle das Gerät aus, welches du für den Test verwendet hast und auf dem die App installiert ist.

Du darfst nur die Geräte für Tests verwenden, die im Abschnitt der Testumgebungen aufgeführt sind. Darüber hinaus solltest du nur ein Gerät oder einen Browser auswählen, wenn du den Bug meldest und nur dafür Anhänge hochladen. Wenn du den Fehler auf anderen Geräten oder Browsern reproduzieren kannst, teile dies bitte in deinem tatsächlichen Ergebnis mit.

Die Auswahl der richtigen Testumgebung, auf welcher der Fehler auftritt, ist obligatorisch. Wenn du deinen Bericht einreichst, stelle sicher, dass du die richtige Testumgebung auswählst. Wenn du versehentlich den Bug mit der falschen Testumgebung eingereicht hast, lässt sich dies nachträglich noch korrigieren. Editiere hierzu die Testumgebung in deinem Bug-Report bevor der Teamleiter diesen überprüft. Wenn der Bug-Report die falsche Testumgebung enthält, wird er während der Überprüfung durch den Teamleiter abgelehnt.

Möchtest du mit einem Gerät testen, das nicht in der Liste der verfügbaren Geräte in deinem Profil aufgeführt ist? Sende uns einfach eine Anfrage über den Support-Chat und wir fügen dein Gerät deiner Liste hinzu, sofern es für unsere Kunden relevant ist.

Hinweis: Wenn du das Gerät, für das du eingeladen wurdest, aus deiner Geräteliste in deinem Testerprofil entfernst, kannst du keine Bug-Reports mehr in diesem Test einreichen. Der Abschnitt zur Testumgebung im Bug-Formular ist dann leer und das Formular kann nicht gesendet werden. Das Löschen eines Geräts in deinem Profil kann nach der Annahme einer Testeinladung nicht rückgängig gemacht werden!

Verbesserung deines Bug-Reports

Nachdem du deinen Bug eingereicht hast, kannst du alle Felder außer dem ausgewählten Bug-Typ noch bearbeiten. Ein Bug-Report muss von Anfang an alle relevanten Informationen inklusive Anhänge enthalten. Verwende die Bearbeitungsoption nur, wenn du einen kleinen Tippfehler gemacht hast oder deine Worte umformulieren möchtest, um die Qualität des Berichts zu verbessern.

Beachte, dass Platzhalter nicht erlaubt sind, also reiche keine unvollständigen Bug-Reports ein, um sie später zu bearbeiten.

Wenn dein Bug nur bei einer bestimmten Eingabe auftritt, verwende Begriffe, die auch von echten Benutzern verwendet werden würden und vermeide das Eingeben zufälliger oder irrelevanter Suchbegriffe beim Erstellen des Bug-Reports oder der Anhänge. Ein schlechtes Beispiel wäre die Verwendung eines Benutzernamens beim Erstellen eines Kontos in der Benutzeroberfläche des Kunden wie "asdsdfkg_lajsdh", da dies deinen Bug-Report unprofessionell aussehen lässt.

Hat dies deine Frage beantwortet?