"Wenn du auf verwirrende oder widersprüchliche Informationen stößt, frage bitte den Teamleiter im Chat, anstatt eigene Annahmen zu treffen."
Motivation
Der Umfang eines Tests definiert, welche Bereiche eines Produkts eines Kunden getestet werden sollen, auf welche Funktionen der Fokus gelegt wird, welche Arten von Bugs den Kunden interessieren und welche Bereiche oder Funktionen auf keinen Fall für den Test relevant sind.
Teste bitte nur das, was im Testumfang (in Scope) liegt und ignoriere für den Test alle Bereiche, die außerhalb des Testumfangs (out of Scope) liegen. Das Verständnis des Umfangs eines Tests ist entscheidend, um ein erfolgreicher Tester auf unserer Plattform zu sein.
Welche Informationen umfassen den Testrahmen?
Bedingungen für diesen Test
Das Wichtigste zuerst: Der Abschnitt Bedingungen für diesen Test fasst den Umfang des Tests zusammen und bestimmt die Sprache, die in deinen Berichten verwendet werden sollte. Dieser Abschnitt ist der erste, den du in einem Testlauf bemerken wirst, denn wenn du diese Anweisungen nicht befolgst, hat dies Konsequenzen für dich und dein Test-IO-Konto.
Testumgebung
Die URL im Abschnitt Zugriff oben auf der Testübersichtsseite definiert, welche Website oder App getestet werden soll. Andere Websites oder Apps stehen nicht zur Prüfung (sofern nicht anders in der Testbeschreibung angegeben), einschließlich anderer Versionen derselben App. Weitere Informationen findest du unter Testumgebung.
Du kannst die Zugriffsinformationen erst sehen, wenn der Test beginnt (beachte den Countdown oben). Bestätige dazu, dass du am Testlauf teilnehmen möchtest und stimme dann den Testlaufbedingungen zu.
Features (Funktionen)
Jeder Test enthält mindestens eine sogenanntes Feature. Ein Feature kann einen Bereich eines Produkts beschreiben, z. B. eine Landingpage, eine Produktübersichtsseite oder eine Produktdetailseite eines Webshops. Es kann einen Prozess wie den Bestellvorgang auf einer Website oder in einer App beschreiben oder sogar eine bestimmte Funktion sein, die getestet werden soll. Zum Beispiel:
Wenn ein Kunde einen neuen Test einrichtet, werden standardmäßige Features automatisch hinzugefügt. Kunden können diese standardmäßigen Features verwenden und sie bei Bedarf anpassen oder vollständig neue Features hinzufügen. Du kannst mehr über einige unserer Standard-Features hier erfahren.
Du kannst nur einen bestimmten Bug melden, wenn ein entsprechendes Feature dafür im Testlauf vorhanden ist. Das heißt, wenn bspw. keine der angegebenen Features den Bestellvorgang abdeckt, kannst du keine Bugs in Bezug darauf melden.
Bug-Typen und Schweregrade
Kunden interessieren sich normalerweise nur für bestimmte Bug-Typen und/oder Schweregrade, meist nicht für alle auf einmal (funktionale Bugs, Content-Bugs, visuelle Bugs, Usability-Vorschläge). Du kannst in der Regel sehen, welche Bug-Typen und Schweregrade im Testumfang liegen, indem du die Auszahlungstabelle in der rechten Seitenleiste auf der Testübersichtsseite überprüfst:
Wenn ein Fehlertyp/Schweregrad dort nicht aufgeführt ist, kannst du ihn im Fehlerformular nicht auswählen und er fällt somit aus dem Testumfang heraus. Wenn die Auszahlungstabelle bspw. den Bug-Typ Visuell nicht auflistet, darfst du keine visuellen Bugs melden.
Testanweisungen
Testanweisungen werden unterhalb des Abschnitts Zugriff angezeigt und bestehen aus drei Abschnitten:
Das Ziel dieses Tests: Dieser Abschnitt umfasst normalerweise den allgemeinen Zweck des Tests. Er gibt oft an, worauf du dich konzentrieren sollst, z. B. ein neues Feature, das veröffentlicht werden soll.
Außerhalb des Umfangs (Out of Scope): Hier wird ausdrücklich aufgeführt, was nicht getestet werden soll. Auf Live-Websites darfst du in der Regel am Ende des Bestellvorgangs keine Bestellungen abschließen oder einige Bereiche einer Website bzw. App sind möglicherweise noch nicht fertig. Beachte diese Informationen in jedem Fall - ihre Missachtung kann schwerwiegende Folgen haben.
Zusätzliche Anforderungen: Wenn es sonst noch etwas zu beachten gibt, werden in diesem Abschnitt weitere Hinweise gegeben. Dies können zum Beispiel bestimmte Informationen zum gesamten Test, Zugangsdaten für Benutzerkonten oder Dummy-Zahlungsinformationen sein.
Anhänge
In einigen Fällen können ein oder mehrere Anhänge bereitgestellt werden. Sie befinden sich in der rechten Seitenleiste auf der Testübersichtsseite. Dabei handelt es sich normalerweise um Tabellen, Dokumente, Bilder, Videos oder PDF-Dateien, die vom Kunden direkt zur Verfügung gestellt werden. Die Anhänge können wichtige Informationen oder Anforderungen des Kunden enthalten, daher solltest du sie vor Beginn des App- oder Website-Tests sorgfältig überprüfen.
Angeforderte Geräte
Du wirst normalerweise mit einem bestimmten, dir verfügbaren Gerät zu einem Testlauf eingeladen. Dieses Gerät wird in der rechten Seitenleiste auf der Testübersichtsseite angezeigt. Für eine optimale Geräteabdeckung lädt unser Verteilungsalgorithmus Tester für verschiedene Geräte ein. Du darfst nur die dir zugewiesenen Geräte verwenden. Bei Tests von Websites musst du nicht nur das richtige Gerät verwenden, sondern auch einen der verfügbaren Browser in der Liste auswählen.
Wenn die Plätze für das angeforderte Gerät belegt sind, kannst du möglicherweise mit einem anderen Gerät am Test teilnehmen, sofern andere Slots geöffnet sind. Auf der Seite "Bug melden" kannst du überprüfen, mit welchem Gerät du am Test teilnimmst.
Chat-Informationen
Der Teamleiter oder Customer Success Manager hat möglicherweise zusätzliche Informationen zum Testumfang bereitgestellt oder wichtige Erinnerungen veröffentlicht. Bitte überprüfe immer den Chat, wenn du siehst, dass es neue Nachrichten gibt. Sobald du Fragen zur Umgebung oder zum Umfang des Testlauf hast, nutze bitte den Chat, um den Teamleiter oder sogar andere Tester um Hilfe zu bitten.
Außerhalb des Testmfangs (Out of Scope)
Außerhalb des Testumfangs bedeutet, dass etwas nicht getestet werden soll. Beachte, dass die folgenden Punkte immer außerhalb des Testumfangs liegen (sofern nicht in der Testbeschreibung anders angegeben):
Rechtliche Probleme. Wir sind keine Rechtsberater und die Schwere eines Fehlers wird nicht durch rechtliche Bestimmungen, Rahmenbedingungen oder Standards bestimmt.
Probleme im Zusammenhang mit Browsererweiterungen, Werbeblockern oder Virenscannern, z. B. das Blockieren bestimmter Inhalte oder sogar die Ausführung von Apps.
Der Website-Inhalt sollte nicht geändert werden, z. B. durch die Verwendung des Google-Übersetzers, um die Website in eine andere Sprache zu übersetzen, da dies zu unerwartetem Verhalten führen kann.
Setup-Probleme bei Testläufen.
Setup-Probleme
Setup-Probleme sind keine legitimen Bugs - sie bedeuten nur, dass es ein Problem mit der Testeinrichtung oder der Testumgebung gibt. Bitte melde sie dem Teamleiter über den Testchat, der sich wiederum mit dem CSM in Verbindung setzen wird. Hier sind einige Beispiele:
Die in der Testumgebung des Tests angegebene URL ist falsch (404-Fehler).
Die Testumgebung kann nur mit Anmeldeinformationen aufgerufen werden, aber diese funktionieren nicht oder sie wurden gar nicht angegeben.
Die Testumgebung erfordert einen Proxy oder VPN, um aufgerufen zu werden, aber diese Informationen fehlen in den Anweisungen (403, 1020 Fehler).
Eine App kann nicht heruntergeladen oder installiert werden.
Die Testumgebung ist während des Tests für einige Zeit nicht verfügbar. Denke daran, dass der Kunde die Testumgebung während eines Testdurchlaufs aktualisieren könnte, daher stelle sicher, dass deine Probleme nicht vorübergehender Natur sind.
Der Kunde hat Anmelde- oder Zahlungsdaten für Benutzerkonten bereitgestellt, aber sie funktionieren nicht.
Ein Link auf einer Staging-Umgebung leitet auf die Live-Website um. Der Link wurde während der Einrichtung der Testumgebung nicht aktualisiert, sodass er auf die Staging-Umgebung verweist.
Die Geräteanforderungen für einen Test, z. B. iOS 9, sind aufgeführt, aber die zu testende App kann nur auf iOS 10 und höher installiert werden.
Der Testumfang ist unklar oder enthält widersprüchliche Informationen
Wenn du etwas im Testumfang nicht verstehst oder widersprüchliche Informationen findest, frage bitte den Teamleiter des Tests über den Testchat, wie in dem Artikel Verwirrende Anweisungen beschrieben. Das Teilen solcher Informationen hilft uns, die Einrichtungen zukünftiger Tests zu verbessern.
Warum sind Informationen manchmal nicht konsistent?
Wenn Kunden beabsichtigen, einen neuen Testlauf durchzuführen, wird oftmals ein alter Test mit einem ähnlichen Setup dupliziert und Schweregrade sowie zusätzliche Anforderungen angepasst. Features und Anweisungen werden normalerweise nicht aktualisiert, sodass dir manchmal irrelevante Informationen angezeigt werden bzw. Feature-Beschreibungen und zusätzliche Anforderungen sich widersprechen können. Da Features dupliziert, aber zusätzliche Anforderungen speziell für den neuen Test verfasst wurden, setzen die zusätzlichen Anforderungen die Feature-Beschreibungen oftmals außer Kraft.
Wenn du auf verwirrende oder widersprüchliche Informationen stößt, frage bitte den Teamleiter im Chat, anstatt eigene Annahmen zu treffen.