Zum Hauptinhalt springen
Vergleich der Test-Plattformen uTest und Test IO

Erfahre hier die Unterschiede zwischen den Plattformen von uTest und Test IO.

André avatar
Verfasst von André
Vor über einem Jahr aktualisiert

Motivation

Softwaretests spielen eine entscheidende Rolle bei der Sicherung der Qualität und Zuverlässigkeit von Softwareprodukten. Crowdsourcing-Testplattformen wie uTest und Test IO ermöglichen es freiberuflichen Testern, ihre Fähigkeiten in verschiedenen Testprojekten einzubringen.

Dieser Artikel vergleicht die Unterschiede zwischen den beiden Plattformen uTest und Test IO und konzentriert sich dabei insbesondere auf die Testprozesse, Arten von Bugs, die Schwere von funktionalen Bugs, Anhänge, Auszahlungen und die Kommunikation bei Tests.

Aspekt

uTest

Test IO

Testprozesse

uTest folgt einem strukturierten Testprozess, der in der Regel die Projekteinführung, die Ausführung von Testfällen, das Melden von Bugs und den Abschluss des Testzyklus umfasst. Testern werden bestimmte Test-Cases zugewiesen und diese innerhalb der vorgesehenen Testumgebung ausgeführt. Nach der Durchführung reichen die Tester detaillierte Bug-Reports bei der Plattform ein.

Wenn ein Bug-Report abgelehnt wird, wirkt sich dies negativ auf die Bewertung des Testers aus, abhängig von der Art der Ablehnung.

Tester können abgelehnte Bugs von Kunden anfechten.

Platzhalter sind verboten.

Tester können jedes registrierte Gerät verwenden, wenn es den Anforderungen des Testlaufs entspricht.

Der Testingenieur wählt die Tester aus, die an einem Test teilnehmen sollen.

Test IO verwendet einen agilen Testprozess, der Testplanung, Durchführung und kontinuierliches Feedback umfasst. Tester nehmen an Testläufen teil, die ihre Sprache, Geräte und ihren Standort berücksichtigen. Wir legen Wert auf Echtzeit- und manuelles exploratives Testen, um Testern zu ermöglichen, Bugs sofort zu entdecken und zu melden.

Um aktiv an einem Testlauf teilzunehmen, müssen Tester im Voraus eine Test-Session starten und bestätigen, dass sie die Anweisungen für die betreffenden Features gelesen und verstanden haben.

Um Duplikate zu identifizieren, werden dir beim Einreichen eines Bugs in der Liste "Ähnliche Bugs" auf der rechten Seite des Bug-Reports die bereits eingereichten Bugs im aktuellen Testlauf angezeigt. Du kannst auch die Bugs durchsuchen und filtern sowie die Liste der bekannten Bugs dazu verwenden.

Wenn ein Bug-Report abgelehnt wird, wirkt sich dies negativ auf die Punktzahl des Testers aus, abhängig von der Art der Ablehnung.

Platzhalter-Reports sind strengstens verboten.

Basierend auf den in deinem Tester-Profil registrierten Geräten und anderen Informationen wählt das System eines der Geräte aus und lädt dich zur Teilnahme am Test ein. Je nach den verfügbaren Plätzen für jeden Testlauf kannst du möglicherweise kein anderes Gerät auswählen als das, das das System ausgewählt hat. Sobald für ein bestimmtes Gerät eingeladen wurdest, kannst du nicht zu einem anderen Gerät wechseln. Daher kannst du nur Bugs melden, die auf diesem Gerät gefunden wurden.

Bug-Formular

Das uTest-Bug-Formular ist wie folgt strukturiert:

  1. Bug-Art

  2. Häufigkeit

  3. Priorität

  4. Quelle

  5. Umgebung

  6. Durchgeführte Aktionen

  7. Erwartete Ergebnisse

  8. Tatsächliche Ergebnisse

  9. Fehlermeldungen

  10. Zusätzliche Umgebungsinformationen

  11. Anhang

Das Bug-Formular von Test IO hingegen vereinfacht die Dokumentation der Tester mit der folgenden Struktur:

  1. Bug-Titel

  2. Art des Bugs mit Schweregrad für funktionale Bugs

  3. URL-Feld (wo der Bug auftritt)

  4. Schritte, die die durchgeführten Aktionen beschreiben

  5. Tatsächliches Ergebnis

  6. Erwartetes Ergebnis.

  7. Anhänge

Du musst keinen spezifischen Formatvorgaben folgen, um einen Titel zu erstellen. Du musst jedoch angeben, was passiert ist, wo der Bug aufgetreten ist und wann er ausgelöst wurde.

Auf unserem Bug-Formular musst du keine Schrittnummern hinzufügen; unser Formular erzeugt sie automatisch. Du kannst die Schritte nach Belieben verschieben und neu anordnen.

Mit Ausnahme des Browsers bei Website-Tests werden die Geräteinformationen aus dem von dir ausgewählten Gerät abgerufen, wenn du an einem Testlauf teilnimmst und können danach nicht geändert werden.

Arten von Bugs

uTest klassifiziert Bugs wie folgt:

  • Funktionalität

  • Usability

  • Sicherheit

  • Performance

  • Lokalisierung

Es wird von den Testern verlangt, diese Bugs genau zu identifizieren und zu melden.

Test IO kategorisiert Bugs als:

  • Funktional

  • Visuell

  • Content

  • Usability

  • Test-Case-Bugs

Wir führen keine Sicherheitstests durch.

Hier sind weitere Spezifikationen: Content-Bugs sind mit jeder Art von Informationen verbunden, nicht nur Text (z. B. Übersetzungen; Rechtschreibfehler werden nicht gemeldet), daher handelt es sich bei fehlenden Bildern und Schaltflächen um Content-Bugs und nicht um visuelle Bugs.


Funktionale Bugs, die als Performance-Probleme angesehen werden, wie endloses Laden, können als funktionale Bugs betrachtet werden, wenn sie sich direkt auf Endbenutzer auswirken, beispielsweise beim Zugriff auf Inhalte oder dem Fortschritt bei einer Aufgabe.

Jedoch handelt es sich in spezifischen Performance-Testläufen, die bei Bedarf durchgeführt werden, beim endlosen Laden um ein Performance-Problem und sie werden entsprechend gemeldet. Daher sind die Messung der Internetgeschwindigkeit und die .har-Dateien Teil der Anhänge, die jedem Report beigefügt werden müssen.

In Bezug auf die Häufigkeit von Bugs ist diese Information nicht erforderlich; sie hilft jedoch dabei, echte Bugs von vorübergehenden Störungen wie Internetverzögerungen oder Browserkonfigurationen zu unterscheiden. Dies sind keine legitimen Bugs, da Kunden sie nicht beheben können, weil sie ein Problem in der Konfiguration des Browsers oder des Internetanbieters darstellen.

Der Schweregrad von funktionalen Bugs

Der Schweregrad von Bugs bei uTest ist:

  • Critical

  • High

  • Medium

  • Low

Hierbei entscheidest du, welcher Schweregrad am besten auf das Problem zutrifft.

Bei Test IO bieten wir spezifische Szenarien an, um dich bei der korrekten Auswahl des Schweregrades zu unterstützen. Dabei handelt es sich um die folgenden drei:

  • Low

  • High

  • Critical

Die von uns bereitgestellten Szenarien helfen dabei, das Problem auf unterschiedliche Weisen zu analysieren, beispielsweise indem du die beeinträchtigte Funktionalität und das potenzielle Auswirkungen des Bugs auf die Endbenutzer berücksichtigst. Beispielsweise sind Showstopper-Bugs kritisch, während bei einem einfachen und intuitiven Workaround, wie dem erneuten Laden der Seite, der richtige Schweregrad Low sein wird.

Die Anhänge im Bug-Report

uTest erlaubt Testern, relevante Dateien wie Screenshots, Screencasts und Log-Dateien ihren Bug-Reports anzufügen.

Screenshots:

  • Bug markieren

  • Im JPG- oder PNG-Format

  • Kein Zeichenprogramm verwenden

  • Den gesamten Bildschirm erfassen

  • Überflüssige Tabs schließen

  • Aufrechte Ausrichtung

Screencasts (Bildschirmaufnahmen):

  • Keine Hintergrundgeräusche

  • Den gesamten Bildschirm aufnehmen

  • Die ausgeführten Aktionen wiedergeben

  • Nur im MP4-Format

  • Kurz halten

Test IO Tester können Anhänge hinzufügen, wie Screenshots, Screencasts und Absturzprotokolle.

Screenshot:

  • Bug markieren

  • Im JPG- oder PNG-Format.

  • Wir empfehlen, keine handgezeichneten Elemente zu verwenden, sondern Formen wie Quadrate, Rechtecke und Pfeile.

  • Erfasse den gesamten Bildschirm.

  • Überflüssige Tabs oder Anwendungen sollten nicht sichtbar sein, aber noch wichtiger ist, dass die Informationen der Test IO-Kunden nicht sichtbar sind (z. B. Benachrichtigungen mit einer Testlauf-ID und dem Namen des Kunden).

  • Die im Screenshot gezeigte Ausrichtung sollte der entsprechen, die der Benutzer während des Tests sieht.

Screencast:

  • Kein Ton

  • Gesamter Bildschirm

  • Die maximale Länge für Bug-Reports beträgt 60 Sekunden, während sie für User Stories und Reproduktionen 15 Sekunden beträgt.

  • Die aufgezeichneten Schritte müssen nur den letzten Navigationsschritt, die Aktion, die den Bug auslöst, und den Bug selbst zeigen.

  • Nur im mp4-Format

  • Taps/Touches/Klicks müssen auf Desktop- und Android-Geräten sichtbar sein.

  • Für Leistungstests sind .har-Dateien erforderlich.

Die Kommunikation im Testlauf

uTest fördert die Kommunikation zwischen Testern, Projektmanagern und Entwicklern durch ein spezielles Nachrichtensystem. Tester können Klarstellungen zu Test-Anforderungen suchen und mit Interessengruppen während des Testlaufs interagieren.

Test IO legt Wert auf Echtzeitkommunikation.

Tester haben die Möglichkeit, miteinander zu kommunizieren und über Bugs und Probleme zu diskutieren - sowohl im Test-Chat, in Kommentaren zu Bug-Reports, über den Discord-Server und E-Mail-Plattformen zwischen Testern, Teamleitern (TL), Customer Success Managern (CSMs) und Kunden. Tester können Fragen stellen, Klarstellungen suchen und sofortiges Feedback von den oben genannten Interessengruppen erhalten, da diese mehr Informationen über die Bug-Reports der Tester anfordern können.

Bug-Auszahlung

Bei uTest hängt die Auszahlung davon ab, wie wertvoll der Bug ist:

  • Etwas wertvoll (Wird nicht behoben)

  • Etwas wertvoll

  • Sehr wertvoll

  • Außerordentlich wertvoll

Die Auszahlung bei Test IO hängt von der Art der durchgeführten Aufgabe ab. Einige Aufgaben sind direkt mit Testläufen verbunden. Andere, wie Reproduktionen, Bug-Fix-Confirmations und Bug-Report-Confimations, können jedoch auch ohne Teilnahme am entsprechenden Testlauf durchgeführt werden.

In einem Testlauf hängt die Auszahlung jedoch von der Art und dem Schweregrad des Bugs sowie den Gerätespezifikationen ab.

Bezahlte Aufgaben und Boni

Bei uTest können die Tester Folgendes durchführen bzw. melden:

  • Test-Cases

  • Bug-Reports

  • Usability-Umfragen

Bei Test IO können freiberufliche Tester diese bezahlten Aufgaben durchführen und die folgenden Boni erhalten:​

  • Bug-Reports

  • Bug-Reproduktionen

  • User Stories

  • Test-Cases

  • Bug-Fix-Confirmations

  • Bug-Report-Confirmations

  • Bonus für die Teilnahme an Spezialprojekten

  • Bezahlte Aktivitätssitzungen

  • Purchase Reports

  • Test-Feedback (in einigen seltenen Fällen bezahlt)

  • Bug-"Like"-Bonus

Anstelle darauf zu warten, dass der Kunde deine Arbeit bei Test IO akzeptiert oder ablehnt, wirst du bezahlt, sobald der Teamleiter deinen Bug oder deine Ausführung annimmt.

Abschließend bieten sowohl die uTest- als auch die Test IO-Plattformen einzigartige Erfahrungen für Tester in Bezug auf Testprozesse, Bug-Arten, Bewertung des Schweregrades, Anhänge und die Kommunikation bei Tests.

Es gibt mehrere Unterschiede zwischen uTest und Test IO. uTest folgt einem strukturierten Testprozess mit zugewiesenen Test-Cases und Tester reichen Bug-Reports mithilfe eines strukturierten Formulars ein. Tester können abgelehnte Bugs anfechten, aber die Ablehnung beeinflusst ihre Bewertungen. Im Gegensatz dazu legt Test IO den Schwerpunkt auf explorative Echtzeittests und bindet Tester während der Testläufe entsprechend ihres Profils in kontinuierliches Feedback und Zusammenarbeit ein. Test IO vereinfacht das Einreichen von Bugs durch vereinfachte Bug-Bezeichnungen, -Arten und Schweregrade, was eine Neuordnung der Schritte ermöglicht. Auch die Zahlungsschemata unterscheiden sich, wobei uTest Bug-Werte kategorisiert und Test IO die Auszahlungen auf Grundlage von Aufgabentypen, Schweregrad und Gerätespezifikationen basiert. Auch die Kommunikationskanäle und die Zahlungszeitpunkte unterscheiden sich zwischen den beiden Plattformen.

Tester spielen unabhängig von der Plattform eine entscheidende Rolle bei der Verbesserung der Softwarequalität und der Sicherung der Zufriedenheit der Endbenutzer.

Hat dies deine Frage beantwortet?