Testlio sigue un proceso de prueba estructurado vinculado a espacios de trabajo. Los probadores son asignados a espacios de trabajo específicos para llevar a cabo una amplia variedad de pruebas, como pruebas exploratorias, pruebas de pago, pruebas de regresión funcional, pruebas de localización, pruebas de accesibilidad, pruebas de usabilidad, pruebas de transmisión en vivo y pruebas de SDK de instrumentación, realizando casos de prueba de principio a fin.

Si el paso de la prueba falla, los probadores deben enviar errores o problemas; si el error ya se ha enviado, deben ejecutar una reproducción.

Los probadores pueden encontrar errores duplicados al enviar un problema al revisar los informes de otros probadores o buscar dentro del "Navegador de problemas". Si el título contiene un mínimo de 30 caracteres, los probadores recibirán automáticamente sugerencias de problemas similares ya informados.

El equipo de pruebas selecciona a los probadores en función de sus perfiles e información del dispositivo para cumplir con los requisitos del espacio de trabajo y los invita por correo electrónico en dos etapas. Primero, la invitación es para el espacio de trabajo; la segunda etapa es para una ejecución, donde se proporciona el tiempo, el dispositivo y el horario para la prueba.

Dependiendo del espacio de trabajo, los probadores pueden o no recibir invitaciones para una ejecución; todo depende de las necesidades del espacio de trabajo.

Los probadores deben responder a la invitación de ejecución para ser invitados a la ejecución. Dejar que las invitaciones caduquen se considera un problema grave.

Después de completar el tiempo asignado para la prueba, los probadores deben responder a una encuesta de retroalimentación.

Después de presentar un problema, el líder de pruebas puede aprobarlo, solicitar información adicional o cerrarlo. Cerrar un problema se considera un rechazo y puede afectar la puntuación del probador.

Por lo tanto, los probadores esperan a que otros informen problemas y luego realizan una reproducción, ya que presentar un problema podría empeorar la calificación/puntuación del probador si se cierra (se rechaza); por el contrario, si se acepta el error, no aporta ningún beneficio.

Test IO utiliza un proceso de prueba ágil que involucra la planificación, ejecución y retroalimentación continua de pruebas. Los probadores participan en ciclos de prueba que se ajustan a su idioma, dispositivos y ubicación. Ponemos énfasis en las pruebas exploratorias en tiempo real y manuales, permitiendo a los probadores descubrir y reportar errores sobre la marcha.

Para comenzar a contribuir a un ciclo de prueba, los probadores deben iniciar su sesión de prueba con anticipación y confirmar que han leído y comprendido las instrucciones de las características incluidas.

Para identificar duplicados, al enviar un error, la lista de ❝Errores similares❞ en el lado derecho del formulario de errores mostrará la lista de errores ya informados en la prueba actual. Además, puedes buscar y filtrar los errores, así como la lista de Errores Conocidos para evitar duplicaciones.

El rechazo de un informe de error tiene un impacto negativo en las puntuaciones del probador, dependiendo del tipo de rechazo recibido.

Los probadores tienen la opción de impugnar errores que son rechazados por los líderes de equipo. Una vez que un informe es impugnado, queda bloqueado para su revisión por el Equipo de Controversias de Errores.

El uso de marcadores de posición en los informes está estrictamente prohibido.

Con base en los dispositivos registrados en el Perfil del Probador y otra información, el sistema selecciona uno de los dispositivos y te invita a participar en la prueba. Dependiendo de los asientos disponibles para cada ciclo, puede que no puedas elegir un dispositivo diferente al que seleccionó el sistema. Una vez que haz sido invitado a probar con un dispositivo, no podrás cambiar a otro. Por lo tanto, solo podrás enviar errores encontrados en este dispositivo.

Cuando sea necesario, el formulario de errores o problemas de Testlio presenta la siguiente estructura:

La gravedad, la característica y las etiquetas son listas desplegables para seleccionar opciones; las demás secciones, excluyendo el archivo adjunto, son plantillas que los probadores deben completar manualmente. Esto se aplica a cada paso fallido, error informado o reproducción ejecutada.

Cada problema debe tener un prefijo de la sección donde ocurrió el problema antes del título, a menos que se especifique lo contrario.

En cambio, el formulario de errores de Test IO simplifica la documentación del probador con la siguiente estructura:

No es necesario seguir un formato específico para construir un título. Sin embargo, debes responder a lo que sucedió, dónde ocurrió el error y cuándo se activó.

En nuestro formulario de errores, no es necesario agregar el número de paso; este dato ya está proporcionado en nuestro formulario. Puedes arrastrarlos y reorganizarlos a tu gusto.

Excepto en el caso del navegador durante las pruebas de sitios web, la información del dispositivo se obtiene del dispositivo que seleccionaste al aceptar participar en un ciclo de prueba, y no puede cambiarse posteriormente.

La clasificación de problemas en Testlio se basa en dos categorías principales:

Las pruebas de errores funcionales requieren dos archivos adjuntos para la documentación.

Las pruebas de localización requieren la verificación del problema de IU (Interfaz de Usuario) y del contenido en sí.

Test IO clasifica los errores de la siguiente manera:

No realizamos pruebas de seguridad.

Aquí tienes más especificaciones: los errores de contenido están relacionados con todo tipo de información, no solo con texto (por ejemplo, traducciones; los errores tipográficos no se informan). En este contexto, la falta de imágenes y botones se considera un error de contenido en lugar de un error visual.

Los errores funcionales que afectan al rendimiento, como la carga interminable, pueden considerarse errores funcionales si afectan directamente a los usuarios finales, por ejemplo, el acceso a contenido o el progreso en una tarea.

Por otro lado, durante los ciclos de prueba de rendimiento, que se ejecutan según la demanda, la carga interminable se considera un problema de rendimiento y se informa como tal. Por lo tanto, medir la velocidad de Internet y los archivos .har es parte de los archivos adjuntos necesarios para incluir en el informe.

En Testlio, la gravedad de errores para errores funcionales se clasifica en tres niveles:

Los probadores deciden qué gravedad se aplica mejor al problema en función de una breve explicación de cada gravedad.

En Test IO, proporcionamos escenarios específicos para guiarte en la selección adecuada de la gravedad, los cuales se dividen en tres niveles:

Estos escenarios te ayudarán a analizar el problema desde diferentes perspectivas, teniendo en cuenta la funcionalidad comprometida y el impacto potencial del error en los usuarios finales. Por ejemplo, los errores que bloquean completamente el sistema se clasifican como críticos, mientras que si existe una solución fácil e intuitiva, como recargar la página, la gravedad adecuada será baja.

Testlio permite a los probadores adjuntar archivos relevantes a sus informes de errores, como capturas de pantalla, grabaciones de pantalla y archivos de registro (de bloqueo, consola y, a veces, archivos de registro de Charles).

Los archivos de registro son obligatorios, y para los errores funcionales se deben proporcionar dos archivos adjuntos diferentes.

Es importante asignar nombres significativos a estos archivos adjuntos para facilitar la tarea del desarrollador que los descargará y diagnosticará el problema.

Mientras que una captura de pantalla o una grabación de pantalla pueden documentar fácilmente errores visuales, los errores funcionales deben presentar dos archivos adjuntos por cada problema reportado.

Grabación de pantalla:

Cada problema debe incluir una captura de pantalla de la página (aunque el probador haya adjuntado una grabación de pantalla), además de agregar un archivo de texto con el fragmento de código HTML del problema. En ocasiones, la información en la sección "Archivos adjuntos en el informe de errores" puede ser suficiente.

Los probadores de Test IO tienen la opción de adjuntar archivos, como capturas de pantalla, grabaciones de pantalla y archivos de bloqueo.

Captura de pantalla:

Grabación de pantalla:

Para pruebas de rendimiento, se requieren archivos .har.

Testlio promueve la comunicación entre los probadores y los líderes de prueba mediante el chat de la plataforma o el canal de RocketChat designado para el espacio de trabajo respectivo. No obstante, los probadores solo se incorporarán a este chat si han superado una prueba de certificación o si es necesario para el espacio de trabajo en cuestión.

El correo electrónico se utiliza para enviar solicitudes de mejora a los probadores.

Test IO pone énfasis en la comunicación en tiempo real, lo que permite a los probadores colaborar y discutir problemas a través del chat de prueba, comentarios en los informes de errores, el servidor de Discord y plataformas de correo electrónico, entre probadores, líderes de equipo (TL), Gerentes de Éxito del Cliente (CSMs) y clientes. Los probadores pueden hacer preguntas, buscar aclaraciones y recibir retroalimentación instantánea de los mencionados interesados, ya que estos pueden solicitar información de las tareas de los probadores.

Testlio paga a los probadores por hora, no por informar errores.

El pago en Test IO varía según el tipo de tarea realizada. Hay tareas directamente relacionadas con Ciclos de Prueba. Por otro lado, otras, como Reproducciones, Confirmación de Corrección de Errores e Informe de Confirmación de Errores, se pueden llevar a cabo sin unirse al ciclo de prueba al que pertenece el informe.

Sin embargo, dentro de un ciclo de prueba, el pago depende del tipo y la gravedad del error, así como de las especificaciones del dispositivo.

En Testlio, los probadores freelance reciben un pago de acuerdo con las horas asignadas para ejecutar tareas específicas dentro de un proyecto en particular.

En Test IO, los probadores freelance pueden realizar estas tareas pagadas y recibir las siguientes bonificaciones:

En lugar de esperar a que el cliente acepte o rechace tu trabajo en Test IO, se te paga tan pronto como el Líder de Equipo tome tu error o ejecución.