Tema 2.1 - Pasos para desarrollar pruebas de usabilidad

•    Paso 1: Contextualización 
  
•    Paso 2: Identificar el problema 
  
•    Paso 3: Determinar las métricas y preparar las pruebas 
  
•    Paso 4: Preparar la sesión de pruebas 
  
•    Paso 5: Sesión de inducción o Briefing 
  
•    Paso 6: Desarrollo de la prueba 
  
•    Paso 7: Sesión Post Prueba 
  
•    Paso 8: Análisis de los resultados de la prueba 
  
•    Paso 9: Generación del reporte de resultados 
  
•    Paso 10: Seguimiento (opcional) 

• Solicitud de documentación funcional del software
• Desarrollo de mesas de trabajo con los usuarios o dueños de producto
• Entrevistas
• Encuestas
• Método de observación

• Tiempo & Presupuesto
• Independencia de los requisitos
• Disponibilidad de los usuarios
• Experiencia de los usuarios

• ¿Qué parte de la aplicación actualmente no está funcionando al nivel que quiera el negocio? 
• ¿Cuáles han sido los aspectos en los que se han recibido más quejas o retroalimentaciones por parte de los usuarios? 
• ¿Cuál es el punto inicial de contacto con los clientes y cuáles son las acciones que se desean brindar en este punto? 

• El resultado sea más claro y de mayor impacto. 
• Las pruebas sean más cortas y entreguen más valor 

• La idea central: Es el motivo de atención y se representa por medio de un texto o imagen central que representa el tema a tratar.
• Las ramas: permiten desglosar en distintos componentes la idea central. Una rama pude a su vez, desglosarse en otras ramas.
• Palabras clave: resumen en 2 o 3 palabras el contenido temático de la rama. Representa una idea.

• Número de tareas que pueden realizarse. 
• Porcentaje de funciones relevantes utilizadas. 
• Porcentaje de tareas completadas con éxito en el primer intento. 
• Número de errores persistentes.
• Número de errores por unidad de tiempo. 
• Porcentaje de usuarios capaces de completar con éxito la tarea. 
• Número de solicitudes de asistencia que realiza la tarea. 
• Medida objetiva de la calidad de la producción. 
• Medida objetiva de la cantidad de producción. 
• Porcentaje de usuarios que pueden llevar a cabo tareas clave sin leer el manual. 

• Tiempo para ejecutar un conjunto particular de instrucciones. 
• Tiempo empleado en el primer intento. Tiempo para realizar una determinada tarea.
• Tiempo para realizar la tarea en comparación con un experto. 
• Tiempo para alcanzar el rendimiento de expertos. 
• Número de pulsaciones de teclas adoptadas para lograr la tarea. 
• El tiempo dedicado a la corrección de errores. 
• Número de iconos recordados después de la finalización de la tarea. 
• Porcentaje de tiempo dedicado al uso del manual. 
• El tiempo dedicado en volver a aprender las funciones. 

• Porcentaje de los clientes que califican el producto como "más satisfactorio" que un producto anterior. 
• Cambio de uso voluntario. 
• Porcentaje de clientes que se sienten "en control" del producto. 
• Porcentaje de clientes que se lo recomendaría a un amigo después de su uso de dos horas.  

• Un alcance definido y lo que queda fuera de éste. 
• La estrategia de pruebas. 
• La estimación de tiempos. 
• El guion de la prueba de usabilidad – Usability Test Script 
• Las tareas de prueba – Usability Test Task 
• Modalidad de las pruebas (Locales o remotas). Si son locales indicar lugar. 

• Identificación clara de lo que se quiere medir, es decir, si lo que se quiere es un valor cuantitativo o cualitativo como resultado de la prueba. 
• El grupo o grupos de usuarios que realizarán las pruebas de usabilidad, detallando el número de participantes¹, quién será el moderador de las pruebas (normalmente un experto en pruebas), la persona que tomará las notas de los hallazgos realizados en la sesión de pruebas. 
• Referencia de los requisitos de usabilidad (si los hay). 
• Las técnicas² a emplear para desarrollar las pruebas. 
• Tiempo y agenda de la sesión de pruebas. 
• Aplicativo, funcionalidad, versión del software, dispositivos, SO y toda aquella información relevante de sw y hw que harán parte de la prueba.  

• Actividades de preparación de la prueba de usabilidad 
• Instrucciones informativas 
• Preguntas de la entrevista previa a la sesión. 
• Tareas de prueba de usabilidad 
• Preguntas de la entrevista posterior a la sesión.

• Descripción del escenario de prueba a nivel general. 
• Listado de tareas que se quieren lograr.  
• Descripción detallada del resultado esperado tras la ejecución de cada tarea. 

• Criterios para determinar que una tarea fue exitosa. 

1.    Tareas completadas: este indicador se contabiliza de manera binaria (1 = Tarea Realizada con Éxito y 0 = Tarea no Superada) esta medida permite conocer de una manera simple la facilidad de uso a la hora de realizar una tarea. 

2.    Problemas de usabilidad: este indicador revela los problemas que le han surgido al usuario a la hora de realizar una tarea, además puede incorporar una escala de gravedad ligada a los problemas surgidos. Ayuda a conocer la probabilidad con la que el usuario se encontrará con un problema en cada fase del desarrollo. Además, se pueden obtener estadísticas de la cantidad de problemas que le surgen a cada usuario y cuáles son los problemas más frecuentes. 

3.    Tiempo de finalización de la tarea: sirve para medir la eficiencia y la productividad. Es el tiempo total utilizado para llevar a cabo una tarea. Esta medida registra las horas, minutos y segundos empleados. 

4.    Nivel de satisfacción de la tarea: se trata de un pequeño cuestionario para averiguar la dificultad que ha observado el usuario al realizar la tarea, que además servirá para comparar la dificultad entre varias tareas. 

5.    Nivel de satisfacción de la prueba: cuestionario en forma de una o varias preguntas que recogen las impresiones que el usuario ha percibido en cuanto a la facilidad o dificultad del uso general de la aplicación, sitio web etc. 

6.    Errores: este indicador recoge cualquier acción involuntaria, error, omisión o acción no deliberada que el usuario haya cometido al intentar realizar una tarea. Recupera cada incidencia junto con una descripción. Este indicador es de gran ayuda ya que revela los campos que con mayor frecuencia causan confusión al usuario, y en los que comete fallos o acciones equivocadas que provocan la desviación del objetivo propuesto por la tarea. Esto último recuerda al significado raíz de usabilidad por lo que hay que prestarle mayor atención. Además, se pueden ordenar por categorías y clasificar en función de su importancia. 

7.    Expectativas: en este indicador se le pide al usuario que estime el nivel de dificultad que espera encontrar a la hora de realizar una tarea, para luego poder comparar los resultados con las impresiones reunidas al finalizar la tarea (lo esperado con lo real). 

8.    Páginas vistas / clic: se utiliza en herramientas de analítica web, por lo que no es necesario realizar un estudio de usabilidad para recabar datos relacionados con este indicador. Sirve para aplicaciones web y sitios web; está demostrado que existe una alta correlación entre los clics y el tiempo dedicado a cada tarea, siendo el primer clic crucial para determinar si la tarea será realizada finalmente con éxito o no. Es una de las mejores métricas para medir la eficiencia. 

9.    Conversión: se trata de una medida de efectividad que también se puede encontrar en herramientas de analítica web. Es una herramienta esencial en el comercio electrónico ya que revela si los usuarios pueden completar las tareas de inscripción o compra en un sitio web; también se contabilizan de manera binario (1 = convertido, 0 = no convertido). A la hora de completar esta tarea y por lo tanto de lograr la conversión o no, normalmente afectan varios factores entre los cuales se encuentran los problemas de usabilidad, los errores y los tiempos. 

10.  SUM (Single Usability Metric): sirve para describir la usabilidad de un sistema mediante la combinación de tres indicadores de usabilidad: tareas completadas, tiempo de finalización de la tarea y nivel de satisfacción de la tarea. 

11.  SUS (System Usability Scale): es una herramienta rápida y fiable para medir la usabilidad. Consiste en un cuestionario compuesto por diez preguntas que se puntúan mediante una escala Likert (de 1 a 5). 

• Los participantes no deben hablar entre ellos (en caso que éstas fueran grupales) y las instrucciones de las pruebas a ejecutar son comunicadas sólo por el moderador. 
• Los participantes normalmente en lo posible, deben ser usuarios que desarrollan las tareas a las que están enfocadas las pruebas. 

• El moderador y la persona que tomó notas generará cada uno un listado con los hallazgos positivos como negativos que cada uno considere más importantes. 
• El moderador y la persona que tomó notas discutirán acerca de lo observado en cada una de las sesiones. Compartirán y analizarán los hallazgos encontrados por cada uno (Ya sea de eventos positivos o negativos). 
• Se generará un listado común, de los hallazgos (positivos y negativos) que ellos consideren más importantes teniendo en cuenta las métricas definidas: Eficacia, eficiencia y satisfacción. Y las posibles soluciones a éstos (para los negativos). 

• Reporte ejecutivo: Breve resumen que contiene una descripción de los elementos evaluados, técnicas usadas, los hallazgos más representativos y recomendaciones a nivel general basadas en éstos. 
• Hallazgos y recomendaciones: Se listan todos y cada uno de los hallazgos ordenados de mayor a menor severidad. 
• Objetivos: Descripción de los objetivos de la prueba de usabilidad. 
• Propósito de la prueba: Se debe indicar el propósito de la prueba, indicando los requerimientos de usabilidad más relevantes (Identificados en el paso 1). 
• Método de evaluación: indica el cómo se realizó la prueba (método de evaluación usado, información concerniente al ambiente físico y técnico en el que se desarrolló la prueba, se lista el Test Script y se hace referencia a los participantes de la prueba, pero manteniéndolos anónimos), es decir, en este apartado se justifica el proceso realizado para alcanzar los objetivos propuestos. 
• Contactos: Se anexan los datos del moderador y de tomador de notas involucrados en la prueba. Así como los datos de los stakeholders. 

• Debe ser corto y comprensible. 
• Debe tener un reporte ejecutivo. No mayor a una página con los detalles más relevantes. Debe ir al inicio del reporte para que los stakeholders lo encuentren fácilmente. 
• Los hallazgos deben estar clasificados en: 
• Problema de usabilidad: Ver tabla de severidad de hallazgos. 
• Hallazgo positivo: Funciona bien. Enfoque recomendado. 
• Buena idea: Sugerencia de los participantes que podrían significar una mejora en la experiencia de usuario. 
• Problema funcional: Defecto (Bug) 
• Los hallazgos deben estar agrupados en hallazgos positivos y negativos. No se deben presentar mezclados.                  
• Deben tener una descripción. 
• Comentarios textuales relevantes de los participantes de la prueba. 
• Evidencias que ilustren el hallazgo.