¿Cuántos participantes necesitas en tus tests de usuario y entrevistas? Consejos de expertos en UX research.

Facebook
Twitter
LinkedIn

Cuando se trata de diseñar un estudio cualitativo con usuarios, una pregunta que surge con frecuencia es: «¿cuántos participantes se necesitan?». A menudo, la respuesta más común que se escucha es «con 5 usuarios es suficiente».
Sin embargo, la respuesta no es tan obvia como parece ni la pregunta en sí misma es tan sencilla.
En este artículo exploraremos en profundidad la pregunta de cuántos participantes se necesitan en un estudio cualitativo, repasando las teorías más comunes y describiendo también como los researchers lo hacemos en nuestro día a día.

Nielsen y los 5 usuarios.

La «regla de los 5 usuarios» es una de las más conocidas, y también polémica, en el ámbito de la investigación con usuarios. Esta regla, popularizada por Jakob Nielsen en su famoso artículo de 2000, se basa en la observación de que la mayoría de los problemas se detectan durante las primeras sesiones de un estudio con usuarios, y que a medida que se añaden más participantes, el número de problemas nuevos disminuye progresivamente.

A través de sus pruebas con usuarios, Nielsen pudo calcular el impacto exacto que tiene la inclusión de más participantes en un estudio. Sus conclusiones se reflejan en un gráfico muy famoso que muestra dos ejes: el eje vertical representa el porcentaje de problemas presentes en una interfaz (de 0% a 100%), mientras que el eje horizontal representa el número de participantes de la investigación.

Captura de pantalla 2023-05-11 152353
Fuente https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

Como se puede observar en el gráfico, existe un punto, alrededor del 85% de los problemas, donde la línea deja de crecer de manera marcada y comienza a aplanarse. Este punto se corresponde con los 5 participantes. Según Nielsen, a partir de 5 personas, encontrar nuevos problemas que no hayan surgido ya con los participantes anteriores nos costaría cada vez más.

En resumen, si con 5 usuarios se pueden encontrar el 85% de los problemas, añadir otros 5 solo nos permitiría encontrar el 10% más. Por lo tanto, duplicar nuestro esfuerzo tendría un impacto muy reducido en el hallazgo de la investigación y, en la mayoría de los casos, podría no valer la pena. Aunque la regla de los 5 usuarios se aplica principalmente a problemas de usabilidad, es importante destacar que, según Nielsen, se puede aplicar a cualquier tipo de hallazgos en un proyecto de investigación.

¿5 en total o por perfil?

La decisión de si la regla de los 5 usuarios es suficiente o no, depende del perfil de los participantes que se van a reclutar en la investigación.
¿Queremos estudiar a un grupo homogéneo de personas o a diferentes grupos con características específicas? En el segundo caso, si se espera que cada grupo se comporte de manera distinta, la muestra de 5 usuarios se queda corta.

Por ejemplo, en un test de usabilidad de un sitio web que involucre tanto a clientes como a no clientes, deberíamos reclutar al menos 5 de cada grupo, especialmente si desempeñan tareas diferentes.

En una entrevista sobre hábitos de viaje con parejas, familias con niños y personas que viajan por trabajo, es probable que las opiniones y necesidades de cada grupo sean diferentes. En este caso, también deberíamos trabajar con una muestra más amplia para obtener una visión más completa y precisa de cada perfil.

Las limitaciones de la regla de los 5 usuarios

¿Un mito basado en pocos datos?

La regla de los 5 usuarios no está exenta de polémica. En un largo hilo de Twitter, Jared Spool, otro referente de la User Experience, critica la afirmación de que con 5 usuarios podemos encontrar al 85% de los problemas de una interfaz.

En resumen, Jared Spool critica que la idea de que 5-8 usuarios son suficientes para obtener resultados significativos se basa en datos provenientes de muy pocos estudios que no se puede extrapolar a un contexto más amplio. Spool afirma que esta regla es un mito y no es adecuada para la investigación en el contexto actual en el que los productos tienen millones de usuarios en diferentes culturas y hacen miles de cosas diferentes.

Argumenta además que esta regla se basó en la limitación de costes de la época en que fue creada. En aquel entonces, realizar pruebas de usabilidad era costoso y se requerían instalaciones caras, personal especializado y reclutar participantes era muy caro. La optimización del número de participantes era necesaria para reducir los costes generales. Sin embargo, en la actualidad, la investigación con usuarios es mucho más económica y los prototipos de prueba son más baratos. Por lo tanto, no es necesario preocuparse tanto por optimizar el número de usuarios por iteración.

Con 5 usuarios solo encontramos lo fácil de encontrar

Una de las aportaciones más conocidas a la regla de los 5 usuarios viene de Jeff Sauro, consultor UX especializado en aplicar la estadística a la investigación.
En su artículo de 2010 , Sauro analizó la regla de Nielsen desde un punto de vista estadístico y añadió una matización importante: si fuera cierto que con 5 usuarios podemos encontrar al 85% de los problemas de una interfaz, esto solo se aplicaría a aquellos problemas que ocurren con mayor frecuencia, en detalle, a aquellos que suceden más del 31% de las veces.

Para entender lo que significa la probabilidad de que un problema ocurra, imaginemos que nuestro carrito de la compra tiene un problema que afecta al 31% de los usuarios que intentan finalizar su compra. Si probamos nuestro carrito de la compra con 5 participantes, tendremos un 85% de posibilidades de detectar el problema durante nuestro estudio. En cambio, si el problema es menos frecuente y solo afecta al 10% de los intentos de compra, necesitaríamos involucrar a más participantes, exactamente 18, para tener las mismas posibilidades de encontrarlo.

Captura de pantalla 2023-05-11 153428
En este gráfico, proporcionado por Jeff Sauro, podemos ver la diferencia entre el número de participantes necesarios para encontrar el 85% de los problemas que ocurren al menos el 31% de las veces (en rojo) y al menos el 10% de las veces (en azul): Fuente: https://measuringu.com/five-users/#many

Aunque investigar con 5 usuarios y encontrar el 85% de los problemas de una interfaz puede ser suficiente para muchos productos, hay situaciones en las que solucionar un problema o detectar una necesidad que afecta a solo unos pocos usuarios puede tener un impacto económico importante, especialmente cuando el producto es utilizado por millones de personas.

En este sentido, también es importante sopesar cuánto valoramos encontrar estos «pequeños» hallazgos y cuál es el riesgo aceptable de no encontrarlos.

En conclusión: cómo lo hacemos en la vida real.

En la práctica diaria, en TeaCup llevamos a cabo la mayoría de nuestros estudios cualitativos con un número de participantes que oscila entre 8 y 12, independientemente de quién tome la decisión: ya sea nosotros o nuestros clientes (otras agencias o grandes empresas con equipos de UX research). La horquilla de 8 a 12 usuarios nos permite acomodarnos a la mayoría de las necesidades (y limitaciones de budget) de nuestros clientes.
Sin embargo, hay excepciones que conviene destacar:

  • Cuando realizamos estudios de forma iterativa, lo más habitual sigue siendo involucrar a menos participantes en distintas rondas, ya que esto nos permite optimizar esfuerzos y resultados. En este sentido, la recomendación de Nielsen sigue siendo válida: si tenemos recursos para involucrar a 10 participantes, es mejor testar dos veces con 5 que una sola vez con 10.
  • Otra excepción se produce cuando queremos involucrar a perfiles distintos, en cuyo caso podemos aumentar el número de participantes a entre 5 y 8 por perfil si queremos obtener datos consistentes sin aumentar demasiado los costes.
  • En el caso de estudios internacionales, repetidos en distintos países, la muestra de 8-12 participantes se aplica a cada uno de los mercados investigados.
  • El número de participantes puede aumentar cuando estamos interesados en obtener cuantos más datos posibles y necesitamos profundizar en nuestros hallazgos. Por ejemplo, si estamos llevando a cabo técnicas muy exploratorias, como los User Diaries, es habitual involucrar entre 20 y 40 usuarios para investigar de manera más amplia sus experiencias específicas, antes de profundizar entrevistando, por ejemplo, a 8-12 de ellos.

Es importante destacar que todo lo anterior se aplica exclusivamente a estudios de tipo cualitativo. En el caso de estudios cuantitativos, el número ideal de participantes es superior, ya que nuestro objetivo es obtener métricas fiables. Por ejemplo, aconsejamos involucrar a por lo menos 30 personas para estudios de Card Sorting o Eye Tracking.

More from our blog