Откуда берется нужное кол-во респондентов в UX — простым языком, на пальцах с монеткой.

Дисклеймер: есть полное обоснование от Джеффа Соро, сколько респондентов нужно для проверки гипотез в UX-исследованиях, а текст ниже объясняет логику этого обоснования простым языком, без логарифмов, слов “выборка” и “биномиальный”.

В основе лежит такая ситуация, при которой нужное событие может произойти, либо не произойти.

Пример: при подбрасывании монеты с вероятностью 50% выпадет решка или орел.

В нашем случае ситуация такая: человек взаимодействует с интерфейсом. Этот человек может столкнуться, либо не столкнуться с интерфейсной проблемой.

Нам нужно, чтобы человек столкнулся с проблемой — так мы находим проблемы, чтобы их исправить и улучшить интерфейс.

Проблемой мы считаем ситуацию, когда использование интерфейса не приводит к желаемому результату, например когда человек:

• не может выполнить в интерфейсе желаемое действие
• не понимает, какое действие нужно выполнить, чтобы получить желаемый результат
• ошибочно понимает информацию, данную в интерфейсе

Вероятность обнаружения проблемы — не 50%, как в случае с монеткой. Эта вероятность может быть разной. Обнаружение проблемы зависит от многих факторов, среди которых:

• путь, которым пользователь пошел в интерфейсе
• (не)совпадение способов мышления пользователя и дизайнеров/проектировщиков, которые работали над интерфейсом
• ситуации, в которой используется интерфейс
• внимательность пользователя

Таких факторов бесконечное кол-во, мы не можем заранее предусмотреть все и не можем повлиять на многие из них. Тем не менее, при достаточном кол-ве попыток (респондентов) мы так или иначе станем свидетелями даже тех проблем, которые случаются лишь в 1% случаев.

К сожалению, чтобы гарантировано найти все возможные проблемы, надо превратить в респондентов все человечество. Чтобы сделать задачу выполнимой, придется немного снизить планку.

Сначала мы решаем, насколько редкие проблемы хотим найти. Это и есть вероятность обнаружения проблемы, которую мы назначаем для исследования.

Например, мы хотим найти проблемы, с которыми люди столкнутся с 10% вероятностью.

= представьте кривую монету, при подбрасывании которой нам с 10% вероятностью выпадает орел.

Чтобы выяснить, есть ли в нашем интерфейсе проблемы, мы берем нашего реального либо потенциального пользователя и помещаем его в ситуацию, в которой он пользуется нашим интерфейсом.

Представьте, что мы подбрасываем кривую монету один раз.

С вероятностью в 10% мы получаем орла с первого раза

= мы находим нашу “редкую” проблему на первом же респонденте.

Если не находим с первой попытки, то бросаем кривую монетку еще и еще раз = зовем новых респондентов

Чтобы узнать, сколько попыток (респондентов) требуется для того чтобы точно случилось событие, которое случается с определенной вероятностью при каждой попытке, можно воспользоваться спецкалькуляторами: [1],[2],[3]

Нам потребуется задать:

• Вероятность события (вероятность обнаружения проблемы)
• Количество попыток (респондентов)
• (Опционально) желаемое кол-во раз, чтобы событие случилось (тогда можно рассчитать вероятность, что проблема случится именно столько раз при заданном кол-ве попыток).

Выше пример расчета, когда у нас:

• 10% вероятность события-проблемы
• 21 попытка-респондент

В этом случае мы обнаруживаем проблему с 30% вероятностью (см. самый высокий столбик графика).

Слева пример ситуации, где:

• 30% вероятность события-проблемы
• 8 попыток-респондентов
• Желание наблюдать событие-проблему как минимум 3 раза
• Мы видим, что есть 30% вероятность увидеть событие-проблему дважды .

Слева пример ситуации, где:

• 30% вероятность обнаружить проблему
• 5 попыток-респондентов
• Мы с 30% вероятностью увидим, что проблема случается дважды. (Повторяемость дает понять, что причина в интерфейсе, а не в человеке.)

5 респондентов были долгое время рекомендованным по умолчанию кол-вом респондентов. В расчете Джеффа Соро используется более сложная формула, в которой учитывается процент всех имеющихся в интерфейсе проблем. При желании можно ознакомиться как с обоснованием, так и с критикой [1],[2] такого способа расчета.

Согласно этой формуле, если мы хотим найти 85% всех проблем, которые обнаруживаются с 30% вероятностью, нам понадобится 5 респондентов.

А например в ситуации, если мы хотим найти 90% всех проблем, которые обнаруживаются с 10% вероятностью, эта формула дает нам рекомендацию пригласить 21 респондента.

Итого: для каждой отдельной ситуации можно посчитать кол-во респондентов, определившись с редкостью и процентной долей проблем, которые вы хотите найти. Но можно срезать путь так: когда кол-во респондентов перевалит за 20, вы зацепите исследованием большинство проблем, даже редчайших. Единственное, что сможет помешать — плохие вопросы и задания. Но об этом в следующей серии.