Как и зачем привлекать резервных участников при исследовании пользователей

Аудио перевод статьи
0:00
0:00
Аудио перевод статьи
0:00
0:00
·

Резюме: Иногда вам специально следует набирать респондентов больше, чем требуется для проведения исследований в формате один на один. Дополнительные респонденты должны быть выбраны в соответствии с теми же критериями отбора, как и основные, и их работа должна оплачиваться по меньшей мере также, как и основным респондентам.

Нацеленные на результат исследователи всегда состыковывают график проекта и свой бюджет на исследования. Продуктивные исследователи стараются тратить ровно столько, сколько необходимо, поэтому оставшиеся деньги могут быть использованы для дополнительных исследований.

Когда я запускаю исследования, я стараюсь расходовать достаточную сумму денег на привлечение и мотивацию участников, чтобы убедиться, что (1) я нахожу подходящих пользователей и (2) они достаточно мотивированы, чтобы приходить на исследования (что также справедливо оплачивается). «Неявка» участников или отмена участия в последний момент могут сорвать график проекта, заставить заинтересованные стороны потерять интерес к исследованию, а также средства будут потрачены впустую.

Рассмотрим расходы на каждый временной слот тестирования при исследовании юзабилити или других UX-исследований:

  • Тестируя респондентов, оптимизируйте расходы путем распределения средств на более длительные сроки среди участников исследования. Так, например, стоимость 20 часов, потраченных на планирование исследования с пятью участниками, равносильны 4 часам оплаты труда дорогостоящего UX-специалиста за каждый слот участника.
  • Проанализируйте затраты на аренду помещения для проведения исследования. Для исследования в форме личного присутствия аренда лабораторного помещения, которое может пустовать из-за неявки респондента, является дополнительной затратой из собственных средств. Даже если вы проводите тестирование, скажем, в конференц-зале в собственном здании, то возможны издержки упущенной выгоды, связанные с тем, что вы забронировали помещение и не позволили другим сотрудникам его использовать.
  • Включите в стоимость расходов время членов команды. Самая большая статья расходов на запланированное учебное время, которое остается неиспользованным, - это часто расходы членов команды (включая вас), которые находятся в ожидании респондента.

Не забывайте, что если количество участников оказалось меньше, чем планировалось, то и количество инсайтов и полезной для исследований информации уменьшится. Если вы будете следовать нашим рекомендациям относительно небольшого набора числа респондентов для самых качественных исследований, то имейте ввиду, что каждый потерянный участник представляет довольно значительную часть ваших потенциальных выводов и, таким образом, снижает прибыльность вашего дизайн-проекта.

Когда набирать «запасных» респондентов

Бывают случаи, когда уместно “перестать экономить” и привлечь дополнительных пользователей, также известных как «запасные». Благодаря этой стратегии вы, скорее всего, не потеряете время, запланированное на исследования с пользователями. Некоторые сценарии, когда этот подход полезен, включают следующие ситуации:

  • В расписании проекта предусмотрен лишь небольшой временной интервал для исследования. Например, клиенту может потребоваться юзабилити-тест и его результаты всего в течение нескольких дней.
  • Внешний фактор накладывает ограничения по времени. Например, оборудование или место для лабораторного исследования сдаются в аренду и доступны только на определенный срок.
  • Подготовка участников требует их частичной проверки на месте во время исследования. Например, при айтрекинге (слежение за направлением глаз) вам может потребоваться откалибровать глаза пользователей с помощью системы слежения за глазами на месте.
  • Многое зависит от наблюдателей, присутствующих при конкретном исследовании или при нескольких. Например, если команду нужно было убедить провести исследование, и она настроена скептически, но, наконец, соглашается на исследование в определенное время, вам необходимо добиться того, чтобы респондент присутствовал именно в это время.

Чтобы гарантировать, что у вас будет достаточно участников исследования, когда они вам понадобятся, вы можете практиковать «намеренный сверх найм персонала». Сверх найм персонала может проявляться несколькими способами:

  • набирать несколько человек (основного респондента и запасного) для каждого запланированного слота
  • набирать по одному респонденту на каждый слот и «запасного» на каждые два
  • добавить большее количество тестирований (и больше респондентов), чем необходимо, в график исследования

Один «запасной» на основного респондента

Самый дорогостоящий метод, который также дает наибольшую страховку, - это один «запасной» на одного респондента, то есть набор двух человек на временной слот, даже если вы тестируете только одного из них.

День исследования может выглядеть так:

Если основной респондент приходит на тестирование, я оплачиваю «запасному» временной слот и отпускаю его.

«Запасные», набранные только на одно тестирование, обычно получают такие же гонорары, как и респонденты. Таким образом, если вознаграждение респондента составило 100$, то вознаграждение «запасного» за одно тестирование также будет составлять 100$.

При таком подходе стоимость подбора персонала и вознаграждение за исследование вдвое выше, если все респонденты приезжают на свои тестирования. Например, если стоимость подбора персонала и вознаграждения составляет 180$ за пользователя, а у вас 5 пользователей, то общая стоимость без «запасных» составит 900$, а стоимость с ними- 1800$.

Один «запасной» на двух пользователей

Немного менее затратный, но менее безопасный подход — набирать по одному «запасному» на каждые два тестирования. В такой ситуации день исследования может выглядеть так:

В этом случае каждый «запасной» будет доступен для двух тестирований. Например, если появляется респондент 1, «запасной 1» еще будет присутствовать, чтобы убедиться, что респондент 2 также появится. Если респондент 2 действительно появляется, «запасной» уходит в начале второго сеанса. Это, вероятно, лучший сценарий для «запасного», поскольку ему в основном необходимо быть готовым к работе в течение полутора часов, и ему заплатят за то, что он присутствовал на протяжении всего исследования.

Если респондент 1 не появляется, его место занимает «запасной». И исследователю остается надеяться, что респондент 2 появится, потому что для этого тестирования нет никого в запасе. Если респондент 1 появляется, а респондента 2 нет, «запасной» займет место респондента 2. Вероятно, это наихудшая ситуация для «запасного», потому что ему пришлось ждать одну сессию тестирования, а затем также быть участником.

«Запасные», которые должны быть готовы к работе в течение нескольких временных слотов, обычно получают больше. Обычно я удваиваю вознаграждение. (Некоторые платят больше, потому что «запасные» соглашаются не только быть готовыми к работе в течение более длительного времени, но и участвовать в исследовании, если это необходимо. Другие платят «запасным» больше, только если они в конечном итоге становятся респондентами тестирования.) Таким образом, если гонорар респондентов составлял 100 долларов, то за двойную сессию тестирования выплачивались бы 200 долларов. (Обратите внимание, что в приведенном выше примере количество сеансов тестирования нечетное, один «запасной» будет охватывать только один сеанс, и ему будет выплачено 100 долларов). Если бы исследование было удаленным, можно было бы заплатить «запасным» меньше, потому что их не просят приезжать или сидеть в каком-то специальном месте в течение определенного периода времени; скорее, они могут заниматься другими делами дома или в офисе, общаясь с исследователем по телефону.

Как набирать «запасных»

Смысл присутствия “запасных” в тестировании в том, чтобы гарантировать, что вы отработаете все свое время исследования. Очень важно, чтобы респонденты явились лично или удаленно, если это необходимо. Таким образом, нанимая их, они не должны чувствовать себя лишними. Я всегда честен с «запасными». Я набираю их, используя те же критерии отбора, что и для респондентов исследования. Как только они будут признаны необходимой целевой аудиторией для исследования, я объясню их роль:

Мы набрали респондентов на все временные слоты для исследования, но нам нужно убедиться, что у нас действительно есть человек на каждом этапе тестирования. Поскольку иногда у людей меняются планы в последний момент, нам нужно набрать больше респондентов, чтобы они были готовы к тестированию на случай, если уже запланированный участник не сможет это сделать.
Общение при готовности к 1 тестированию: Итак, мы просим вас прийти (или войти в систему для удаленного тестирования), также, как если бы вы участвовали в нем. Если нужный респондент придет, как и планировалось, мы выплатим вам гонорар в размере 100 долларов и освободим вас.
Общение при готовности к 2 тестированиям: Итак, мы просим вас прийти (или войти в систему для удаленного тестирования), также, как если бы вы участвовали в нем. Но мы просим вас быть доступными для двух сессий тестирования, начиная с 8 утра и заканчивая 10:30. Если основные респонденты прибудут по плану, мы заплатим вам 200 долларов и освободим вас. Но если один из пользователей не приедет, мы просим вас принять участие в исследовании.

Для удаленного тестирования я прошу «запасных» произвести вход в систему так, как если бы они были респондентами. Для тестирований в формате личного присутствия я сообщаю участникам, что будет зона ожидания, беспроводной доступ в интернет и напитки, и им будет предложено оставаться там, пока они не будут освобождены. Если такого места нет, я стараюсь найти поблизости кафе, куда они могут пойти, и подождать на случай, если они понадобятся.

Как уволить «запасных»

Если условия были объяснены «запасным», когда они были приняты на работу, не должно быть проблем с их увольнением. Тем не менее, убедитесь, что вы не оскорбляете их чувства и не заставляете их думать, что они сделали что-то не так, и именно поэтому их увольняют. Я обычно говорю примерно так:

Как вы знаете, вы были наняты для того, чтобы у нас было достаточно респондентов на сеанс тестирования. Основной респондент, которого мы запланировали, прибыл, так что все в порядке. Большое спасибо за согласие принять участие в нашем исследовании, но на этот раз вы нам не понадобитесь. Вот вам (или я пришлю вам) гонорар в размере 100 долларов, как и договаривались. И я надеюсь, что мы сможем быть с вами на связи для согласования участия в будущих исследованиях. Большое спасибо.

Использование «запасных» для выявления лучшего респондента
Еще одно преимущество набора двух участников тестирования для каждого временного слота заключается в том, что, если оба появляются по расписанию, вы можете выбрать одного, наиболее подходящего для вашего исследования. В этом случае вы не должны заранее назначать одного человека в качестве «основного» респондента, а другого -в запасе.

Выбор наиболее подходящего респондента может быть полезен в исследованиях:

  1. Когда вам трудно выбрать респондента для сложной задачи или его навыки сложно предварительно проверить - например, если вы тестируете высококачественный инвестиционный продукт и хотите увидеть навыки инвестирования перед исследованием
  2. Необходимость определенной демографической выборки, например, возрастной.

Если все ваши ранние слоты заполнены более молодыми пользователями, вы должны отдать предпочтение старшим пользователям для последних слотов.

(Однако избегайте выбора респондентов на основе случайных критериев - например, какой из участников более разговорчив или кажется более приятным или симпатичным — потому что, делая это, вы легко можете исказить результаты своего исследования.)

Больше исследовательских слотов для исследования и отмена по мере необходимости

Планирование графика на дополнительные учебные тестирования немного отличается от планирования графика «запасных». Если у вас нет сжатых сроков, и вы (или ваша команда) можете переориентироваться и выполнить другую работу, если респондент не появляется, этот метод может быть эффективным способом обеспечить достаточное количество респондентов и обычно дешевле, чем использование «запасных»

Расписание, использующее эту модель, может выглядеть так:

Для неконтролируемых (без куратора) удаленных тестирований я обычно нанимаю одного дополнительного человека на каждые 3 тестирования. Например, если мне нужно 5 тестирований, я набираю и провожу исследование с 7 людьми. Как только у вас будет достаточно данных, вы можете отменить тестирования, которые вам не нужны (но, конечно, по-прежнему платите респондентам). Если достаточное количество респондентов не появляется даже после добавления количества тестирований, вы можете запланировать дополнительные тесты.
Однако часто имеет смысл проводить дополнительные тестирования, даже если все необходимые респонденты присутствовали, по двум причинам:

Непригодные результаты некоторых тестирований. После просмотра записей исследований я иногда обнаруживаю проблемы с одним из тестирований и не могу использовать все или большую часть его результатов. Таким образом, сверх найм спасает не только от ситуации с отсутствующими респондентами, но также помогает тестированиям с неполными результатами и позволяет сэкономить на повторном запуске исследования и ожидании обратной связи.

Дополнительные выводы. Иногда мне нужно довести до конца ту работу, которая была проделана на предыдущих тестированиях - если случилась такая ситуация, то я могу улучшить более позднее тестирование, чтобы изменить задачи или вопросы интервью и исследовать новые вопросы.

Разве увеличение вознаграждения респондентам не устранит необходимость в сверх найме?

Респонденты, мотивированные увеличением вознаграждения, могут с большей вероятностью появиться на тестировании. Итак, вы можете поэкспериментировать с выплатой более высокого вознаграждения, а не с набором «запасных». Вы сэкономите на привлечении дополнительного респондента и, возможно, заплатите более высокое вознаграждение основному респонденту. Но эта стратегия работает только в том случае, если фактор, препятствующий участию, связан с вознаграждением. Он не учитывает чрезвычайные ситуации или изменения расписания в последнюю минуту, которые случаются, особенно при тестировании пользователей определенных профессий, таких как системные администраторы или врачи. (Также подумайте, может ли очень высокое вознаграждение исказить ваше исследование.)

Не является ли намеренный сверх найм сотрудников бесполезным?

Что мне меньше всего нравится в намеренном сверх найме сотрудников, так это то, что команда, пользователи, рекрутеры и исследователи жертвуют временем и деньгами.

Решение использовать эти методы сверх найма во многом похоже на принятие решения о покупке дополнительной страховки. Например, стоит ли тратить 100 долларов в месяц на долгосрочное медицинское страхование, чтобы, если вам понадобится помощь в старости, вы ее получили? Точно так же, во сколько вашей команде обойдется страховка по наличию респондента в каждое отведенное время?

В таблице ниже сравниваются затраты времени, расходы на найм персонала и вознаграждение за исследование с участием 5 пользователей с использованием трех моделей сверх найма.

Из расчета, что исследователь проводит пять сеансов, можно отметить, что:

  • Затраты на набор персонала и вознаграждение являются наибольшими (1800 $) для модели сверх найма 1 «запасной» на 1 респондента и наименьшими (1260 $) для модели с дополнительными слотами тестирования.
  • Риск нехватки респондентов в исследовании самый низкий для модели «1 «запасной» на 1 респондента» и выше как для модели «1 «запасной» на 2 респондентов», так и для модели с «дополнительными слотами».
  • Время до завершения исследования является наименьшим (один день) с моделями набора сотрудников «1 «запасной» на 1 респондента» и «1 «запасной» на 2 респондентов» и в большинстве случаев (полтора дня) при модели с «дополнительными слотами», которая требует дополнительного тестирования и, соответственно, времени.

В приведенном выше примере учтите, что дополнительные расходы составили 900$.

  • Нужна ли вашей команде гарантия в 900$ на то, что вы получите необходимую обратную связь от целевой аудитории в течение указанного времени?
  • Заложены ли у вас эти расходы в бюджете?
  • Какова альтернативная стоимость этих 900$, то есть что еще вам нужно сделать и потратить на то, чтобы эти 900$ могли принести более высокую прибыль?

Это те вопросы, которые вы должны задать себе, когда думаете о сверх найме.

Источник:
nngroup.com
·
comments powered by HyperComments