Дизайн исследования между субъектами и внутри субъектов

Аудио перевод статьи
0:00
0:00
Аудио перевод статьи
0:00
0:00
·

Резюме: В исследованиях пользователей межгрупповые конструкции исключают перенос полученных знаний от ситуации к ситуации; конструкции с повторяющимися измерениями требуют меньшего количества участников и сводят к минимуму случайные помехи.

Если вы хотите сравнить несколько пользовательских интерфейсов в одном исследовании, есть два способа назначения участников теста на эти несколько ситуаций:

  • Дизайн исследования между субъектами (или между группами): каждая ситуация тестируется разными людьми, но таким образом, что каждый участник тестирования имеет доступ только к одному пользовательскому интерфейсу.
  • Дизайн исследования внутри субъектов (или повторных измерений): один и тот же человек тестирует все ситуации (то есть все пользовательские интерфейсы).

(Обратите внимание, что здесь мы используем слово «дизайн» для обозначения плана эксперимента, а не дизайна веб-сайта.)

Например, если бы мы хотели сравнить два сайта по аренде автомобилей A и B, глядя на то, как участники бронируют автомобили на каждом сайте, наше исследование можно было бы спланировать двумя разными способами. И каждый из этих способов был бы верным:

  1. Между субъектами: каждый участник тестирует один из сайтов по аренде автомобилей и бронирует автомобиль только на этом сайте.
  2. Внутри субъектов: каждый участник тестирует оба сайта по аренде автомобилей и бронирует автомобиль на каждом из них.

Любой тип пользовательского исследования, который включает более одного условия теста, должен определять, проводится ли он между субъектами или внутри субъектов. Однако это различие особенно важно для количественных исследований.

Экспериментальный дизайн в количественных исследованиях

В отличие от качественных исследований, количественные исследования юзабилити нацелены на получение результатов, которые со статистической вероятностью могут быть обобщены на всех пользователей. То, как анализируются данные таких исследований, зависит от того, как оно было спланировано (то есть от экспериментального плана исследования).

Часто основной целью количественных исследований юзабилити является сравнение сайта с конкурентами, двух разных версий дизайна или двух разных групп пользователей (например, экспертов и новичков). Как и в любом научном эксперименте, в котором мы хотим обнаружить причинно-следственные связи, количественное исследование включает в себя два типа переменных:

  1. Независимые переменные, которыми непосредственно манипулирует исследователь
  2. Зависимые переменные, которые измеряются (и ожидается, что они изменятся в результате манипуляции с независимыми переменными)

(Если исследование дает статистически значимые результаты, то можно сказать, что изменение независимой переменной вызвало изменение зависимой переменной.)

Вернемся к нашему первоначальному примеру с прокатом автомобилей. Если бы мы хотели измерить, какой из двух сайтов, A или B, лучше подходит для задачи бронирования автомобиля, мы могли бы выбрать сайт (с двумя возможными значениями или уровнями — A и B) в качестве независимой переменной, а своевременное выполнение задачи и точность бронирования автомобиля - в качестве зависимых переменных. Целью исследования было бы увидеть, изменяются ли зависимые переменные (время и точность), когда мы меняем сайт, или они остаются неизменными. (Если они останутся неизменными, то ни один из сайтов не лучше другого.)

Чтобы спланировать наше исследование, следующий вопрос, на который нам нужно ответить, заключается в том, должен ли план исследования быть между субъектами или внутри субъектов. То есть должен ли участник нашего исследования подвергаться воздействию всех различных ситуаций для независимой переменной (внутри субъектов) или воздействию только одной ситуации (между субъектами). Выбор экспериментального плана исследования повлияет на тип статистического анализа, который следует использовать для ваших данных.

Вполне возможно, что экспериментальный план исследования является как внутри-субъектным, так и между-субъектным. Например, предположим, что в случае нашего исследования сайтов по аренде автомобилей нам также было интересно узнать, как действуют участники моложе 30 лет по сравнению с участниками старшего возраста. В этом случае у нас были бы две независимые переменные:

  • Возраст, с 2 уровнями: до 30, старше 30
  • Сайт, с 2 уровнями: A и B

Для исследования мы наберем равное количество участников в каждой возрастной группе. Предположим, что мы хотим, чтобы каждый участник, младше или старше 30 лет, забронировал автомобиль как на сайте A, так и на сайте B. В этом случае исследование проводится внутри субъектов по отношению к независимой переменной Сайт (потому что каждый человек видит оба уровня этой переменной — то есть и сайт A, и сайт B). Однако исследование проводится также и между субъектами в зависимости от возраста: участник может принадлежать только к одной возрастной группе (либо младше, либо старше 30 лет, но не к обеим сразу). (Ну, технически вы можете выбрать группу участников младше 30 лет и подождать, пока им не исполнится 30, чтобы они снова протестировали сайты, но такой подход крайне непрактичен для большинства реальных ситуаций.)

Некоторые независимые переменные могут повлиять на выбор дизайна. Возраст - одна из них, как видно выше. Другие - это экспертные знания (если мы хотим сравнить экспертов и новичков), тип пользователя (если мы хотим сравнить разные группы пользователей или персонажей - например, бизнес-путешественник или турист) или гендер (при условии, что человек не относит себя к нескольким гендерам одновременно). Помимо юзабилити, испытания лекарственных препаратов являются одним из распространенных случаев межсубъектного плана исследования. В ходе таких испытаний участники получают только одно лечение: либо исследуемый препарат, либо плацебо, но не оба. А иногда сам процесс исследования меняет состояние участника. Например, если вы хотите увидеть, какая из двух учебных программ более эффективна для обучения чтению, вы не можете позволить одному и тому же учащемуся изучать обе, потому что, как только ученик научится читать, он не сможет разучиться.

Какой дизайн исследования лучше: между субъектами или внутри субъектов?

К сожалению, на этот вопрос нет простого ответа. Как видно выше, иногда ваши независимые переменные определяют дизайн эксперимента. Но во многих ситуациях возможны оба варианта.

  • Дизайн исследования между субъектами сводит к минимуму обучение и переход между условиями. После того, как участник исследования выполнил серию задач на сайте по аренде автомобилей, он больше осведомлен о предметной области, чем раньше. Например, теперь он знает, что сайты по аренде автомобилей взимают дополнительную плату с водителей младше 21 года или какие условия дополнительного страхования в случае аварий или повреждений предлагаются на сайте. Эти знания, вероятно, помогут участнику повысить эффективность работы на втором сайте по аренде автомобилей, даже если этот второй сайт может сильно отличаться от первого.
  • При межпредметном дизайне исследований такой перенос знаний не является проблемой - участники никогда не сталкиваются с несколькими уровнями одной и той же независимой переменной.
    Дизайн исследования между субъектами требует меньше времени, чем внутри субъектов. Участник, который тестирует один сайт по аренде автомобилей, справится намного быстрее, чем тот, кто тестирует два сайта. Более быстрое тестирование менее утомительно (и не так скучно) для пользователей, а также может быть более подходящим для удаленного немодерируемого тестирования (тем более, что такие инструменты, как UserZoom, обычно требуют довольно короткой продолжительности сеанса связи).
  • Эксперименты между субъектами легче организовать, особенно если у вас есть несколько независимых переменных. Когда исследование проводится внутри субъектов, вам придется использовать рандомизацию стимулов, чтобы убедиться, что последовательность ни на что не влияет. Например, в нашем исследовании аренды автомобилей нам нужно убедиться, что участники не всегда начинают с сайта A, а затем переходят на сайт B. Порядок сайтов должен быть случайным для каждого участника. Это просто с двумя сайтами: случайным образом назначьте по 50% пользователей на каждый сайт. Но по мере увеличения количества независимых переменных и уровней для каждой независимой переменной, становится все труднее реализовать рандомизацию в рамках некоторых существующих платформ для количественного тестирования юзабилити.
  • Дизайн исследования внутри субъектов требует меньшего количества участников и дешевле в эксплуатации. Чтобы обнаружить статистически значимую разницу между двумя ситуациями, часто требуется достаточное количество точек данных (то есть промежуточных результатов), (часто выше 30) в каждой из ситуаций. При внутрисубъектном дизайне каждый участник предоставит точку данных для каждого уровня независимой переменной. Для нашего исследования по аренде автомобилей 30 участников предоставят точки данных для обоих сайтов. Но если исследование проводится между субъектами, вам понадобится в два раза больше участников, чтобы получить одинаковое количество точек данных. То есть исследование станет в два раза дороже.
  • Дизайн внутри субъектов сводит к минимуму случайные помехи. Возможно, самым важным преимуществом внутрисубъектного дизайна является то, что он снижает вероятность того, что реальная разница, существующая между вашими условиями, останется незамеченной или будет искажена случайными помехами.

Отдельные участники привносят в тестирование свою историю, базовые знания и контекст. Один может устать после долгой вечеринки, другой может заскучать, а третий, возможно, получил отличную новость незадолго до начала исследования и счастлив. Если один и тот же участник взаимодействует со всеми уровнями переменной, он повлияет на них одинаково. Счастливый человек будет счастлив на обоих сайтах, усталый останется таким тоже на обоих. Но если исследование проводится между субъектами, счастливый участник будет взаимодействовать только с одним сайтом и может повлиять на окончательные результаты. Поэтому вы должны убедиться, что у вас есть такая же счастливая участница в другой группе, чтобы компенсировать неравенство.

На практике исследователи не смогут оценить такие различия между участниками — хотя они могут совпадать по полу, опыту и возрасту в разных группах, будет сложно предсказать или обнаружить другие факторы, характерные для каждого участника.

Рандомизация: важна для обоих типов дизайна исследований

Независимо от того, осуществляется ли ваш экспериментальный план внутри субъектов или между субъектами, вам придется заниматься рандомизацией, хотя и немного по-разному.

Выше мы обсудили, почему рандомизация важна для внутрисубъектных планов: она противодействует возможным эффектам порядка и минимизирует перенос полученных знаний и обучение в разных условиях.

Для межсубъектных планов вы должны убедиться, что участники распределяются по условиям случайным образом, потому что это в ваших интересах, чтобы распределение участников не повлияло на результаты вашего исследования. Таким образом, если исследователь решит, что все понравившиеся ему участники должны взаимодействовать с сайтом A, а затем он обнаружит, что сайт A работает лучше, чем сайт B, он не должен быть уверен в результатах. А именно, обнаружил ли он истинную разницу между сайтами или результат просто отражает его назначение (например, потому что люди, которые чувствуют, что им симпатизируют, склонны отвечать взаимностью, и могут быть более терпеливыми или иметь более позитивный настрой во время теста).

Даже без такой очевидной предвзятости, как ваши личные предпочтения, легко ошибиться при рандомизации. Предположим, вы проводите исследование в течение четырех дней, с субботы по вторник. Вы можете решить, что первая половина пользователей начинала свои тестирования с сайта A, а вторая половина пользователей начинала с сайта B. Однако это не является истинной рандомизацией, потому что очень вероятно, что определенная часть людей с скорее всего согласится на исследование в выходные дни, а другая с большей вероятностью запишется на тестирования в будние дни.

Заключение

Пользовательское исследование может быть как между субъектами, так и внутри субъектов (или и тем и тем), в зависимости от того, работает ли участник с одной ситуацией или со всеми представленными, которые варьируются в рамках исследования. Каждый из этих типов экспериментального дизайна имеет свои преимущества и недостатки. Дизайн исследования внутри субъектов требует меньшего количества участников и увеличивает шанс обнаружить настоящую разницу между вашими условиями. Межсубъектный дизайн исследования сводит к минимуму перенос полученных знаний от ситуации к ситуации, требует меньше времени на реализацию и может быть проще в организации и анализе.

Источник:
nngroup.com
·
comments powered by HyperComments