Как правило, юзабилити-исследования – это лабораторные модерируемые исследования, построенные на наблюдении за пользователями. Их проводят как на существующем продукте, так и на прототипах.
При совместной со студией Лебедева разработке концепции мы создали прототип, использованный для юзабилити-исследования. Он стал источником многих идей, которые были воплощены в продукте
Часто юзабилити-исследования проводятся по результатам интерфейсной аналитики (см. далее раздел «Количественные исследования»), когда наблюдается труднообъяснимое резкое падение метрик (чаще всего конверсий).
Цель юзабилити-исследований состоит в том, чтобы выявить проблемы в существующих пользовательских путешествиях, а затем на основе наблюдений предложить возможные решения и отсортировать полученные значения параметров.
При исследованиях собираются следующие основные параметры:
• время выполнения задачи – помогает отслеживать прогресс в развитии интерфейсов и определить качество прототипа;
• достижимость – завершил ли пользователь задачу (достиг ли типовой цели в рамках контекста, предложенного исследователями);
• количество совершенных действий – сколько было сделано кликов или свайпов, насколько это количество отличается от запланированного разработчиками;
• количество экранов – сколько экранов прошел пользователь, насколько это количество отличается от запланированного разработчиками, сколько было повторов и возвратов, сколько экранов было открыто по ошибке;
• время, проводимое на каждом экране, – позволяет оценить когнитивную нагрузку, с которой пользователь сталкивается при ориентации на экране и принятии решения о следующем действии (то есть как быстро пользователь совершает следующее действие, что помогает или мешает ему сделать следующий шаг);
• длина траектории зрительного фокуса на каждом экране – данные дает eyetracker, инструмент для анализа активных зон на экранах цифровых продуктов, помогающий определить оптимальную компоновку элементов;
• доля фиксации зрительного фокуса на том или ином объекте – позволяет оценить когнитивную нагрузку, с которой имеет дело пользователь при узнавании объекта на экране и принятии решения о следующем действии;
• доля положительных и отрицательных эмоций – данные, собранные фронтальной камерой и проанализированные с помощью алгоритмов распознавания эмоций, позволяют определить точки боли и удовольствия в процессе решения поставленных исследователями задач;
• данные о когнитивной нагрузке – данные электроэнцефалографии позволяют измерять активность мозга при решении задач в динамике, в том числе при повторном выполнении задания;
• субъективная удовлетворенность – описание ощущений самим пользователем, например, по методике SUS.
Этапы юзабилити-исследования
Ниже перечислены основные этапы юзабилити-исследований:
1) определение сценария;
2) определение требований к респондентам;
3) рекрутинг респондентов;
4) вступительное icebreak-интервью;[42]
5) погружение в контекст;
6) наблюдение за выполнением задач;
7) фиксация результата;
8) формирование отчета.
Теперь рассмотрим все этапы подробнее.
Определение сценария
• Функциональность продукта декомпозируется, составляются задания для реализации каждой отдельной функции.
• Для каждой функции определяется наиболее эффективный контекст применения: дома, за рулем, на ходу, в режиме нехватки времени, на своем или чужом устройстве, в условиях плохой освещенности и т. п.
• Определяется одна или несколько точек касания: действующий продукт, бета-версия, прототип, продукт конкурента, альтернативный способ решения проблемы.
• Определяется стартовая точка – место, с которого пользователь начинает выполнять задание: главный экран, экран после авторизации и т. п.
• Определяется порядок выполнения заданий – он важен, поскольку опыт решения одного задания может влиять на выполнение другого. Иногда задачи некоторых блоков перемешиваются для каждого респондента.
Определение требований к респондентам
Группа респондентов должна представлять широкую аудиторию, чтобы увидеть все возможные проблемы и сделать выборку максимально репрезентативной. Поэтому, помимо разнообразия по полу и по возрасту, важно добиться разнообразия по параметрам. Они перечислены ниже:
• время жизни с продуктом – новички, середнячки, старожилы;
• частота использования продукта – soft user (1–2 операции в месяц), hard user (1–2 операции в день), среднее значение;
• вариативность используемых функций;
• фаза доходности – пробный покупатель, подписчик, золотой подписчик;
• роль в системе – администратор, модератор, гость;
• сторона рынка (для торговых площадок типа маркетплейсов) – покупатель, продавец.
Рекрутинг респондентов
Для рекрутинга можно прибегнуть к услугам специальных агентств. Плюс этого подхода в том, что вы не будете самостоятельно искать людей и составлять для них расписание. Минус в том, что по цене и времени это может оказаться сопоставимо с реализацией тестируемой функциональности. Второй минус – так иногда попадаются профессиональные респонденты.
Самим набрать респондентов можно через рассылки для пользователей продукта, бета-тестеров или членов сообщества в социальной сети. Минус – очень много времени уходит на обработку анкет и согласование расписания между всеми участниками.
Вступительное icebreak-интервью
Перед началом исследования важно установить максимально доверительные отношения между респондентом и модератором. Также важно поощрять «мысли вслух», чтобы респондент переключился в режим саморефлексии (анализа собственных действий) и растормозил свою речь.
Для этого я рекомендую начать со светской беседы, разговора ни о чем, содержащего открытые вопросы. Можно угостить респондента кофе или чаем и уже затем перейти к icebreak-интервью. Можно замаскировать его под формальное интервью – сначала собирать общие анкетные данные и постепенно переходить к открытым вопросам, обращенным в прошлое. Например: «Вспомните самый первый момент, когда вам пришла мысль установить это приложение».
UX-лаборатория в «Альфа-Лаборатории» представляла собой нечто среднее между офисом и жилой квартирой. Как и положено, в ней есть полупрозрачная стена для скрытого наблюдения
Погружение в контекст
UX-лаборатории, как правило, имитируют контекст квартиры, офиса или чего-то среднего, как на иллюстрации выше. К тому же часто бывает необходимо погрузить респондента в некое особое состояние. Чтобы респондента посетило больше озарений, часто требуется привести его в состояние спешки. Константин Самойлов из UX-Study, например, демонстративно засекал время после начала выполнения задания – в этом не было смысла, так как все писалось на видео, но это давало ощущение спешки. Мы для исследований предлагали пользователям представить, что они находятся в усталом ворчливом состоянии и притом очень ограничены во времени. Это помогло вскрыть гораздо больше проблем, связанных с интерфейсом, и избавиться от вежливого замалчивания, когда респонденты не рассказывают о своих затруднениях, боясь выглядеть глупыми.
Наблюдение за выполнением задач
Все решения обязательно фиксируются на видео. В профессиональных лабораториях ведется тройная синхронизированная запись, на которой видно лицо пользователя, состояние экрана и временна́я ось, где записываются действия пользователя – клики или нажатия клавиш. Также при тестировании десктопных интерфейсов может добавляться слой с «температурной» eyetracker-картой и показателями мозговой активности.
Очень часто исследования проходят в комнате с полупрозрачным зеркалом, хотя, на мой взгляд, без этого уже можно обойтись – экшен-камеры и аналогичные устройства позволяют транслировать видео происходящего непосредственно на рабочие места всех заинтересованных.
Фиксация результата
Все результаты заносятся в сравнительную таблицу.
Достаточно часто в процессе первых нескольких исследований дорабатывается сценарий исследования, прототип и даже сам продукт, и это желательно учитывать при рекрутинге.
Подготовка отчета
Это самая важная часть исследования, так как данные в отчете, их интерпретация и оформление – основные факторы, влияющие на принятие решений.
Измененный фрагмент отчета. Показатели субъективной удовлетворенности для нескольких вариантов прототипа
Чтобы исключить личное влияние, лучше доверить оформление незаинтересованным лицам, насколько это возможно.
Следует помнить, что если респондентов мало, то, помимо результирующих оценок, необходимо обязательно принимать во внимание доверительные интервалы.
Плюсы и минусы юзабилити-исследований
К безусловным плюсам юзабилити-исследований относится непосредственный контакт команды с реальными пользователями. Наблюдение за ними и их саморефлексия может стать источником вдохновения, а также элементом командообразования. Также прямые наблюдения позволяют выявить проблемы, которые нельзя увидеть при анализе данных с систем интерфейсной аналитики.
К минусам относится дороговизна исследований и увеличение сроков релиза.
В продуктах с быстрым циклом обновления, где улучшения появляются раз в одну или две недели, стоимость тестирования может превосходить стоимость разработки. В таком случае дешевле будет не проводить предварительные исследования, а реализовать функциональность и открыть ее для ограниченного количества пользователей с возможностью отключения в случае проблем.
При тестировании прототипов часто возникают проблемы с пониманием уровня абстракции у респондентов и с затратами на реализацию.
Пользователи не всегда осознают, что в прототипе условное, а что – «настоящее». Например, при попытке пополнить баланс мобильного телефона они безуспешно пытаются отыскать его в списке по последним четырем цифрам своего номера.
Реализация сложных способов взаимодействия, типа