Проблема временно бесплатных MVP

Если вы собираетесь брать деньги с пользователей за свой продукт (сервис), делайте это сразу же. С первой же рабочей версии или MVP. Иначе вы тестируете совершенно другой продукт.

Почти наверняка вам скажут «нет». Это нормально. Главное — пользователи скажут «почему нет», а это и есть самое ценное. Пока даёшь им продукт бесплатно, ничего толком понять нельзя.

Из заметки Максима Ищенко «Start charging from Day 1».

Самообман при А/Б-тестировании

Описывая эксперимент и рассказывая о результатах, я часто замечал, что слушатели не были удивлены и с готовностью говорили мне об этом. Это выглядело довольно странно: исход работы порой казался загадочным даже мне самому как экспериментатору. Неужели люди в аудитории настолько проницательны?

Я нашёл способ бороться с чувством «я так и знал». После того как я завершал описание эксперимента и методов измерения, я давал аудитории несколько секунд, чтобы об этом подумать. Затем я просил проголосовать на исход эксперимента и записать прогноз на листе бумаги. Лишь после этого я делился с аудиторией результатами. С тех пор слушатели крайне редко осмеливались говорить: «Ну, я так и знал».

Из книги Дэна Ариели «Вся правда о неправде» (2013), глава 6-я «Самообман».

Если вы проводите А/Б-тестирование и прочие эксперименты со своими продуктами, наверняка, сталкиваетесь с таким же эффектом.

Оценка эффективности иконок

Каждый из нас хотя бы раз в жизни пытался объяснить дизайнеру, какая иконка «интуитивно понятна», а какая «ужасна». Однако, гораздо лучше было бы, если бы наши суждения основывались не на личном мнении, а на авторитетных аналитических подходах. В процессе проведения тестирования юзабилити существует ряд способов проверить, насколько иконки улучшают восприятие пользовательского интерфейса:

  1. Ассоциации. Из 4 вариантов участники тестирования должны выбрать единственно верный ответ на вопрос о том, каковы функции той или иной иконки;
  2. Обратные ассоциации. Из 4 вариантов участники тестирования должны выбрать единственно верное изображение, наиболее полно характеризующее тот или иной функционал. Для измерения эффективности оценки тестирования используйте доверительные интервалы: если 30 из 39 пользователей ответили на опрос правильно, значит, можно с уверенностью в 90% утверждать, что от 65% до 86% реальных пользователей также подберут верную ассоциацию;
  3. Воспоминания. Показывайте пользователям иконку в течение нескольких секунд, а затем попросите их описать как её внешний вид, так и её предполагаемые функции. Ответы сгруппируйте и подсчитайте количество названных пользователями ключевых слов.

Ещё 4 способа есть в исходной статье Джефа Сауро (на английском).

Если клиент не прав, но доводы не сработали

Иногда вы точно знаете, что клиент просит совершенно не то. Может случиться так, что вы испробуете все известные способы объяснить клиенту, что он не прав, но ничего не сработает.

Можно притвориться, что признали свое поражение! После того, как вы сломили сопротивление клиента, согласившись с ним, вы можете получить над ним власть и думать позитивно о том, как можно превратить поражение в победу и выиграть всем.

Например, предложить клиенту, что если он хочет продвижение в разрез с вашими рекомендациями, то вы проведете веб-аналитику для отслеживания результатов его решения.

Реализуйте A/B тестирование, и пусть статистика разрешит спор. Ни один клиент не будет продолжать настаивать на своем решении, если ваш вариант лучше отобьет вложенные в него инвестиции.

Из статьи Сэма Барнса «Как сказать клиенту, что он не прав».

Тестирование идей и быстрые прототипы

В одном из проектов IDEO целью было создание более доверительных отношений между врачами и пациентами. Придумали в холле, где пациенты ждут приёма, поместить фотографии и имена работников больницы. Идею сразу же проверили с помощью пробковой доски и подписанными от руки полароидными фотографиями.

Доска не вызвала интереса у пациентов. Они объясняли это тем, что узнать имя своего врача и его помощников довольно легко: все они носят бейджи и представляются перед началом приёма. А остальной персонал больницы их не интересует. Один из пациентов предположил, что было бы круто узнавать больше о тех врачах, с которыми уже знаком.

Отталкиваясь от этого отзыва, придумали составить альбом, в котором были бы сопровождаемые комментарием фотографии работников в семейном кругу или за любимым делом. Пациенты были в восторге от возможности взглянуть на «обратную сторону» работающих с ними специалистов.

Постепенно альбом превратился в большую доску объявлений, на которой персонал соревновался в занимательности создаваемых ими самопрезентаций.

Мораль: ошибка на раннем этапе — не ошибка вовсе. Прототип помогает начать диалог с пользователями и чётче понять их нужды, чего не добиться простым опросом. Быстрый «черновой» прототип хорош тем, что никто ещё не вложил в идею слишком много сил, и легко сможет переключиться на идею получше.

Из статьи Prototypes as (Design) Tools for Behavioral and Organizational Change, страницы 8−9.