Как тестировать изменения сайта с небольшой посещаемостью?
Рубрики: Продвижение сайтов
27 Ноя 2015Знаете, какой самый главный секрет искусства повышения конверсии? Ответ: «Верить можно только цифрам». Какими бы убедительными не казались рассуждения экспертов, ваш собственный здравый смысл и советы неравнодушных клиентов – решения об изменениях на сайте все равно лучше принимать только на основе реальной статистики.
В нашей практике был случай, когда размещенная на целевой странице новая, качественная фотография продукции фирмы не увеличила, а сильно уменьшила конверсию. Понять в чем дело помогла беседа со старым клиентом. Выяснилось, что старое, сделанное на «мыльницу» фото внушало больше доверия именно из-за своей непрофессиональности.
Не секрет, что любые изменения на целевых страницах лучше предварительно тестировать на относительно небольшой группе реальных посетителей, чтобы не получился конфуз, как в примере. Но этот способ хорош для крупных проектов с четырехзначным числом посетителей в сутки. Как быть, если число посетителей вашего сайта гораздо меньше?
Хорошая новость: даже на небольшом траффике А/Б тестирование может дать массу полезной для повышения конверсии информации. Плохая новость: придется быть гораздо более осторожным в выводах и поработать тоже придется больше.
На всякий случай напоминаем, что А/Б тестирование – это тест влияния изменений страницы (или сайта) на показатель ее конверсии. Чтобы его провести, нам нужны два варианта страницы (А и Б) и действие, которое мы будем считать конверсией. Например, отправка посетителем формы заказа. Когда человек заходит на сайт, ему показывают случайный вариант страницы. Так посетители делятся на два множества: увидевшие вариант А и увидевшие вариант Б. Набрав статистику, мы можем сравнить в каком из множеств коэффициент конверсии выше. После чего вариант-победитель занимает место на сайте на постоянной основе, так как лучше справляется с со своей задачей. Как видите, ничего сложного: сравнили две цифры и выбрали большую. Но это работает, только если в каждом из множеств число посетителей достаточно велико.
В чем проблема для сайтов с небольшой посещаемостью? Чтобы набрать необходимое число участников теста (выборку) нужно проводить его слишком долго. Так долго, что результаты уже возможно потеряют актуальность. Можно ли обойтись меньшей выборкой? Да! Но как?
- «Большую рыбу видно даже в мутной воде». Этот способ помогает обнаруживать варианты страниц, которые заведомо лучше своих «напарников». Представьте: ваш эксперимент показал, что новый вариант дает более высокую конверсию, но выборка пока слишком мала для достоверных выводов. Вам надо принять решение о выборе варианта страницы сейчас. Посчитайте для этого во сколько раз новая конверсия больше старой (пример: старая 5%, новая 8% — больше в 1,6 раз). Чем выше этот показатель, тем вероятнее, что новая конверсия окажется выше старой даже на достаточно большой выборке.
- «Если это выглядит как кошка и мяукает как кошка, значит это кошка». Этот способ хорошо работает, если у вас не одинокая страничка, а полноценный сайт. Часто мы в качестве конверсии указываем «серьезные» действия, такие как заказ или оставление пользователем информации о себе. Но подсказать отношение посетителей к оптимизируемой странице могут и другие метрики, например:
- На какую страницу перешел пользователь после оптимизируемой. Одно дело, если его заинтересовали условия доставки или способы оплаты, другое – если он просто покинул сайт.
- Сколько страниц он просмотрел всего. Может быть индикатором заинтересованности, которую вызвала целевая страница. А может, наоборот, указывать на недостаточную ее информативность. Зависит от того, какая информация размещена на других страницах сайта.
- …
Как проще всего избежать ошибок в интерпретации этих дополнительных показателей? Сравнить их с усредненными данными о поведении пользователей, которые совершили конверсию в прошлом, в том числе до начала эксперимента. Если у нового варианта страницы и конверсия выше и метрики ближе к «эталонным» — это серьезный аргумент сделать окончательный выбор в его пользу.
- «День и ночь». Известны случаи, когда замена одного слова увеличивала коэффициент конверсии в полтора раза. Но крайне маловероятно, что в вашем случае будет что-то похожее. Обычно небольшое изменение на сайте ведет к небольшому изменению конверсии. Поэтому на маленькой выборке поймать эффект от такого изменения невозможно. Вывод: тестировать надо только крупные, радикальные редизайны.
Закономерный вопрос: как понять, что именно повысило конверсию, если изменений много? Новые цвета, новый текст или новое видео? Чтобы такого вопроса не возникало, лучше всего делать редизайн вокруг какой-нибудь общей идеи. Если старая страница в первую очередь акцентировала внимание на низкой цене вашего продукта, то новая пусть подчеркивает удобство его использования по сравнению с конкурирующими аналогами. Для реализации этой идеи страница может подвергнуться значительному редизайну: новое расположение элементов, новые отзывы, новый порядок пунктов в списке преимуществ, новая видеоинструкция по эксплуатации и т.п. Но в результате теста мы узнаем не столько суммарный эффект множества изменений, сколько сравнительную важность преимуществ продукта для покупателей.
Теперь самое важное. Все описанные методы не дают статистически значимых результатов. Результаты их применения – это скорее подсказки, а не полноценные выводы на основе собранных данных. Но должно ли это мешать принятию решений, если других данных нет и не предвидится? Ответ за вами.
- Комментарии к записи Как тестировать изменения сайта с небольшой посещаемостью? отключены
Возможность комментирования закрыта модератором.