Основные правила A/B тестирования

В арбитражной среде понятие как «протестировать связку», «сделать сплит тест» — знакомо каждому. Многие вебмастера, после выбора оффера, начинают тестировать разные варианты прокладок, лендов, с одной целью — выбрать лучшее.

Но у всех ли это получается сделать? В большинстве случаев все это пальцем в небо, т.к многие не придерживаются основных правил!

Ниже я дам вам сухую конкретику, как правильно делать сплит тестирование и не совершать ошибок. Я не стану подробно аргументировать каждый пункт, ибо тогда пост будет очень длинным. Вся информация, которая написана ниже, была собрана из десятка статей в ру и бурж сегменте + подтверждена собственным опытом.

А сколько лично вы проводите тестирование? 1-2 дня и проливаете 500-1000 кликов?)) Если это так, то хочу вас расстроить. Минимальное кол-во времени, которое должно пройти — это 7 дней. Многие же гуру, исходя из своих многочисленных тестировании и опыта, советуют проводить тесты минимум 2-4 недели!

2. Сколько трафика нужно пролить? И сколько лидов (конверсии) получить?

Вот здесь все немного сложнее. Все зависит насколько процентов первый вариант будет лучше второго. Собственно, чем выше процент, тем меньше времени нужно на тест.

Вообщем, не забивайте голову, используйте готовый калькулятор. http://tools.driveback.ru/

Там есть 2 вкладки: 
1. Размер выборки — это, чтобы понять сколько трафика нужно пролить для получения информации.
2. Статистическая значимость — это если вы пролили трафик неделю, и хотите понять верны ли ваши результаты теста (просто вбивайте свои цифры и калькулятор выдаст результат).

3. Если провели сплит тест на одном источнике трафика, не значит что связка будет работать и на другом источнике.

Вот тут ошибка многих. Если вы оттестировали лендинг, например на тизерном трафике, это не значит, что данный ленд хорошо сработает и в майтаргете. Даже если вам приятель сказал, что «данный ленд офигенно заходит на тизерном трафике» и вы сами льете через тизерки, не факт, что у вас тоже все будет хорошо. Ибо мы не знаем, какие объявления использует ваш приятель. Ведь они тоже по-разному цепляют людей и многое от этого зависит.

4. Включайте мозг! Конверсия — не показатель. ROI — показатель.

Обычно в сплит тесте в качестве выбора победителя смотрят на конверсию. Но это не основной показатель на который следует ориентироваться. Рассмотрим 2 варианта:

Предположим что за апрув мы получаем — 700 руб.
1. 10 000 кликов, конверсия 1%, мы получили 100 заявок. 
Апрув получился 45% и мы заработали — 31 500 руб (45 апрувов)

2. 10 000 кликов, конверсия 0,8%, мы получили 80 заявок 
Апрув получился 70% и мы заработали — 39 200 руб (56 апрувов)

Если рассматривать тупо показатель конверсии, то конечно выиграл вариант 1, но если смотреть с точки зрения ROI то вариант 2.

Если вы думаете что на апрув вы никак не можете повлиять то ошибаетесь. На апрув влияет как источник трафика, так и ленд (форма захвата и контент).

Конечный вывод:

Всегда нужно включать голову и смотреть на показатели в целом, и самое главное делать акцент на ROI. Будьте грамотными друзья, много читайте, тестируйте и внедряйте рекомендации.
1. Сколько по времени нужно проводить тестирование?