A/B тестирование сайта. 90% тестов врут

A/B тестирование сайта обещает точные данные для роста конверсии. Меняешь цвет кнопки, тестируешь на сотне посетителей, получаешь +30% — готово! Звучит убедительно, правда?

За 15 лет работы я видел сотни таких «успешных» тестов. И знаете что? 90% из них показывали полную чушь. Через месяц конверсия возвращалась к исходной, а иногда падала ниже.

Дальше расскажу про реальные цифры, типичные ошибки и пошаговый план. С примерами из практики.

Что не так с популярными советами по A/B тестированию

Гуру твердят одно и то же: «Проведи сплит-тест, сравни два варианта, выбери лучший». В теории звучит научно. На практике — как гадание на кофейной гуще.

Типичная картина: Владелец интернет-магазина читает статью про A/B тесты. Загорается идеей. Ставит на главной две версии кнопки «Купить» — зелёную и красную. Через три дня смотрит статистику: зелёная «выиграла» с разницей +28%.

Радостный звонок: «Макс, мы провели тест! Зелёная кнопка даёт почти на треть больше кликов! Меняем на всём сайте!» Спрашиваю стандартный вопрос: «Сколько всего кликов было?» Пауза. «Ну… по зелёной 9 человек кликнули, по красной 7».

Вот вам и ваши +28%. Девять. Человек. За три дня.

Это не исключение — это норма. Большинство владельцев сайтов понятия не имеют про размер выборки, статистическую значимость и доверительные интервалы. А без этого A/B тестирование превращается в рулетку.

Хуже всего, что многие инструменты для тестирования подливают масла в огонь. Показывают «победителя» с зелёной галочкой, когда в тесте поучаствовало 50 человек. Технически кнопка работает, результат выводит. Но толку от такого результата — как от прогноза погоды по Луне.

Кейс: как 4 клика превратились в «32% рост конверсии»

Недавно работал с владельцем онлайн-школы английского. Умный парень, в бизнесе пять лет, читает профильные блоги. Решил провести A/B тест лендинга пробного урока.

Исходные данные: Две версии страницы. Версия A — текущая, с синей кнопкой записи. Версия B — новая, с оранжевой кнопкой и чуть другим текстом. Тест запустили в пятницу вечером.

Через выходные: Сервис показал, что версия B «победила» с результатом +32% по конверсии в заявки. Статистическая значимость — 91%. Владелец уже планировал откатывать новую версию на весь сайт.

Я попросил показать сырые цифры. Оказалось:

• Версию A увидело 76 человек → 3 заявки (3.9%)
• Версию B увидело 82 человека → 4 заявки (4.9%)

Ага. Четыре заявки против трёх. Один дополнительный лид — и вот вам «+32% рост». А сервис для A/B тестирования гордо выдал 91% достоверность результата.

Что случилось дальше: Убедил клиента продолжить тест ещё на две недели. Через 14 дней картина изменилась:

• Версия A: 847 посетителей → 41 заявка (4.8%)
• Версия B: 831 посетитель → 38 заявок (4.6%)

Победителя поменялся. Оранжевая кнопка оказалась хуже синей. Хорошо, что не раскатали на весь сайт, правда?

Мораль: Один случайный клик в выходные день может дать вам «+32% к конверсии». А через неделю окажется, что вы просто поймали удачную волну. Это не тестирование — это казино.

Три смертельных ошибки, которые убивают ваш сплит-тест

Ошибка #1: Слишком маленькая выборка

«Протестировали на 100 посетителях» — фраза, от которой у меня глаз дёргается. Для большинства сайтов 100 человек — это статистический шум.

Реальность: Для базовой конверсии 5% и желаемого изменения хотя бы на 2% нужно минимум 2000-3000 посетителей на каждый вариант. Это не я придумал — это математика, проверенная десятилетиями практики.

Работал с интернет-магазином спортпита. Конверсия в покупку — 2.3%. Владелец хотел протестировать новый дизайн карточки товара. Спросил: «Сколько посетителей нужно?» Ответил честно: «Около 15 тысяч на каждый вариант для достоверного результата».

Расстроился: «Это же месяц трафика!» Да, месяц. Либо тестируй месяц и получи реальные данные, либо гадай за три дня и рискуй конверсией. Выбор простой.

Ошибка #2: Досрочная остановка теста

Проблема «подглядывания» — бич A/B тестирования. Владелец запускает тест, каждый день проверяет результаты и останавливает, как только видит разницу. Звучит логично, но математика работает иначе.

Почему это плохо: Статистические критерии, которые считают достоверность результата, предполагают, что вы НЕ будете смотреть на данные до окончания теста. Каждый раз, когда вы проверяете промежуточные результаты и принимаете решение, вы повышаете шанс ложного вывода.

Представьте: подбрасываете монету 10 раз. Первые 6 бросков — орёл. «Ага, монета кривая!» А если бросите 100 раз, получите примерно 50 на 50. Тот же принцип в A/B тестах.

По данным из исследований, около 75% тестов, остановленных при «победе» +20% и выборке меньше 5000 человек, через месяц дают нулевую динамику или отрицательную. Три четверти, Карл!

Ошибка #3: Игнорирование сезонности

Пятница вечер, понедельник утро, канун зарплаты, выходные после праздников — всё это разная аудитория с разным поведением. Но многие запускают тест в четверг и останавливают во вторник, не задумываясь.

Пример из жизни: Тестировали лендинг курса по инвестициям. Запустили в среду, к субботе версия B показала +40% по заявкам. Клиент уже хотел масштабировать. Я попросил подождать хотя бы до следующей среды.

Оказалось: В выходные аудитория другая — больше случайных посетителей, меньше целевых. С понедельника результаты выровнялись. К следующей среде версия B проигрывала на 8%.

Простое правило: Тест должен длиться минимум одну полную неделю, а лучше две. Тогда вы увидите поведение всех типов аудитории — и будничной, и выходной.

Как провести A/B тест правильно

Хватит страшилок. Давайте по делу.

Шаг 1: Используй калькулятор размера выборки (5 минут)

Не гадай. Зайди на сервис вроде ab-testguide.com или калькулятор Эвана Миллера. Введи три параметра:

• Текущая конверсия (например, 3%)
• Минимальное изменение, которое хочешь увидеть (реалистично — 10-20%)
• Уровень достоверности (ставь стандартные 95%)

Калькулятор выдаст: «Нужно 4832 посетителя на каждый вариант». Вот это и есть размер выборки. Меньше — не начинай тест, время потратишь зря.

Можешь найти подходящий инструмент в нашем разделе «Бизнес и стартапы».

Шаг 2: Прикинь сроки теста (2 минуты)

Если у тебя 500 посетителей в день, а нужно 4832 на вариант, получается:

• 4832 × 2 варианта = 9664 посетителя
• 9664 ÷ 500 = примерно 19 дней

Не нравится ждать три недели? Тогда либо тестируй элементы с большим трафиком (главную страницу, а не страницу «О нас»), либо смирись.

Шаг 3: Запусти тест и не трогай (важно!)

Включил — забыл. Не подглядывай каждый день. Серьёзно. Можешь проверить на следующий день, что всё работает технически (не сломалась ли страница, идут ли посетители). Дальше — жди до конца.

Если очень хочется смотреть на цифры (понимаю, сам такой), открывай аналитику, но НЕ принимай решений. Досмотри тест до запланированного размера выборки.

Шаг 4: Проверь статистическую значимость (3 минуты)

Когда набралась нужная выборка, забей цифры в калькулятор статзначимости:

• Посетителей на вариант A: 4950
• Конверсий на варианте A: 148
• Посетителей на вариант B: 4880
• Конверсий на варианте B: 167

Если калькулятор говорит «статистически значимо» (p-value меньше 0.05), можешь доверять результату. Если говорит «разница незначима» — варианты равны, выбирай любой.

Шаг 5: Раскатывай победителя и наблюдай (2 недели)

Даже если тест показал победителя, не расслабляйся сразу. Внедри новый вариант на весь сайт и смотри на конверсию ещё пару недель. Иногда эффект всё равно сглаживается — особенно если тестировал на коротком промежутке или в нетипичный период.

Часто задаваемые вопросы про A/B тестирование

Сколько посетителей нужно для достоверного A/B теста?

Зависит от текущей конверсии и ожидаемого изменения. При конверсии 5% и желаемом росте на 2% нужно минимум 3500-4000 посетителей на каждый вариант. Чем ниже конверсия или меньше ожидаемое изменение, тем больше нужно людей. Используй калькуляторы — не гадай на глаз.

Что такое статистическая значимость простыми словами?

Это вероятность того, что разница в результатах вызвана реальным изменением, а не случайностью. Если статзначимость 95%, значит с вероятностью 95% победитель действительно лучше, и только 5% шанс, что тебе просто повезло. Стандарт — не меньше 95%.

Как долго должен длиться A/B тест?

Минимум одну полную неделю, а лучше две. Это нужно, чтобы захватить разную аудиторию — будни и выходные, начало и конец недели. Но главное — не срок, а размер выборки. Если за неделю не набрал нужное количество посетителей, продолжай тест дальше.

Можно ли останавливать тест досрочно, если видно победителя?

Нет. Это называется «проблема подглядывания» и повышает шанс ложного результата. Промежуточные данные могут быть случайными. 75% тестов, остановленных досрочно при «победе» +20%, через месяц возвращаются к нулю или минусу. Дождись полного размера выборки.

Какие элементы сайта стоит тестировать в первую очередь?

Тестируй элементы с максимальным влиянием и трафиком: заголовки на главной, тексты кнопок призыва к действию, форму заказа или регистрации. Не трать время на мелочи вроде цвета футера или размера иконок соцсетей — эффект мизерный, а выборка нужна огромная.

Вместо заключения

За полтора десятилетия в веб-разработке я усвоил простую истину: большинство владельцев сайтов проводят A/B тесты неправильно. Не потому что глупые — просто никто не объяснил, как работает статистика.

Они видят «+30% рост» на 50 посетителях и верят. Потому что гуру сказали: «Тестируй всё!» А про размер выборки, доверительные интервалы и проблему подглядывания гуру почему-то забывают упомянуть.

Хотите реальные результаты? Считайте выборку, ждите полный срок, проверяйте статзначимость. Скучно? Зато работает. Три правильных теста за год лучше, чем тридцать ложных за месяц.

А вы когда-нибудь останавливали тест досрочно, увидев «победителя»? Интересно, сколько из этих побед оказались случайностью.

Об авторе: Макс Скриптов — персонаж блога СкриптоЛаб для честного разбора веб-трендов и развенчания популярных мифов. Все кейсы основаны на реальной практике и проверяемых данных. 💬 Делитесь своим опытом A/B тестирования в комментариях!