Что именно представляет собой сплит проверка и почему такой подход нужно
сплит тестирование представляет собой подход сравнения пары или нескольких версий веб-страницы, интерфейса, текста, элемента действия, формы, письма, промо объявления а также другого онлайн объекта. Основная функция проявляется в том, для того чтобы определить, какой формат лучше функционирует при практике. Вместо гипотез без проверки плюс оценочных мнений используется проверка среди настоящей посетителей, при которой одна часть видит вариант A, а тестовая — версию B.
Такой подход помогает формировать выводы с опорой на основе данных, вместо этого не личных предпочтений а также нерегулярных замечаний. Внутри аналитических публикациях, среди них 1win, регулярно указывается, что А/Б проверка особо ценно в тех случаях, когда небольшие изменения способны воздействовать в отношении действия посетителей: нажатия, оформления профилей, передачу анкет, длину изучения, возвращаемость, заказы, подключения или другие заданные результаты. Метод дает возможность проверить, действительно ли правка усиливает 1win результат.
Каким образом проводится А/Б проверка
Логика А/Б эксперимента достаточно несложен. Вначале выбирается объект, что требуется оценить. Это имеет шанс оказаться headline, визуальный тон элемента действия, порядок элементов, текст подсказки, структура формы, визуал, стоимость, тип условия а также расположение ключевого действия. Далее формируются не менее двух варианта: первоначальный плюс обновленный. После этим трафик делится среди ними по до запуска заданным правилам.
Контрольная группа пользователей сохраняет возможность просматривать исходную вариацию, а вторая видит новую. Инструмент собирает данные о поведении каждой категории а также сопоставляет показатели. Когда вариант B демонстрирует лучший результат на фоне достаточном количестве сведений, эту версию можно использовать. Когда разницы не наблюдается а также тестовая версия работает хуже, корректировка отклоняется. Как раз в таком подходе и состоит прикладная значимость эксперимента: он позволяет оценивать гипотезы до окончательного 1вин релиза.
Почему необходимо сплит эксперимент
A/B проверка важно с целью сокращения неопределенности. В веб платформах даже незначительная особенность имеет шанс воздействовать в отношении оценку экрана. Один headline может оказаться понятнее иного, сжатая анкета способна заполняться активнее длинной, и более видимая CTA способна усилить количество нажатий. Если не использовать проверки такие решения нередко выглядят догадками.
Метод дает возможность оптимизировать продукт постепенно. Взамен крупной переделки полного ресурса либо приложения можно проверять конкретные блоки плюс фиксировать фактический результат. Это уменьшает риск неудачных изменений, сокращает расход время и средства а также позволяет собирать знания про действиях пользователей. Со накоплением тестов команда 1 win получает не просто совокупность мнений, вместо этого базу валидированных действий.
Какого типа объекты можно тестировать
Проверять получается практически каждый элемент, который воздействует на поведение посетителя. Обычно всего тестируют headline-блоки, разделы, обращения для переходу, тексты кнопок, анкеты регистрации, позицию блоков, картинки, блоки товаров, последовательность действий, сортировки, навигацию, промоблоки, сообщения, email-сообщения и промо креативы. Необходимо, дабы отобранный объект оставался соотнесен с конкретной задачей.
В случае если задача состоит в повышении отправленных обращений, правильно тестировать анкету, сообщение возле этого блока, количество элементов ввода а также заметность кнопки. Когда нужно усилить объем изучения, стоит тестировать переходы, секций рекомендаций, внутрисайтовые переходы плюс построение раздела. Насколько прямее соотношение 1win в паре правкой а также метрикой, тем полезнее эффект проверки.
Проверяемая идея как основа проверки
Каждый корректный сплит проверка запускается от предположения. Предположение объясняет, какое решение предлагается, по какой причине оно имеет шанс сказаться в отношении показатель а также какой показатель может поменяться. Например, получается допустить, будто уменьшение формы создания профиля снизит объем отказов, поскольку ведь человеку будет необходимо меньший объем усилий ради завершения шага.
Качественная проверяемая идея не должна следует казаться очень общей. Фраза наподобие «улучшить страницу качественнее» не дает возможность измерить эффект. Более точный вариант: «если заменить растянутый формулировку кнопки с помощью сжатый и понятный, число переходов вырастет, потому ведь ожидаемый результат окажется понятнее». Такая гипотеза непосредственно 1вин определяет объект эксперимента, логику и критерий.
Контрольная а также измененная выборки
Внутри А/Б эксперименте базовая аудитория просматривает старый вариант, а экспериментальная — измененный. Подобное деление важно с целью объективного сравнения. Когда просто заменить версию и сравнить метрики до и после изменения, итог может стать неточным по причине периодичности, промо нагрузки, изменения каналов трафика, информационного фона, системных проблем а также прочих сторонних условий.
Одновременный показ нескольких версий снижает роль случайных условий. Обе выборки находятся на уровне похожей обстановке: тот же а также самый идентичный период, схожие идентичные источники пользователей, схожие девайсы и одинаковый контекст. Из-за этого расхождение по метриках с большей 1 win значительной степенью вероятности соотносится именно с корректировкой, но не с посторонними сторонними обстоятельствами.
Какие критерии применяются внутри сплит тестах
Метрика — представляет собой число, на основе чему измеряется эффект эксперимента. Подбор критерия зависит с учетом назначения проверки. Ради раздела с активной формой существенны передачи форм, ради онлайн-магазина — сохранения в покупку и транзакции, в случае медиа — глубина просмотра и время чтения, для приложения — создания аккаунтов, активации, retention а также повторные 1win события.
Важно различать основную плюс вспомогательные критерии. Ключевая отражает, для чего запускается эксперимент. Вспомогательные позволяют выявить побочные последствия. В частности, правка CTA имеет шанс увеличить переходы, однако уменьшить результативность следующих действий. Следовательно полезно оценивать не исключительно исключительно на начальный клик, а также еще по последующее поведение: окончание заявки, повторные визиты, уходы, проблемы а также суммарную значимость результата.
Математическая значимость
Математическая значимость показывает, в какой степени реалистично, будто наблюдаемая расхождение между версиями не является является случайной. Если конкретный формат слегка опережает другой по итогам пары десятков визитов, это еще не доказывает преимущество. На фоне ограниченном объеме сведений итог может резко измениться, после того как 1вин аудитория будет больше.
Для достоверного заключения требуется нужное объем данных. Чем скромнее предполагаемая дельта среди версиями, настолько объемнее сведений необходимо получить. Если изменение обязано повысить метрику только около пару процентных пунктов, тесту будет необходимо значительно больше времени плюс трафика. Расчетная достоверность помогает не принимать быстрые решения с опорой на результатах случайных изменений.
Размер аудитории и длительность эксперимента
Масштаб выборки воздействует в отношении достоверность вывода. Если эксперимент видит очень мало посетителей, результаты способны быть сомнительными. В частности, несколько дополнительных кликов внутри конкретной группе способны показываться в виде рост, однако в условиях значительном количестве окажутся обычной колебанием. Из-за этого до момента запуском разумно оценивать, сколько людей 1 win либо конверсий необходимо ради оценки идеи.
Срок эксперимента также сохраняет важность. Чрезмерно сжатый эксперимент способен не успеть учитывать различия в паре рабочими плюс нерабочими периодами, дневной по времени и вечерней посещаемостью, разными каналами пользователей. Чаще всего эксперимент должен включать целый период поведения аудитории. Вместе с этом условии слишком долгий тест равно неподходящ, когда окружающие обстоятельства успевают заметно сдвинуться.
По какой причине нельзя изменять тест во время запуска
Распространенная в числе частых ошибок — вносить корректировки внутрь эксперимент вслед за запуска. Если по ходу центре теста изменить формулировку, сегмент, интерфейс, правила показа или метрику, наблюдения станут неоднородными. После этого окажется непросто выяснить, какой фактор именно воздействовало по части эффект. Тест утратит прозрачность, при этом результаты окажутся спорными 1win.
Перед запуском следует зафиксировать проверяемую идею, форматы, метрики, разбивку пользователей плюс критерии завершения. После старта лучше не нужно менять условия при отсутствии серьезной необходимости. Когда обнаружена проблема внутри конфигурации или служебный проблема, лучше прервать тест, устранить сбой затем запустить другой тест, чем пытаться анализировать некорректные показатели.
Синхронное тестирование разных корректировок
Иногда формируется желание оценить одновременно ряд решений: новый текстовый блок, иную кнопку действия, упрощенную заявку и обновленный расположение блоков. Такой вариант может дать суммарный результат, однако не сможет раскроет, какого типа именно элемент повлиял на результат. Когда обновленная версия оказалась лучше, сохранится неясно, какой элемент сработало лучше всего.
Ради чистой проверки обычно изменяют один значимый элемент в 1вин один этап. В случае если нужно сопоставить разные сочетаний, задействуется многовариантное сравнение. Этот формат сложнее, предполагает повышенного трафика а также аккуратной интерпретации. Ради многих сценариев A/B тест с единственной ясной проверкой дает гораздо более чистый а также ценный итог.
Сценарии А/Б тестирования внутри дизайне
На уровне дизайнах А/Б эксперимент регулярно применяется для оптимизации ясности сценариев. К примеру, можно проверить несколько вариации формы: расширенную с набором элементов ввода плюс краткую с минимальным сокращенным числом полей. Если краткая анкета усиливает количество оконченных оформлений профиля без потери ценности обращений, ее допустимо оценивать гораздо более результативной.
Следующий случай — тестирование текста CTA. Нейтральная надпись имеет шанс быть менее очевидной, по сравнению с точное описание результата. Дополнительно проверяют позицию элементов действия, порядок информационных разделов, подачу 1 win пояснений, использование прогресс-бара, формат отображения предупреждений плюс число этапов на протяжении сценарии. Любой подобный фактор воздействует по части степень того, насколько легко выполнить нужное действие.
А/Б тестирование внутри контенте
В материалах проверка позволяет определить, какие заголовки, описания, построения и форматы эффективнее привлекают внимание. Получается сопоставлять несколько первые абзацы, объем материала, порядок доводов, присутствие маркированных блоков, дизайн блоков, описание плюсов либо манеру раскрытия непростой информации. При этом существенно оценивать не исключительно нажатия, а также и последующее действие.
Заголовок способен повысить количество переходов, однако в случае если контент не сможет совпадает ожиданиям, увеличится часть уходов. Из-за этого редакционные эксперименты обязаны учитывать ценность контакта: время изучения, глубину страницы, клики внутри сайта, возвращения а также совершение нужных событий. Сильный эффект — является не лишь привлечение внимания, вместо этого согласование ожидания и содержания.
А/Б тестирование внутри email-кампаниях
На уровне email-рассылках часто тестируют темы рассылок, подпись отправителя, стартовые предложения, момент рассылки, размер email, позицию CTA-элементов а также описания условий. Один сегмент аудитории открывает одну формат письма, часть — вторую. Затем этого анализируются open rate, нажатия, unsubscribes, жалобы и последующие события внутри ресурсе.
Существенно не стоит останавливаться показателем open rate. Subject-строка email способна быть заметной и привлекать внимание, однако когда она не будет соответствует наполнению, нажатия плюс лояльность способны снизиться. Следовательно полезный тест рассылки оценивает полную цепочку: просмотр, клик, действия вслед за нажатия и отклик получателей касательно рассылку.
