Однако всегда остается место и для мультивариантных тестов (MVT), которые могут существенно увеличить ваши показатели и добавить ценности продукту. Но перед тем, как вдаваться в нюансы, кратко рассмотрим различия между подходами. Настоятельно Вам рекомендуем выбрать и установить любой из современных браузеров. В сплит-тесте с двумя вариациями можно достичь статистической значимости за срок в две недели. Однако в тесте с шестью вариациями, возможно, придется работать в течение четырех недель, чтобы достичь той же статистической значимости. Предположим, вы решили протестировать заголовок и придумали еще несколько вариантов, чтобы точно убедиться, что существующий на данный момент — лучший.
С одной стороны, сплит-тесты по умолчанию подходят практически всем маркетологов, и они значительно более распространены при оптимизации конверсии. Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет. При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.
Многовариантные тесты занимают много времени и/или требуют много трафика
Есть много способов создать данные и передать их с помощью определенного запроса в теле запроса. Можно создать HashMap и использовать его для создания тела запроса. Другой вариант — создать подходящий JSON-парсер и отправить данные в формате JSON. A/B-тестирование страниц на сайте остается самым популярным способом повысить конверсию ресурса и наконец, сделать сайт привлекательным для пользователей. И нет никаких причин отказывать себе в этом удовольствии — огромное количество существующих инструментов помогут даже самому начинающему специалисту без труда провести эксперимент.
Алгоритм создания цели (страницы, на которую попадет пользователь после целевого действия) точно такой же, как в А/B-тестировании. После этого в правом верхнем углу появляется строка Variation 1. Вы можете оставить название или переименовать для удобства, например, в Вариант 1. Кликаем на нужный элемент (в данном случае заголовок), жмем Edit HTML и меняем его на альтернативный.
Оперативность, гибкость, возможность импровизации и другие плюсы
Нельзя проверить только код состояния и на 100% быть уверенным в том, что все работает корректно. Необходимо убедиться в том, что все данные параметров используют правильный строковый или числовой тип данных и проходят по другим критериям проверки. Нет ничего хуже, чем просматривать плохо написанные логи или вообще их отсутствие. Чтобы облегчить жизнь и сэкономить себе время, раздумывая Мультивариантное тестирование об ошибках в коде и тестах, попробуйте описать каждый выполняемый шаг. Если вы предпочитаете делать простые текстовые отчеты после каждого выполнения тестов, я рекомендую добавить логгер Apache Log4j в код. Если же вы любите наглядные отчеты о тестах с разными графиками, иллюстрирующими прохождения и падения тестов, я предлагаю обратить внимание на библиотеку Extend Report.
Хотя, тестирование API с помощью REST Assured обладает множеством как преимуществ, так и недостатков. Попробуйте сделать то же самое со своим тестом — сгруппируйте их по категориям и держите каждую функциональную категорию в отдельном классе тестов. Вам может показаться хорошим решением держать тест-кейсы в одном месте. Однако, можно столкнуться с такой проблемой, когда есть огромный список тестовых сценариев, которые надо покрыть, и вам нужно найти один конкретный тест в одном классе. AssertJ включает множество полезных методов, проверяющих необходимые данные в удобном виде.
Тестирование и оптимизация времени отправки
Другой момент, вызывающий беспокойство при мультивариантном тестировании — объем трафика. Таким образом, сплит-тесты используют силу больших изменений, а не тонких, едва уловимых корректив, наподобие настройки оттенков цвета или формулирования заголовков, как это часто бывает в MVT. Большинство маркетологов обычно начинают работу с А/В-тестов, потому что с ними возможны быстрые и значительные успехи. Сплит-тесты обычно содержат меньше вариаций, чем MVT, но с более радикальными изменениями. В то время как мультивариантные кампании запускаются на внушительное число версий, но с небольшими различиями.
Знай мы совершенно верно, что добавление знаков безопасности было самым значимым для пользователей, то имели возможность улучшить показатели конверсии, разместив их и на вторых страницах. Сейчас представьте многовариантный тест с десятками вариаций. Чтобы избежать все возрастающей погрешности, приходится «загонять» больше трафика, дабы обеспечивать, что полученные результаты не сгенерированы случайным образом, а вправду имеют сокровище.
Оптимизация конверсии
В то время, когда вы приобретаете какую-то данные через опыт, то с уверенностью имеете возможность применить эту концепцию к вторым страницам сайта либо ресурсам. Если бы мы знали, что политика возврата есть одним из главных факторов, повлиявших на решение визитёров, то добавили бы данный элемент везде, кроме того в рекламные сообщения. Но это только догадка, правдоподобность которой мы так и не узнаем. Не следует разглядывать тестирование только как источник дополнительных доходов. Любой тест способен дать вам полезную данные для понимания ваших визитёров.
- QA-отдел помогает сократить время, необходимое для разработки новых тест-кейсов.
- Мультивариантное тестирование сайта представляет собой более сложную версию сплит-теста.
- Например, при разработке макета вы задумались, кнопка призыва к действию какого цвета в этой рассылке принесет больше кликов – красная или синяя.
- Не стоит, однако, забывать о том, что последний способ становится абсолютно бессмысленным с точки зрения статистики при отсутствии большого трафика.
Оно отличается от А/B-тестов, каковые предполагают анализ и одновременную проверку только одного элемента. Вместо проверки версии А и версии В одного элемента, при мультивариантном тестировании вы имеете возможность протестировать неограниченное количество переменных, к примеру, версии А, B, С, D И Е сходу. Многовариантное тестирование — метод для проверки гипотез, в котором изменяются несколько переменных. Оно отличается от А/B-тестов, которые предполагают одновременную проверку и анализ лишь одного элемента. Вместо проверки версии А и версии В одного элемента, при мультивариантном тестировании вы можете протестировать неограниченное количество переменных, например, версии А, B, С, D И Е сразу. Главное преимущество мультивариантного тестирования перед сплит-тестом — возможность увидеть, как работают разные сочетания элементов на странице.
Опасности мультвариантного тестирования
Удивительно, но большинство продакт-менеджеров боготворит этот способ проверки гипотезы. Действительно — как ещё выяснить, что клиенту нужно, как не говорить, говорить, и ещё раз говорить с ним? Говорить можно просто так, можно выстраивать схемы от проблем, можно от решений, от CJM т.д. В итоге, наслушавшись много чего, получаем кучу «Фактуры», на основе которой принимаются продуктовые решения. В процессе тестирования гипотез нам необходимо пройти следующие этапы. Любой элемент вашего лендинга или другого маркетингового актива улучшить, а тестирование гипотез — это лишь научный способ это сделать.
Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.
