Разработка системы A/B-тестов

«Автоспот» работает уже около десяти лет. У компании есть два основных направления: сервис сравнения цен на новые автомобили и агрегатор услуг по техническому обслуживанию и ремонту автомобиля.

Мы разработали для Автоспота собственную систему тестирования нововведений.

Зачем разрабатывать собственную систему А/Б-тестов

Любой развивающийся продукт постоянно меняется: появляются новые функции, изменяется внешний вид старых. Чтобы учитывать потребности клиентов и понимать, как именно люди пользуются продуктом, все изменения на сайте мы предварительно тестируем.

Чтобы проводить А/Б-тесты не обязательно разрабатывать собственную систему, для этого есть готовые решения. Но обычно они подходят для сравнения элементов дизайна или простой функциональности, а нам необходимо было тестировать сложные механики и функции: карту, многоэтапные воронки, нестандартную логику модальных окон. Поэтому полтора года назад мы разработали свою систему тестирования.

Какие гипотезы мы проверяем

Когда мы вносим изменения на сайт, мы предполагаем, что они сделают продукт более удобным. Но это гипотеза, и чтобы её проверить, нужно получить конкретные цифры и сравнить их. Для этого проводят А/Б-тесты.

Вот как мы тестировали интерфейс карты записи на техобслуживание. Изначально метки дилерских центров — пины — наслаивались друг на друга при изменении масштаба карты. Пользователю было трудно сориентироваться и понять, где какое предложение. Тогда мы решили объединить пины в кластеры, чтобы пользоваться картой стало удобнее. Это изменение решило бы ещё одну задачу: карта должна была стать легче, а время отклика — быстрее.

Во время тестирования половина пользователей видела на сайте старую версию карты, половина — новую. За две недели мы собрали статистику по 60 000 посетителей сайта. Полученные данные подтвердили, что новая карта действительно стала удобнее для клиентов Автоспота, и клиент принял решение внедрить её.

Возможности системы тестирования

В более сложных экспериментах разная функциональность перекликается между собой, а общее количество вариантов, которые мы проверяем в рамках одного теста, может доходить до 12. Система позволяет нам фиксировать целевые действия, например, заходы в определенные разделы и подачу заявок на техническое обслуживание или ремонт автомобиля. На основании полученных данных мы анализируем новую функциональность и делаем выводы, какая из версий более востребована посетителями сайта.

Сотрудники Автоспота также получают данные тестов. В админке есть специальный раздел, где выводится подробная статистика по каждому из тестов, а данные можно выгрузить в формате CSV.