Недостатки дробного факторного эксперимента

10.01.2021

Малый размер теста. Пространства поиска очень невелики и не позволяют проводить тесты со многими сотнями и тысячами наборов параметров, которые нужны для оптимизации целевых страниц.

Отсутствует учет взаимного влияния переменных. Главная задача тестирования целевых страниц — это выявление важных взаимодействий переменных. Но, как отмечалось выше, все методы дробного факторного эксперимента имеют разрешение III и могут выявлять только главные эффекты. Порой это значительно искажает результаты и приводит к принятию неверных (и дорого обходящихся) решений.

Не можете ни минуты прожить без азарта? Тогда вам нужно скачать вулкан 24 игровые автоматы. Это позволит наслаждаться любимыми слотами в любое удобное время.

Высокая чувствительность к «полосам» данных. Схемы дробных факторных экспериментов очень чувствительны к появлению «полос» данных (аналогом чего может служить, например, выпадение нескольких решек подряд), особенно при малом количестве измерений. Давайте представим, что вы тестируете целевую страницу, доля конверсии на которой равна примерно 1%. Первая сотня посетителей с почти равной вероятностью может выполнить ноль или два действия конверсии. При этом выводы, которые вы получите, будут отличаться друг от друга, как небо и земля. В первом случае вы решите, что вероятность конверсии на данной целевой странице равна нулю (то есть что на ней действия конверсии не будут выполняться никогда). Во втором случае вы решите, что доля конверсии повысилась сразу в два раза.

Необходимость строить догадки о важных взаимодействиях. Все методы дробного факторного эксперимента требуют, чтобы вы в явном виде заранее определили, какие типы главных эффектов и взаимного влияния переменных возможны в вашей модели. Эти предположения должны быть сделаны заранее, до проведения эксперимента, чтобы упростить модель и добиться экономии количества измерений.