Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль.

← Вернуться к статьям

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль.

17 января в 18:28

habr.comнаука

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль.

17 января в 18:28•

habr.com•наука

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль. Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам. В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затрон...

Теги:

diff_in_diff

AB_тест

релиз