Примеры работ

В IT-компании среднего размера есть отдел разработки, но нет собственного отдела аналитики. Разработчики затратили около 3 месяцев на внедрение новой фичи, после релиза которой был замерен рост выручки на 10%. Этот рост целиком они считали эффектом от внедрения.

Простой анализ показал, что:

• Рост выручки случился не мгновенно после внедрения фичи, а постепенно в течение месяца (август-сентябрь)
• В выручке есть сезонность, она и раньше росла примерно на 8% с августа по сентябрь
• Статзначимого различия между ростом на 10% и на 8% в данном случае нет
• То есть весь эффект роста может объясняться только сезонностью (наступлением сентября)
• Отдел разработки проявил либо некомпетентность либо намерение ввести руководство в заблуждение, заявив весь наблюдаемый рост как свое достижение
• Для более точного замера эффекта рекомендуется провести обратный AB-эксперимент на 4 недели на выборке из 20% пользователей
• Анализ занял 4 часа, стоимость работ - 24000 рублей

В крупной IT-компании был запланирован долгий и дорогой проект по улучшению фичи Х. Обоснование проекта было не вполне ясным для руководства, было запрошено второе мнение.

Анализ показал следующее:

• Мотивацией для запуска проекта было предполагаемое отставание от конкурента по фиче Х
• Основой для выводов послужил опрос фокус-групп пользователей, которые пользовались сервисом заказчика и сервисом конкурента
• Дизайн опроса оказался невалидным - в нем было смещение в сторону пользователей, предпочитающих сервис конкурента
• Таким образом, из-за смещенного опроса наблюдаемое в нем отставание было ложным
• Оснований для запуска проекта не было, неоправданные затраты на него (десятки миллионов рублей) удалось предотвратить
• Были даны рекомендации по проведению повторного, несмещенного опроса
• Анализ занял 6 часов, стоимость работ - 48000 рублей

В крупной IT-компании еще 2 года назад была реализована сложная метрика качества, в которой предположительно были удалены вредные эффекты сезонности и трендов. Эта метрика показывала довольно стабильный рост в течение всего времени, даже в те периоды, когда крупных внедрений по ней не было. Это вызвало вопросы руководства и был проведен аудит метрики, который выявил важные детали:

• Метрика была устроена как разность профита между текушей (продовой) системой и базовой (контрольной)
• Обе системы представляли из себя сложные обучаемые формулы
• Продовая система регулярно переобучалась, а контрольная была заморожена
• Поскольку факторы обучения постепенно менялись, а контрольная формула не переобучалась, она постепенно деградировала и профит от нее плавно снижался
• Таким образом, даже без улучшений продовой формулы метрика продолжала расти, показывая по сути ложную информацию
• Рекомендовано отказаться от использования данной метрики на длинных горизонтах (хотя ее можно использовать для приемки внедрений на коротких периодах порядка нескольких недель)
• Отказ от неверной метрики вернул в нормальное русло работу отдела разработчиков (более 150 человек), который по сути 2 года двигался в неверном направлении
• Анализ занял 24 часа, стоимость работ - 192000 рублей

В IT-компании среднего размера сменилась большая часть службы аналитики. За несколько месяцев работы было замечено несколько эпизодов ошибочных результатов, чего почти не случалось раньше. Руководитель службы объяснял проблему ошибками линейных аналитиков.

Анализ задач показал:

• Линейные аналитики действительно были уровня джунов и мидлов, но не совершали серьезных ошибок на своем уровне работы
• 80% ошибок объяснялись мискоммуникациями в технических постановках задач, за которые были ответственны 2 тимлида аналитиков
• Тимлиды были наняты в обход стандартных процессов найма, без технических секций. Их квалификация в плане хард-скиллов не была протестирована и оказалась низкой.
• Руководитель службы нарушил рекомендации по процессу найма, чтобы быстрее восстановить численность службы
• Было рекомендовано уволить обоих тимлидов и рассмотреть на их позиции мидл-аналитиков, которые хорошо справлялись с задачами, освоили предметную область и активно пытались скорректировать явно неверные формулировки задач
• Руководителю службы рекомендовано соблюдать процессы найма с обязательным прохождением технических секций
• Анализ занял 30 часов, стоимость работ - 210000 рублей