Презентация Прогнозирование оттока клиентов онлайн

Содержание слайда: Прогнозирование оттока клиентов Губжоков Алим Лиуанович

Содержание слайда: Содержание Цели и задачи проекта Методика измерения качества и критерий успеха Техническое описание решения Выводы о качестве модели, ожидаемый экономический эффект от использования модели Подведение итогов

Содержание слайда: Цели и задачи проекта Отток пользователей - одна из наиболее актуальных задач в областях, где распространение услуги составляет порядка 100%. Ярким примером такой области является сфера телекома. В связи с чем, важным является удержание клиентов, а не привлечение новых. Решаемая задача - бинарной классификации: отток и не отток. Разработанная модель прогнозирования позволит находить клиентов, склонных к оттоку по их поведению и для проведения последующих мероприятий(обзвон клиентов и предложение более выгодного тарифного плана или скидка на текущий тарифный план), связанных с удержанием клиентов.

Содержание слайда: Методика измерения качества и критерий успеха Из-за несбалансированности классов имеет смысл использовать метрику ROC-AUC. Метрики такие как PR-AUC, accuracy, precision, recall смысла использовать нет, так как эти метрики очень чувствительны к несбалансированности классов. Процесс тестирования модели лучше проводить на новых данных, возможно AB-тестирование. Тестировать модель лучше всего рассматривая экономический эффект, так как экономический эффект от внедрения модели будет показывать реальный результат работы, так же это позволит получить детальную информацию о цене ошибок первого и второго рода. Критерием успешности можно считать увеличение площади ROC-кривой на 15-20% и увеличение экономического эффекта после AB-тестирования.

Содержание слайда: Техническое описание решения ЭКСПЕРИМЕНТАЛЬНО ИСПОЛЬЗОВАННЫЕ СТРАТЕГИИ

Содержание слайда: Техническое описание решения

Содержание слайда: Выводы о качестве модели Ожидаемый экономический эффект от использования модели МЕТРИКА: ИТОГОВАЯ ОЦЕНКА: КРОССВАЛИДАЦИЯ НА ОБУЧЕНИИ: AUC SCORE(НА ОТЛОЖЕННОЙ ВЫБОРКЕ): ТОП-6 ПРИЗНАКОВ С НАИБОЛЬШИМ ВКЛАДОМ В МОДЕЛЬ:

Содержание слайда: Подведение итогов РАЗМЕР ОПТИМАЛЬНОГО ТОПА ПРИ КОТОРОМ ЭКОНОМИЧЕСКИЙ ЭФФЕКТ МАКСИМАЛЬНЫЙ 10-12% ОБУЧЕННАЯ МОДЕЛЬ ПОЛОЖИТЕЛЬНЫЙ ИМЕЕТ ЭКОНОМИЧЕСКИЙ ЭФФЕКТ – ПРИБЫЛЬ ~ 4000Р ПО СРАВНЕНИЮ С ГРУППОЙ КЛИЕНТОВ, НАД КОТОРЫМИ КАМПАНИЯ НЕ ПРОВОДИЛАСЬ. МИНИМАЛЬНУЮ ПРИБЫЛЬ ПОКАЗЫВАЕТ ГРУППА, НАД КОТОРОЙ ПРОВОДИЛАСЬ ПОЛНАЯ КАМПАНИЯ ПО УДЕРЖАНИЮ.