Качество модели
Под витриной — воспроизводимый ML-пайплайн. GroupKFold(5) по client_id + time-based holdout.
Метрики рассчитаны на синтетических данных — иллюстративны.
ML против правила (baseline)
отток · GroupKFold по клиенту| Метрика | ML (CatBoost) | Правило | Лучше |
|---|---|---|---|
| PR-AUC | 0.327 | 0.289 | ▲ ML |
| ROC-AUC | 0.645 | 0.586 | ▲ ML |
| Lift @ топ-10% | 1.62× | 1.54× | ▲ ML |
| Recall @ топ-20% | 31% | 28% | ▲ ML |
416
клиентов
6 578
срезов (multi-slicing)
22%
базовый отток
Важность признаков
вклад в прогноз оттокаПроверка на будущем периоде
time-based holdoutОбучение на ранних срезах, тест на последних 30% (имитация продакшена):
0.394
PR-AUC
0.623
ROC-AUC
1.37×
Lift @ 10%
Распределение скоринга оттока
Аналитика модели
Gains / lift-кривая
охват оттока по топ-N% рискаОбзвонив топ-20% по риску, ловим 31% всех ушедших (случайно — 20%).
Калибровка
прогноз vs фактЧем ближе точки к диагонали, тем точнее вероятности.
Выбор порога
precision / recall от порогаПорог отсечки балансирует точность и охват.