Qual nota de corte usar num modelo de propensão?

A pergunta que o modelo não responde

Um modelo de propensão ordena clientes pela chance de comprar, cancelar ou pagar. Ele não diz para quem ligar amanhã. Essa decisão depende de três números que não estão no modelo: quanto custa um contato, quanto vale um acerto e quantos contatos o time consegue fazer.

O que costuma dar errado

• O corte padrão fica no lugar. Quase toda biblioteca decide em 0,5. Esse valor só é o certo quando uma venda vale exatamente o dobro do contato.
• O corte é escolhido por uma métrica técnica. F1, índice de Youden, "o ponto mais perto do canto da curva ROC": nenhum deles usa quanto custa cada erro para o seu negócio.
• O score não é uma probabilidade. Bases rebalanceadas no treino, pesos de classe e alguns algoritmos (no estudo clássico, boosting do tipo AdaBoost e SVMs) costumam ordenar bem e errar a escala. A regra de custo aplicada a um score descalibrado erra o lugar do corte, mesmo com a AUC intacta.
• O corte fica congelado. A taxa de compra cai com a sazonalidade, a margem muda, o custo da equipe muda, e o corte continua o do dia do deploy.
• Ninguém é dono do corte. O time de dados entrega o modelo, o comercial usa a lista, e o número que liga os dois não tem responsável.

Como decidir, em quatro passos

1. Coloque preço no erro. Custo de um contato (C) e margem de um acerto (V): o que a venda deixa depois de custos e descontos, não o preço. Se houver mais de um tipo de erro caro, escreva todos.
2. Garanta que o score é uma probabilidade. Trace a curva de calibração num conjunto separado (holdout) e calibre se for preciso. Sem isso, qualquer regra de valor esperado erra.
3. Calcule o corte pelo valor esperado e respeite a capacidade. Com o score calibrado, e supondo que quem não recebe contato não compraria sozinho, o corte ótimo é C/V: vale contatar quem tem chance maior do que o custo dividido pelo valor. Se muita gente compraria de qualquer jeito, a pergunta passa a ser quem compra por causa do contato, e isso é um problema de uplift. Se o time não dá conta de todos acima da linha, a lista para na capacidade, e o que decide é a precisão no topo.
4. Revise o corte, não só o modelo. Recalcule o corte quando custo ou margem mudarem, e recalibre o score quando a taxa base mudar. E mantenha dois pequenos grupos sorteados: alguns clientes abaixo do corte que recebem contato mesmo assim, para saber o que o corte está deixando de fora, e um grupo de controle acima do corte que não recebe, para medir o efeito real da ação.

Referências

• Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.
• scikit-learn: Tuning the decision threshold for class prediction.
• Niculescu-Mizil, A. & Caruana, R. (2005). Predicting Good Probabilities With Supervised Learning. ICML.
• Gutierrez, P. & Gérardy, J.-Y. (2017). Causal Inference and Uplift Modelling: A Review of the Literature. PMLR 67.