Quale soglia usare in un modello di propensione?

La domanda a cui il modello non risponde

Un modello di propensione ordina i clienti in base alla probabilità di acquisto, di abbandono o di pagamento. Non dice chi chiamare domani. Questa decisione dipende da tre numeri che nel modello non ci sono: quanto costa un contatto, quanto vale una conversione e quanti contatti il team riesce a gestire.

Cosa va storto di solito

• Si tiene la soglia predefinita. Quasi tutte le librerie usano 0,5. Questo valore è corretto solo quando una vendita vale esattamente il doppio del costo di un contatto.
• La soglia viene scelta con una metrica tecnica. F1, indice di Youden, «il punto più vicino all'angolo della curva ROC»: nessuno di questi criteri usa quanto costa ogni errore alla vostra azienda.
• Lo score non è una probabilità. I modelli addestrati su dati ribilanciati o con pesi di classe, e alcuni algoritmi (nello studio classico, il boosting di tipo AdaBoost e le SVM), tendono a ordinare bene i clienti, ma a restituire probabilità distorte. La regola di costo applicata a uno score non calibrato colloca la soglia nel punto sbagliato, anche se l'AUC resta invariata.
• La soglia resta congelata. Il tasso di acquisto cala con la stagionalità, il margine cambia, il costo del team cambia, e la soglia è ancora quella del giorno della messa in produzione.
• La soglia non è di nessuno. Il team dati consegna il modello, l'area commerciale usa la lista, e il numero che collega le due cose non ha un responsabile.

Come decidere, in quattro passi

1. Dare un prezzo all'errore. Costo di un contatto (C) e margine di una conversione (V): quello che la vendita lascia dopo costi e sconti, non il prezzo. Se c'è più di un tipo di errore costoso, metterli tutti per iscritto.
2. Verificare che lo score sia una probabilità. Tracciare la curva di calibrazione su un insieme di validazione separato (holdout) e, se serve, calibrare lo score. Senza questo passaggio, qualsiasi regola basata sul valore atteso sbaglia.
3. Calcolare la soglia in base al valore atteso, tenendo conto della capacità. Con uno score calibrato, e supponendo che chi non viene contattato non comprerebbe di sua iniziativa, la soglia ottimale è C/V: conviene contattare chi ha una probabilità superiore al costo diviso per il valore. Se molti comprerebbero comunque, la domanda diventa chi compra grazie al contatto, e questo è un problema di uplift. Se il team non riesce a contattare tutti quelli sopra la soglia, la lista si ferma al limite di capacità e a contare è la precisione nelle prime posizioni.
4. Rivedere la soglia, non solo il modello. Ricalcolare la soglia quando cambiano costo o margine, e ricalibrare lo score quando cambia il tasso di base. E mantenere due piccoli gruppi estratti a caso: alcuni clienti sotto la soglia da contattare comunque, per sapere che cosa la soglia sta lasciando fuori, e un gruppo di controllo sopra la soglia da non contattare, per misurare l'effetto reale dell'azione.

Riferimenti

• Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.
• scikit-learn: Tuning the decision threshold for class prediction.
• Niculescu-Mizil, A. & Caruana, R. (2005). Predicting Good Probabilities With Supervised Learning. ICML.
• Gutierrez, P. & Gérardy, J.-Y. (2017). Causal Inference and Uplift Modelling: A Review of the Literature. PMLR 67.