Quanta parte del servizio clienti si può affidare a un agente di IA?

Tre strade, non due

Quasi ogni discussione sugli agenti di IA nel servizio clienti parte come una scelta binaria: l'IA risponde oppure no. In pratica, per ogni messaggio in arrivo le strade sono tre. L'IA risponde da sola. L'IA scrive una bozza e qualcuno del team la rivede prima dell'invio. Oppure il messaggio va direttamente a una persona, senza bozza.

Ogni strada ha un costo. La risposta automatica non occupa il tempo di nessuno, ma quando sbaglia l'errore arriva al cliente. La revisione costa qualche minuto a messaggio e dovrebbe fermare l'errore prima che esca. La risposta di una persona costa più minuti, ed è quello che resta quando la bozza dell'IA non aiuta.

La decisione giusta dipende da quanto costa sbagliare in quella domanda. Sbagliare l'orario di una visita costa un contatto in più. Sbagliare l'importo di un affitto o una clausola del contratto costa un cliente, o un problema legale.

Quasi tutto il guadagno viene dal passo più semplice: separare per tipo. In questo schema l'IA risponde da sola a tutte le domande sugli orari e prepara bozze da rivedere per le altre. Al cliente arrivano ancora errori, circa 1.050 al mese, tutti su domande di orario, dove ogni errore costa un contatto ripetuto. L'obiettivo non è azzerare gli errori. È metterli dove costano poco. E affinare risposta per risposta conviene solo con una confidenza ben misurata: con quella dichiarata dall'IA, affinare costa più che non farlo.

Cosa va storto di solito

• Trattare l'automazione come un tutto o niente. Il pilota misura l'accuratezza media dell'IA, diciamo l'80%, e l'azienda decide se "l'80% basta". Non basta e non manca: l'80% è ottimo per gli orari delle visite e inaccettabile per le clausole del contratto.
• Fidarsi della confidenza dichiarata dall'IA. Quando devono dire a parole quanto sono sicuri, i modelli linguistici tendono a sopravvalutarsi. La confidenza che conta è quella misurata dall'azienda, su un insieme di domande reali con la risposta giusta nota, separata per tipo di domanda.
• Rivedere tutto "per sicurezza". Sembra prudente, ma impiega il team su messaggi che l'IA azzeccherebbe da sola, e stanca chi rivede. Un revisore stanco approva senza leggere: la revisione costa il tempo e non ferma l'errore.
• Dimenticare che l'accuratezza cambia. Cambia il portafoglio di immobili, cambia la politica dei prezzi, cambia il modello di IA del fornitore. La soglia calcolata nel pilota non vale più, e nessuno se ne accorge finché l'errore non arriva al cliente.
• Nessuno è responsabile della soglia. Il fornitore consegna l'agente, il servizio clienti lo usa, e la regola su chi risponde a cosa resta nascosta in una configurazione.

Come decidere, in cinque passi

1. Separate le domande per tipo e date un prezzo all'errore di ciascun tipo: cosa succede quando la risposta sbagliata arriva al cliente (contatto ripetuto, visita persa, contatto commerciale perso, rischio legale).
2. Date un prezzo al tempo del team: quanto costa rivedere una bozza e quanto costa rispondere da zero.
3. Misurate l'accuratezza dell'IA per tipo e per fascia di confidenza, su domande reali a cui è già stata data risposta. Qualche centinaio per tipo basta per cominciare; per far rispondere l'IA da sola dove l'errore costa caro ne servono migliaia, perché il margine di errore accettabile è piccolo. È questa accuratezza misurata, non il numero dichiarato dall'IA, che entra nel calcolo.
4. Fissate due soglie per tipo: sopra la soglia alta, l'IA risponde da sola; tra le due, l'IA scrive la bozza e qualcuno la rivede; sotto la soglia bassa, la domanda va direttamente a una persona. Il calcolatore qui sotto fa il conto per i quattro tipi dell'esempio, e potete cambiare i numeri.
5. Fate un controllo ogni mese: un campione di risposte automatiche rivisto dopo l'invio, per verificare che l'accuratezza sia ancora quella, e un campione di revisioni, per verificare che i revisori fermino ancora gli errori.

Come applicarlo nella vostra azienda

Lo stesso calcolo vale per qualsiasi flusso in cui un'IA produce un risultato e qualcuno può controllarlo prima. Quattro esempi di come si disegna la soglia:

• Servizio clienti di un e-commerce. "Dov'è il mio ordine?" l'IA risponde da sola, a partire dal tracciamento. Cambi e resi nei termini della policy: bozza con revisione. Reclami che citano associazioni dei consumatori, cause legali o stampa vanno direttamente a una persona.
• Lettura di fatture e documenti. I campi letti con alta confidenza entrano direttamente nel sistema. Importi o campi fiscali con confidenza intermedia vanno al controllo. Documenti illeggibili o fuori standard vanno all'inserimento manuale.
• Rimborsi spese. Importi bassi e nei termini della policy, l'IA approva. Importi alti o categorie insolite, l'IA prepara l'analisi e un responsabile approva. Indizi di frode vanno all'audit.
• Richieste commerciali (il caso che ha ispirato questo testo). In un assistente per le locazioni, l'IA qualificava l'interessato (numero di occupanti, fascia di prezzo, numero di camere) sul portafoglio reale di immobili e passava all'agente solo i contatti compatibili. Lo schema che ha funzionato è stato "l'IA qualifica, la persona chiude".

In tutti i casi, la domanda decisiva è la stessa: quanto costa questo errore se arriva al cliente, rispetto a quanto costa far guardare qualcuno prima.

Riferimenti

• Chow, C. K. (1970). On Optimum Recognition Error and Reject Tradeoff. IEEE Transactions on Information Theory, 16(1), 41–46.
• Geifman, Y. & El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NIPS 2017.
• Xiong, M. et al. (2024). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. ICLR 2024.
• Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.