Quanto do atendimento dá para entregar a um agente de IA?

Três caminhos, não dois

Quase toda discussão sobre agentes de IA no atendimento começa como uma escolha binária: a IA responde ou não responde. Na prática há três caminhos para cada mensagem que chega. A IA responde sozinha. A IA escreve um rascunho e alguém da equipe revisa antes de enviar. Ou a mensagem vai direto para uma pessoa, sem rascunho.

Cada caminho tem um custo. A resposta sozinha não custa tempo de ninguém, mas quando erra o erro chega ao cliente. A revisão custa alguns minutos por mensagem e deveria pegar o erro antes de ele sair. O atendimento humano custa mais minutos, e é o que sobra quando o rascunho da IA não ajuda.

A decisão certa depende de quanto custa errar naquela pergunta. Errar o horário de uma visita custa um contato a mais. Errar o valor de um aluguel ou uma cláusula de contrato custa um cliente, ou um problema jurídico.

Quase todo o ganho vem do passo mais simples: separar por tipo. Nesse desenho, a IA responde sozinha todas as perguntas de horário e rascunha as demais para revisão. Ainda chegam erros ao cliente, cerca de 1.050 por mês, todos em perguntas de horário, onde cada erro custa um contato repetido. O objetivo não é zerar o erro. É colocar o erro onde ele é barato. E refinar resposta a resposta só compensa com uma confiança bem medida: com a confiança que a IA declara, o refinamento sai mais caro do que não refinar.

O que costuma dar errado

• Tratar a automação como projeto de tudo ou nada. O piloto mede o acerto médio da IA, digamos 80%, e a empresa decide se "80% basta". Não basta nem falta: 80% é ótimo para horário de visita e inaceitável para cláusula de contrato.
• Confiar na confiança que a IA declara. Modelos de linguagem, quando dizem o quanto têm certeza, tendem a superestimar. A confiança que vale é a medida pela empresa, num conjunto de perguntas reais com a resposta certa conhecida, separada por tipo de pergunta.
• Revisar tudo "por segurança". Parece prudente, mas gasta a equipe em mensagens que a IA acertaria sozinha, e cansa o revisor. Revisor cansado aprova sem ler, e aí a revisão custa o tempo e não pega o erro.
• Esquecer que o acerto muda. Muda o estoque, a política de preços, o modelo de IA do fornecedor. O corte calculado no piloto deixa de valer, e ninguém percebe até o erro aparecer no cliente.
• Ninguém ser dono do corte. O fornecedor entrega o agente, o atendimento usa, e a regra de quem responde o quê fica escondida numa configuração.

Como decidir, em cinco passos

1. Separe as perguntas por tipo e coloque preço no erro de cada tipo: o que acontece quando a resposta errada chega ao cliente (contato repetido, visita perdida, lead perdido, risco jurídico).
2. Coloque preço no tempo da equipe: quanto custa revisar um rascunho e quanto custa responder do zero.
3. Meça o acerto da IA por tipo e por faixa de confiança, em perguntas reais já respondidas. Algumas centenas por tipo bastam para começar; para liberar respostas automáticas onde o erro é caro, são precisas milhares, porque a margem de erro aceitável é pequena. É esse acerto medido, e não o número que a IA diz, que entra na conta.
4. Defina dois cortes por tipo: acima do corte de cima, a IA responde sozinha; entre os dois, a IA rascunha e alguém revisa; abaixo do corte de baixo, vai direto para uma pessoa. A calculadora abaixo faz a conta para os quatro tipos do exemplo, e você pode trocar os números.
5. Audite todo mês: uma amostra das respostas automáticas revisada depois do envio, para saber se o acerto continua onde estava, e uma amostra das revisões, para saber se o revisor ainda pega os erros.

Como usar isto na sua empresa

A mesma conta vale para qualquer fluxo em que uma IA produz uma resposta e alguém pode conferir antes. Quatro exemplos de como o corte se desenha:

• SAC de e-commerce. "Onde está o meu pedido?" a IA responde sozinha, a partir do rastreio. Troca e devolução dentro da política, rascunho com revisão. Reclamação que menciona Procon, processo ou imprensa vai direto para uma pessoa.
• Leitura de notas fiscais e documentos. Campos lidos com alta confiança entram direto no sistema. Campos de valor ou de imposto com confiança intermediária vão para conferência. Documento ilegível ou fora do padrão vai para digitação manual.
• Reembolso de despesas. Valor baixo e dentro da política, a IA aprova. Valor alto ou categoria rara, a IA prepara a análise e um gestor aprova. Indício de fraude vai para auditoria.
• Atendimento comercial (o caso que inspirou este texto). Num assistente de locação, a IA qualificava o interessado (ocupação, faixa de preço, número de quartos) a partir do estoque real e passava ao corretor só os leads compatíveis. O desenho que funcionou foi "a IA qualifica, a pessoa fecha".

Em todos, a pergunta que decide é a mesma: quanto custa este erro se ele chegar ao cliente, comparado com quanto custa alguém olhar antes.

Referências

• Chow, C. K. (1970). On Optimum Recognition Error and Reject Tradeoff. IEEE Transactions on Information Theory, 16(1), 41–46.
• Geifman, Y. & El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NIPS 2017.
• Xiong, M. et al. (2024). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. ICLR 2024.
• Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.