Insights · IA que decide
Vale entregar a tabela inteira para uma IA gerar as análises?
A resposta curta é não, e o motivo não é a capacidade da IA. Uma tabela de vendas não tem "o número de outubro": tem vários, todos corretos. Se a sua empresa não escolher qual vale, a IA escolhe, e não avisa.
A mesma tabela, quatro números
O pedido chega parecido em muitos projetos de IA: "vamos ligar a IA na base e ela gera as análises do mês". Parece o uso mais natural da tecnologia. O problema aparece na primeira pergunta simples.
Uma loja tem 13 pedidos registrados entre setembro e novembro. A diretoria pergunta quanto a loja vendeu em outubro. Com a mesma tabela, a resposta pode ser:
- R$ 4.200, somando tudo o que foi pedido em outubro;
- R$ 3.600, somando o que foi entregue em outubro;
- R$ 2.800, pelo pedido, descontando o que foi devolvido;
- R$ 2.900, pela entrega, descontando o que foi devolvido.
E contra setembro? Por uma dessas contas, outubro subiu 71,43%. Por outra, caiu 3,45%. Os dados são inventados e a tabela é pequena de propósito, para qualquer pessoa conferir à mão. Nenhuma das quatro contas tem erro.
A diferença não vem da aritmética. Vem de duas escolhas que toda empresa faz sem perceber: o que conta como venda (o que saiu, ou o que saiu e não voltou) e em que data a venda conta (quando o cliente pediu, ou quando recebeu). Quem conhece o negócio faz essas escolhas de cabeça. A IA não conhece o seu negócio.
O que acontece quando a tabela inteira vai para a IA
Ela responde, e esse é o risco. A resposta vem em segundos, bem escrita, com um número e uma explicação. Para chegar ao número, a IA precisou escolher uma das definições, e a escolha não aparece no texto. Na reunião seguinte, com a pergunta escrita de outro jeito, a escolha pode ser outra.
O relatório que sobe para a diretoria passa a ter três problemas ao mesmo tempo: ninguém sabe qual definição foi usada, ninguém consegue refazer a conta, e o texto é convincente o bastante para ninguém perguntar. "Outubro cresceu 40%" e "outubro caiu 3,45%" saem da mesma tabela e levam a decisões opostas sobre estoque, meta e campanha.
Há ainda um motivo técnico. Pesquisadores mostraram que modelos de linguagem aproveitam pior a informação que está no meio de um texto longo do que a que está no começo ou no fim. Para a IA, uma tabela com milhares de linhas é um texto longo.
O que costuma dar errado
- Jogar a planilha no chat e pedir "insights". É o jeito mais rápido de obter um texto bom com um número sem dono.
- Aprovar o projeto sem perguntar quem calcula. A pergunta que o patrocinador precisa fazer antes de assinar é simples: quem calcula os números, e quem confere?
- Achar que a IA que executa código resolve. Ela soma certo. Mas soma o quê? Sem definição escrita, o programa que a IA escreve carrega um palpite, agora com cara de número exato.
- Deixar a definição na cabeça de uma pessoa. Enquanto "venda" quiser dizer uma coisa para o comercial e outra para o financeiro, e isso não estiver escrito, cada relatório vai usar uma.
- Comparar sem combinar o período. Contra o mês anterior ou contra o mesmo mês do ano passado? A IA também escolhe isso sozinha.
Como decidir, em quatro passos
- Escreva a definição de cada métrica que a IA vai usar: o que entra, o que sai e em que data conta. Uma frase por métrica.
- Combine o período de comparação: este mês contra qual.
- Calcule antes, fora da IA. A equipe de dados calcula as métricas em código que roda igual todo mês e pode ser testado. A IA recebe uma tabela pequena, com os números prontos e a definição de cada um.
- Dê nome a quem confere. Alguém assina os números antes de eles subirem, e confere se todo número do texto da IA está na tabela que ela recebeu.
Feito isso, a IA passa a fazer o que justifica o investimento: comparar, explicar e redigir em cima de números que alguém calculou e conferiu. O teste abaixo faz três perguntas e mostra o que falta na sua empresa para chegar lá.
Teste rápido
A sua tabela está pronta para a IA?
Responda sim ou não às três perguntas. Cada não mostra o que fazer antes de entregar a tabela à IA.
- As métricas que a IA vai usar têm definição escrita?Se a resposta for não: escreva a definição de cada métrica: o que entra, o que sai e em que data conta.
- Existe um período de comparação combinado (este mês contra qual)?Se a resposta for não: combine o período de comparação: contra o mês anterior ou contra o mesmo mês do ano passado.
- Alguém confere os números antes de eles subirem para a diretoria?Se a resposta for não: escolha quem confere os números antes de eles subirem.
Como ler o resultado
- Três sim: pronta. Dá para entregar a tabela de grandezas à IA.
- Sim na primeira e não em alguma das outras: quase. Resolva o que falta antes de entregar.
- Não na primeira: ainda não. Sem definição escrita, a IA vai inventar a definição, mesmo que o resto esteja em ordem.
Quick test
Is your table ready for AI?
Answer yes or no to the three questions. Each no shows what to do before handing the table to the AI.
- Do the metrics the AI will use have a written definition?If the answer is no: write down the definition of each metric: what goes in, what stays out and on which date it counts.
- Is there an agreed comparison period (this month against which one)?If the answer is no: agree on the comparison period: against the previous month or against the same month last year.
- Does someone check the numbers before they go up to management?If the answer is no: choose who checks the numbers before they go up.
How to read the result
- Three yeses: ready. You can hand the table of quantities to the AI.
- Yes to the first and no to either of the others: almost. Sort out what is missing before handing it over.
- No to the first: not yet. Without a written definition, the AI will make up the definition, even if everything else is in order.
Test rapido
La vostra tabella è pronta per l'IA?
Rispondete sì o no alle tre domande. Ogni no indica che cosa fare prima di consegnare la tabella all'IA.
- Le metriche che l'IA userà hanno una definizione scritta?Se la risposta è no: scrivete la definizione di ogni metrica: che cosa entra, che cosa resta fuori e in quale data conta.
- Esiste un periodo di confronto concordato (questo mese rispetto a quale)?Se la risposta è no: concordate il periodo di confronto: rispetto al mese precedente o allo stesso mese dell'anno scorso.
- Qualcuno verifica i numeri prima che arrivino alla direzione?Se la risposta è no: scegliete chi verifica i numeri prima che salgano.
Come leggere il risultato
- Tre sì: pronta. Potete consegnare all'IA la tabella delle grandezze.
- Sì alla prima e no a una delle altre: quasi. Sistemate quello che manca prima di consegnare.
- No alla prima: non ancora. Senza una definizione scritta, l'IA inventerà la definizione, anche se il resto è in ordine.
O teste dá a direção. Num diagnóstico curto, fazemos com os seus dados: listamos as métricas que a IA vai usar, escrevemos a definição de cada uma com quem conhece o negócio, mostramos onde a mesma pergunta dá números diferentes hoje e dizemos o que calcular antes de ligar a IA.
Como usar isto na sua empresa
A mesma ordem vale onde houver uma tabela e uma pergunta de negócio:
- Relatório mensal de vendas. Venda bruta ou líquida, pela data do pedido, da entrega ou da nota: escolha, escreva e calcule antes. A IA redige o comentário do mês.
- Indicadores de atendimento. O que conta como chamado resolvido: o que foi fechado, ou o que foi fechado e não reabriu? A definição vem antes do painel e antes da IA.
- Base de clientes. "Cliente ativo" comprou nos últimos 30 dias ou nos últimos 90? A resposta muda o tamanho da base e toda análise feita sobre ela.
- Financeiro. Receita no mês em que a venda foi feita ou no mês em que o dinheiro entrou. As duas visões existem com razão; o relatório precisa dizer qual está mostrando.
Em todos, a pergunta que decide é a mesma: este número tem uma definição escrita, e alguém confere?
- a mesma pergunta ("quanto vendemos?") já recebeu números diferentes de áreas diferentes;
- as definições das métricas estão na cabeça de quem faz o relatório, não num documento;
- o plano do projeto de IA diz "a IA analisa a base", sem dizer quem calcula;
- os relatórios comparam períodos sem dizer contra qual;
- ninguém confere os números de um texto gerado por IA antes de ele circular.
No Caderno de LaboratórioQuer a tabela dos 13 pedidos, a conta completa e o exercício para fazer com as próprias mãos?Primeiro as grandezas, depois a IA
Ler a versão técnica →