Insights · IA che decide
Conviene dare l'intera tabella a un'IA per generare le analisi?
La risposta breve è no, e il motivo non è la capacità dell'IA. Una tabella di vendite non contiene "il numero di ottobre": ne contiene diversi, tutti corretti. Se la vostra azienda non sceglie quale vale, lo sceglie l'IA, e non avvisa.
La stessa tabella, quattro numeri
La richiesta arriva simile in molti progetti di IA: "colleghiamo l'IA al database e lei genera le analisi del mese". Sembra l'uso più naturale della tecnologia. Il problema compare alla prima domanda semplice.
Un negozio ha 13 ordini registrati tra settembre e novembre. La direzione chiede quanto ha venduto il negozio a ottobre. Con la stessa tabella, la risposta può essere:
- 4.200 €, sommando tutto quello che è stato ordinato a ottobre;
- 3.600 €, sommando quello che è stato consegnato a ottobre;
- 2.800 €, per ordine, togliendo ciò che è stato reso;
- 2.900 €, per consegna, togliendo ciò che è stato reso.
E rispetto a settembre? Secondo uno di questi conti, ottobre è salito del 71,43%. Secondo un altro, è sceso del 3,45%. I dati sono inventati e la tabella è piccola apposta, perché chiunque possa verificarla a mano. Nessuno dei quattro conti contiene un errore.
La differenza non viene dall'aritmetica. Viene da due scelte che ogni azienda fa senza accorgersene: che cosa conta come vendita (quello che è uscito, oppure quello che è uscito e non è tornato) e in quale data conta la vendita (quando il cliente ha ordinato, oppure quando ha ricevuto). Chi conosce il business fa queste scelte a mente. L'IA non conosce il vostro business.
Che cosa succede quando l'intera tabella va all'IA
Risponde, ed è questo il rischio. La risposta arriva in pochi secondi, ben scritta, con un numero e una spiegazione. Per arrivare al numero, l'IA ha dovuto scegliere una delle definizioni, e la scelta non compare nel testo. Alla riunione successiva, con la domanda scritta in un altro modo, la scelta può essere un'altra.
Il rapporto che arriva alla direzione ha così tre problemi insieme: nessuno sa quale definizione è stata usata, nessuno riesce a rifare il conto, e il testo è abbastanza convincente perché nessuno chieda. "Ottobre è cresciuto del 40%" e "ottobre è sceso del 3,45%" escono dalla stessa tabella e portano a decisioni opposte su scorte, obiettivi e campagne.
C'è anche un motivo tecnico. Alcuni ricercatori hanno mostrato che i modelli linguistici sfruttano peggio l'informazione che sta nel mezzo di un testo lungo rispetto a quella che sta all'inizio o alla fine. Per l'IA, una tabella con migliaia di righe è un testo lungo.
Cosa va storto di solito
- Buttare il foglio di calcolo nella chat e chiedere degli "insight". È il modo più rapido per ottenere un buon testo con un numero senza padrone.
- Approvare il progetto senza chiedere chi calcola. La domanda che lo sponsor deve fare prima di firmare è semplice: chi calcola i numeri, e chi li verifica?
- Pensare che l'IA che esegue codice risolva. Somma giusto. Ma somma che cosa? Senza una definizione scritta, il programma che l'IA scrive porta con sé un'ipotesi, ora con l'aspetto di un numero esatto.
- Lasciare la definizione nella testa di una persona. Finché "vendita" significa una cosa per il commerciale e un'altra per l'amministrazione, e questo non è scritto, ogni rapporto ne userà una.
- Confrontare senza concordare il periodo. Rispetto al mese precedente o allo stesso mese dell'anno scorso? L'IA sceglie da sola anche questo.
Come decidere, in quattro passi
- Scrivete la definizione di ogni metrica che l'IA userà: che cosa entra, che cosa resta fuori e in quale data conta. Una frase per metrica.
- Concordate il periodo di confronto: questo mese rispetto a quale.
- Calcolate prima, fuori dall'IA. Il team dati calcola le metriche in codice che gira allo stesso modo ogni mese e si può verificare. L'IA riceve una tabella piccola, con i numeri pronti e la definizione di ciascuno.
- Date un nome a chi verifica. Qualcuno firma i numeri prima che salgano, e controlla che ogni numero del testo dell'IA sia nella tabella che ha ricevuto.
Fatto questo, l'IA fa quello che giustifica l'investimento: confrontare, spiegare e scrivere a partire da numeri che qualcuno ha calcolato e verificato. Il test qui sotto pone tre domande e mostra che cosa manca alla vostra azienda per arrivarci.
Teste rápido
A sua tabela está pronta para a IA?
Responda sim ou não às três perguntas. Cada não mostra o que fazer antes de entregar a tabela à IA.
- As métricas que a IA vai usar têm definição escrita?Se a resposta for não: escreva a definição de cada métrica: o que entra, o que sai e em que data conta.
- Existe um período de comparação combinado (este mês contra qual)?Se a resposta for não: combine o período de comparação: contra o mês anterior ou contra o mesmo mês do ano passado.
- Alguém confere os números antes de eles subirem para a diretoria?Se a resposta for não: escolha quem confere os números antes de eles subirem.
Como ler o resultado
- Três sim: pronta. Dá para entregar a tabela de grandezas à IA.
- Sim na primeira e não em alguma das outras: quase. Resolva o que falta antes de entregar.
- Não na primeira: ainda não. Sem definição escrita, a IA vai inventar a definição, mesmo que o resto esteja em ordem.
Quick test
Is your table ready for AI?
Answer yes or no to the three questions. Each no shows what to do before handing the table to the AI.
- Do the metrics the AI will use have a written definition?If the answer is no: write down the definition of each metric: what goes in, what stays out and on which date it counts.
- Is there an agreed comparison period (this month against which one)?If the answer is no: agree on the comparison period: against the previous month or against the same month last year.
- Does someone check the numbers before they go up to management?If the answer is no: choose who checks the numbers before they go up.
How to read the result
- Three yeses: ready. You can hand the table of quantities to the AI.
- Yes to the first and no to either of the others: almost. Sort out what is missing before handing it over.
- No to the first: not yet. Without a written definition, the AI will make up the definition, even if everything else is in order.
Test rapido
La vostra tabella è pronta per l'IA?
Rispondete sì o no alle tre domande. Ogni no indica che cosa fare prima di consegnare la tabella all'IA.
- Le metriche che l'IA userà hanno una definizione scritta?Se la risposta è no: scrivete la definizione di ogni metrica: che cosa entra, che cosa resta fuori e in quale data conta.
- Esiste un periodo di confronto concordato (questo mese rispetto a quale)?Se la risposta è no: concordate il periodo di confronto: rispetto al mese precedente o allo stesso mese dell'anno scorso.
- Qualcuno verifica i numeri prima che arrivino alla direzione?Se la risposta è no: scegliete chi verifica i numeri prima che salgano.
Come leggere il risultato
- Tre sì: pronta. Potete consegnare all'IA la tabella delle grandezze.
- Sì alla prima e no a una delle altre: quasi. Sistemate quello che manca prima di consegnare.
- No alla prima: non ancora. Senza una definizione scritta, l'IA inventerà la definizione, anche se il resto è in ordine.
Il test indica la direzione. In una diagnosi breve, lo facciamo con i vostri dati: elenchiamo le metriche che l'IA userà, scriviamo la definizione di ciascuna con chi conosce il business, mostriamo dove oggi la stessa domanda dà numeri diversi e diciamo che cosa calcolare prima di collegare l'IA.
Come applicarlo nella vostra azienda
Lo stesso ordine vale ovunque ci siano una tabella e una domanda di business:
- Rapporto mensile delle vendite. Vendite lorde o nette, per data dell'ordine, della consegna o della fattura: scegliete, scrivete e calcolate prima. L'IA scrive il commento del mese.
- Indicatori del servizio clienti. Che cosa conta come richiesta risolta: quella chiusa, oppure quella chiusa e non riaperta? La definizione viene prima del cruscotto e prima dell'IA.
- Base clienti. Un "cliente attivo" ha comprato negli ultimi 30 giorni o negli ultimi 90? La risposta cambia la dimensione della base e ogni analisi costruita su di essa.
- Amministrazione e finanza. Ricavi nel mese in cui la vendita è stata fatta oppure nel mese in cui il denaro è entrato. Entrambe le viste esistono a ragione; il rapporto deve dire quale sta mostrando.
In tutti i casi, la domanda che decide è la stessa: questo numero ha una definizione scritta, e qualcuno lo verifica?
- la stessa domanda ("quanto abbiamo venduto?") ha già ricevuto numeri diversi da aree diverse;
- le definizioni delle metriche sono nella testa di chi prepara il rapporto, non in un documento;
- il piano del progetto di IA dice "l'IA analizza il database", senza dire chi calcola;
- i rapporti confrontano periodi senza dire rispetto a quale;
- nessuno verifica i numeri di un testo generato dall'IA prima che circoli.
Nel Quaderno di LaboratorioVolete la tabella dei 13 ordini, il conto completo e l'esercizio da fare con le vostre mani?Prima le grandezze, poi l'IA
Leggi la versione tecnica →