“O essencial é invisível aos olhos.”
— Antoine de Saint-Exupéry, O Pequeno Príncipe
O amor é latente. Não pode ser medido diretamente, mas deixa sinais: cuidado, presença, ausência, gestos, escolhas, palavras e silêncios. É a partir deles que tentamos inferir sua intensidade.
Em ciência de dados, a lógica é semelhante.
Chamamos de variáveis latentes aquelas que não são observadas diretamente, mas que ajudam a explicar aquilo que conseguimos medir. Elas não aparecem prontas em uma tabela. Precisam ser inferidas a partir de sensores, transações, registros, comportamentos e eventos.
Uma empresa mede consumo de energia, mas quer estimar demanda potencial. Mede vibração e temperatura, mas quer conhecer o estado de saúde de uma máquina. Mede cliques e conversões, mas quer entender intenção de compra. Observa preços e vendas, mas quer estimar a sensibilidade do preço.
O que medimos está nos sistemas. O que precisamos conhecer para decidir, muitas vezes, não está.
O dado observado é uma medição
Dados corporativos costumam ser tratados como fatos. Uma venda aconteceu, uma leitura foi registrada, uma ordem de serviço foi aberta.
Esses eventos são reais, mas representam apenas parte do processo. Além disso, toda medição pode conter ruído.
Um sensor pode estar descalibrado. Uma venda pode ter sido limitada por falta de estoque. O consumo de energia pode variar por causa do clima ou de um erro de leitura. Uma conversão pode ter sido influenciada por preço, marca, sazonalidade, concorrência ou campanha.
Por isso, venda observada não é necessariamente demanda. Ausência de falhas não significa ausência de degradação. Variação das vendas não é elasticidade-preço. Conversão não é, por si só, efeito causal de uma campanha.
Quando confundimos o indicador com o fenômeno, o modelo pode apresentar bom desempenho estatístico e ainda responder à pergunta errada. Medimos sinais. Decidimos sobre estados.
Como estimar o que não observamos
Existem métodos desenvolvidos para separar medições observadas de estados latentes.
Por exemplo, nos modelos de espaço de estado, uma equação descreve como o estado não observado evolui no tempo, enquanto outra relaciona esse estado às medições disponíveis e ao ruído.
O filtro de Kalman é um dos exemplos mais conhecidos. Ele atualiza a estimativa do estado sempre que uma nova medição é recebida. Pode ser usado para acompanhar a condição de equipamentos, estimar tendências de demanda, filtrar sensores e atualizar previsões em tempo real.
O método depende do problema. O princípio permanece: não confundir a medição com o estado que a gerou.
Variáveis latentes carregam incerteza
Risco de inadimplência, intenção de compra, propensão ao churn, saúde de um ativo, demanda potencial, elasticidade-preço e efeito incremental de uma campanha precisam ser estimados.
Como não são observados diretamente, esses resultados – igual ao amor – carregam incerteza.
Um modelo desse tipo não deveria entregar apenas um número. Deveria informar o que foi observado, o que foi inferido, quais premissas foram utilizadas e qual é o nível de incerteza associado.
Essa incerteza pode alterar diretamente a decisão. Se duas alternativas de investimento apresentam retornos esperados semelhantes, mas seus intervalos de incerteza se sobrepõem amplamente, pode não haver evidência suficiente para concluir que uma delas é superior. Em gestão de estoques, uma previsão média de 1.000 unidades parece objetiva, mas a decisão de compra será muito diferente se a demanda provável estiver entre 700 e 1.400 unidades. O mesmo ocorre na manutenção: dois equipamentos podem ter a mesma probabilidade média de falha, mas aquele cuja estimativa apresenta maior incerteza pode justificar uma inspeção adicional ou uma intervenção antecipada.
A incerteza não é uma falha do modelo. É parte da informação.
O que precisamos tornar visível?
O mundo não é exatamente invisível. Mas muitas das variáveis que orientam decisões não são medidas diretamente.
Temos acesso a sinais: sensores, vendas, preços, transações, registros e eventos. A ciência de dados usa esses sinais para estimar estados, riscos, potenciais e efeitos.
Em muitos projetos, o principal avanço não está em aplicar um algoritmo mais complexo aos mesmos indicadores. Está em definir corretamente qual variável invisível precisa ser estimada, quais dados ajudam a explicá-la e com que nível de confiança ela pode apoiar uma decisão.
Como em O Pequeno Príncipe, o essencial pode não estar visível. Mas deixa sinais.
O papel da ciência de dados é aprender a interpretá-los.