Quando dois dados parecem comparáveis mas não são

Em uma área, toda a população foi avaliada durante seis meses; na outra, apenas quem concluiu voluntariamente uma autoavaliação nas últimas quatro semanas. As duas porcentagens podem estar aritmeticamente corretas. Não descrevem o mesmo fenômeno.

A comparação exige uma relação de equivalência que o formato visual costuma apresentar como resolvida.

A definição muda o objeto

Palavras iguais podem ocultar regras diferentes. Nível avançado pode significar autonomia para resolver casos habituais em uma equipe e, em outra, capacidade para definir padrões que afetam várias áreas. Calcular a média ou comparar resultados sob o mesmo rótulo não corrige essa diferença.

A comparabilidade exige definições, classificações e métodos suficientemente estáveis. O Código de Prática das Estatísticas Europeias (abre em uma nova aba) coloca exatamente esses elementos na base de estatísticas comparáveis entre regiões, períodos e setores. Transferido para talentos, o princípio é simples: compartilhar o formato não equivale a compartilhar o objeto de medição.

O período pode explicar a diferença aparente

Comparar este trimestre com o anterior parece natural, mas apenas se ambos os períodos representarem condições suficientemente semelhantes. Uma reorganização, a entrada massiva de pessoas, uma mudança de expectativa ou uma campanha de avaliação podem alterar quem participa e qual comportamento se torna observável.

A janela utilizada também importa. Um indicador construído com a observação mais recente responde mais rápido e é mais sensível a episódios pontuais. Outro baseado em seis meses suaviza as variações e reage com atraso. Nenhum é intrinsecamente melhor. Para serem comparados, exigem uma ressalva: cobrem horizontes diferentes.

A data de corte não é um detalhe administrativo. Ela define qual realidade foi incluída no dado.

A população decide quem o resultado representa

Oitenta por cento podem corresponder a oito de dez pessoas ou a oitocentas de mil. O tamanho não invalida a proporção, mas muda sua estabilidade e o tipo de conclusão que ela sustenta.

Mais importante ainda é a cobertura. Foram incluídas todas as pessoas da função, apenas aquelas com mais de seis meses, as que tiveram observações recentes ou as que responderam? Se a exclusão estiver relacionada àquilo que procuramos compreender, o número pode descrever a população visível, e não a população relevante.

O denominador contém uma decisão

As porcentagens costumam esconder sua base. Lacunas fechadas pode dividir ações concluídas por ações atribuídas, pessoas reavaliadas por participantes ou capacidades que alcançaram a expectativa por capacidades priorizadas. O numerador se parece; o denominador muda a pergunta.

Por isso, uma comparação deveria poder ser reconstruída a partir de sua fração. Se não sabemos o que conta como caso possível, também não sabemos o que significa o resultado.

No exemplo inicial, 72% da área completa e 72% dos participantes voluntários não são versões mais ou menos precisas do mesmo número. Respondem a perguntas diferentes. Uma mede a cobertura em um processo comum; a outra descreve respostas dentro de um subconjunto autosselecionado.

Nem toda diferença deve ser corrigida

Objeto A definição e o instrumento utilizados.

Janela O período e as condições observadas.

Quando dois dados não são comparáveis, existem pelo menos três saídas legítimas. É possível harmonizar as definições e recalcular. É possível segmentar para comparar apenas a parte equivalente. Ou é possível mostrar os dados separadamente e explicar por que respondem a perguntas diferentes.

Forçar um único número costuma ser a pior opção porque apaga a divergência metodológica sem resolvê-la. Às vezes, a falta de comparabilidade é informação: revela que duas áreas operam com expectativas diferentes, que o processo mudou ou que ainda não existe uma definição comum.

Antes de interpretar uma variação, é preciso reconstruir quatro decisões: o que foi definido, quando foi observado, quem podia entrar e qual foi o denominador. O resultado dessa revisão pode ser uma comparação harmonizada, dois números apresentados separadamente ou a decisão de não compará-los. As três respostas são mais rigorosas do que ordenar dados cuja equivalência ainda não existe.