Ruído — por que dois avaliadores veem resultados diferentes

O livro examina o que as organizações muitas vezes deixam de perguntar

Quando dois avaliadores discordam, a conversa muitas vezes se volta para quem foi tolerante, duro ou tendencioso. Noise propõe observar outra propriedade: quanto os julgamentos variariam se casos comparáveis fossem atribuídos a pessoas diferentes ou avaliados em momentos diferentes.

A mudança parece pequena. Na realidade, modifica a unidade de análise. Uma decisão isolada pode parecer razoável e ainda assim fazer parte de um sistema instável. Nenhum avaliador precisa cometer um erro óbvio para que a dispersão cumulativa produza consequências desiguais.

Os autores distinguem ruído de viés.

Ambos aumentam o erro, mas exigem diagnósticos diferentes. A correção de uma tendência geral não resolve a variabilidade entre avaliadores; reduzir a dispersão também não garante que a conclusão média esteja correta.

A ideia só funciona quando os julgamentos são comparáveis

Essa condição merece mais espaço do que normalmente recebe. Duas avaliações diferentes não constituem ruído simplesmente porque discordam.

Um líder pode ter observado resultados e escopo. Um par pode conhecer a coordenação cotidiana. A própria pessoa acessa raciocínios que os outros não veem. Se responderem a perguntas diferentes ou julgarem períodos diferentes, algumas das variações contêm contexto legítimo.

Também pode haver ambiguidade no objeto. “Influência” pode significar clareza na argumentação, capacidade de construir acordos ou autoridade para mobilizar recursos. Se o sistema fornece um rótulo amplo e permite que cada avaliador complete o significado, a dispersão não surge apenas do julgamento. Ele começa no desenho.

A aplicação rigorosa do conceito exige manter constantes, na medida do razoável, o objeto, a informação disponível, o período, a escala e a tarefa de avaliação. Só então a diferença residual permite investigar a variabilidade injustificada. O livro ajuda a perguntar quanto um julgamento muda diante de um caso comparável. Não autoriza a exclusão de diferenças informacionais entre fontes que observem manifestações diversas.

A auditoria torna visível um problema que uma decisão isolada esconde

Uma das propostas mais úteis do livro é a auditoria de ruído. A lógica é apresentar os mesmos casos a vários profissionais, manter independentes seus julgamentos iniciais e examinar a dispersão.

Nas avaliações de skills, uma adaptação prudente poderia funcionar com situações simuladas, evidências equivalentes e critérios já definidos. O objetivo não seria identificar o “melhor avaliador”. Verificaria se o sistema produz conclusões excessivamente dependentes de quem recebe o caso.

A auditoria não fornece o nível correto por si só. Revela variação. Depois é preciso investigar sua composição: gravidade geral, diferentes interpretações de determinadas manifestações, uso desigual da escala, dependência do momento ou falta de informação.

O livro é convincente ao mostrar que as organizações muitas vezes subestimam esta dispersão. Sua ênfase estatística nos obriga a olhar para padrões que as explicações anedóticas não captam. Contudo, a medição requer casos comparáveis, independência e um número suficiente de ensaios. Uma diferença ocasional entre duas pessoas fornece um sinal, não uma estimativa estável do ruído do sistema.

A higiene da decisão estrutura o julgamento antes de reduzir o ruído

Noise reúne diversas práticas sob a ideia de higiene de decisão. Tal como outras medidas preventivas, o seu valor não depende de saber qual o erro específico que irá ocorrer. Procura reduzir as condições que tornam o processo instável.

Em uma avaliação de skills, essa disciplina pode ser traduzida em ações concretas: definir as manifestações antes de observar, separar os componentes, usar a mesma escala, coletar evidências de forma independente e adiar a impressão geral até que cada parte seja revista. Também envolve registrar quais informações estavam faltando e que discrição deveria ser mantida.

Aqui aparece a contribuição prática do livro. Estruturar não requer desumanizar.

O limite está em confundir consistência com justiça

Um sistema uniforme pode aplicar de forma muito consistente uma regra injusta, uma expectativa irrelevante ou uma definição restrita de desempenho. Reduzir o ruído melhora a regularidade. Não demonstra validade, justiça ou qualidade da decisão.

O próprio livro reconhece que ruído zero nem sempre é possível ou desejável. As regras têm custos. Elas podem perder informações específicas, reduzir a flexibilidade ou transferir o erro para o design principal. Nas decisões sobre pessoas, essa advertência é especialmente importante porque o contexto pode legitimamente mudar a interpretação.

A higiene das decisões precisa então de dois controles. O primeiro protege a comparabilidade: casos semelhantes não devem receber conclusões arbitrariamente diferentes. O segundo protege as particularidades: diferenças relevantes não devem desaparecer para facilitar o cálculo.

Essa tensão explica por que Noise funciona melhor como uma crítica do processo do que como uma defesa da automação total. A sua pergunta mais produtiva não é quanto julgamento humano podemos eliminar.

Uma revisão útil deixa desconforto operacional

O livro é amplo, repetitivo em algumas seções e mais forte no diagnóstico da dispersão do que na resolução de todos os conflitos entre consistência e critérios. Ainda assim, oferece um vocabulário que muda a conversa. Preconceito e ruído não são mais uma categoria única de “subjetividade”. A independência de julgamento, a estrutura e a auditoria assumem uma função verificável.

Aplicado às skills, sua principal lição não consiste em forçar acordo entre avaliadores. Consiste em desenhar condições comparáveis, medir a variação remanescente e interpretar antes de consolidar. O julgamento profissional mantém um lugar. Ele apenas deixa de ter permissão para operar sem estrutura ou exame.