PT
Módulos mecânicos alinhados sobre uma base e atravessados por uma linha luminosa azul.

As cinco condições de uma avaliação sólida de skills

Uma avaliação de skills é sólida quando sustenta a interpretação e o uso de seus resultados. Para isso, cinco condições precisam funcionar em cadeia: objeto, evidência, níveis, fontes e regras.

PRYSMAP6 min de leitura

A palavra “confiável” é frequentemente usada para descrever todo o sistema. Porém, em medição tem um significado mais restrito: confiabilidade refere-se à consistência ou estabilidade dos resultados.

Os Padrões para Testes Educacionais e Psicológicos, desenvolvidos pela AERA, APA e NCME, situam a validade nas interpretações dos scores para os usos pretendidos. Também tratam separadamente as evidências de validade, confiabilidade e equidade. O documento diz respeito à avaliação educacional e psicológica. Não valida um modelo empresarial de skills, mas oferece uma disciplina útil: a qualidade não está no número isolado, e sim na conclusão que se pretende construir com ele.

O objeto define o escopo de todo o resto

O nome de uma skill ainda não define o que será avaliado. “Pensamento estratégico”, “comunicação” ou “gestão de riscos” admitem leituras diferentes. Cada avaliador pode preencher esses nomes com aquilo que conhece, valoriza ou recorda.

O objeto precisa ser expresso por meio de manifestações observáveis. Elas podem ser comportamentos, decisões, procedimentos, explicações, resultados ou aplicações em determinadas condições. O objeto também exige limites: o que faz parte da skill e o que pertence a outra capacidade, ao contexto ou ao resultado coletivo.

Esta primeira condição controla as seguintes. Se o objeto permanecer ambíguo, evidências abundantes apenas documentarão interpretações diferentes. Uma escala detalhada adicionará precisão aparente. Uma regra consistente apenas processará de forma ordenada respostas que nunca foram comparáveis.

A evidência deve corresponder à conclusão

A segunda condição não pergunta quanta informação existe. Pergunta o que essa informação permite afirmar.

Uma apresentação pode mostrar clareza expositiva. Um trabalho entregue revela a qualidade final. Uma explicação permite examinar o raciocínio. A observação de uma situação complexa fornece informações sobre autonomia, adaptação e decisões sob restrições. Nenhuma peça cobre automaticamente toda a skill.

A correspondência também depende do uso. Evidências suficientes para orientar uma conversa sobre desenvolvimento podem ser insuficientes para decidir uma promoção ou excluir alguém de uma oportunidade. Quando as consequências aumentam, aumentam as exigências em termos de cobertura, qualidade, equidade e possibilidade de revisão.

Aqui aparece uma fronteira necessária. Um desempenho abaixo do esperado, apoiado por evidências relevantes, pode indicar uma lacuna. Interpretar essa ausência de evidências como uma lacuna atribui à pessoa uma conclusão que o sistema ainda não consegue sustentar.

Os níveis devem representar diferenças reconhecíveis

Rótulos como básico, intermediário e avançado classificam uma escala, mas não explicam o que muda. Duas pessoas podem compartilhar o termo “avançado” e pensar em desempenhos incompatíveis.

Um nível útil expressa diferenças que podem ser reconhecidas no trabalho. Dependendo da skill, a autonomia, a complexidade, a consistência, o escopo, a profundidade ou a capacidade de orientar outras pessoas podem mudar. Essas dimensões não precisam avançar todas juntas. Precisam, porém, estar associadas a manifestações que permitam distinguir um nível do seguinte.

O Guia de Estratégia de Avaliação de OPM nos lembra que a confiabilidade limita a validade, mas não a garante. Sua orientação se refere principalmente à seleção de servidores públicos federais nos Estados Unidos. A transferência relevante é mais geral: uma medida estável perde utilidade quando o que distingue os seus níveis não está relacionado com o desempenho de interesse.

Os níveis também precisam de uma expectativa. Um resultado não é nem alto nem baixo em abstrato. É interpretado em função do nível exigido, do contexto em que foi demonstrado e das evidências disponíveis.

Corrente de metal com um elo rompido e uma etiqueta azul pendurada.

As fontes precisam de acesso, não apenas de legitimidade

Uma fonte agrega valor quando teve uma oportunidade real de observar as manifestações relevantes. A posição ou a proximidade não substituem esse acesso.

A autoavaliação pode fornecer raciocínio, contexto e decisões internas. Um líder pode conhecer expectativas, resultados e evolução. Os colegas frequentemente observam a coordenação diária e os efeitos colaterais do trabalho. Essas possibilidades são condicionais. Um líder distante pode ter menos evidências do que um colega próximo. Um par ocasional pode adicionar apenas uma impressão.

É preciso definir a função de cada fonte: complementar, corroborar, comparar ou cobrir uma área que as demais não veem. Se várias perspectivas discordam, a diferença merece interpretação antes de ser consolidada. Pode revelar acesso desigual, critérios diferentes, contexto legítimo, preconceito ou ruído. A média elimina imediatamente pistas sobre a origem do resultado.

As regras devem preservar o significado do que é observado

Toda avaliação contém regras, mesmo que ninguém as tenha escrito. Alguém decide como combinar os componentes, o que acontece quando faltam evidências, quanto pesa uma fonte e quais condições limitam a conclusão.

Uma regra reproduzível melhora a consistência. A sua adequação depende da estrutura do objeto e do uso pretendido. Uma média autoriza compensação entre componentes. Um mínimo impede que um ponto forte compense um elemento essencial. Um perfil preserva as diferenças sem reduzi-las a um número. Um modelo híbrido pode reunir uma leitura global e limiares críticos.

Se as fontes observaram objetos diferentes, a consolidação não cria comparabilidade. Se os níveis forem ambíguos, o decimal adiciona detalhes sem sentido. Se faltarem evidências, o cálculo não converte a incerteza em desempenho conhecido.

A quinta condição leva de volta à primeira

As cinco condições não formam um inventário de partes independentes. Cada uma herda os limites das anteriores e pode obrigar a revisar todo o desenho.

Uma regra pode indicar que determinado componente não deve ser compensado. Esta decisão requer a especificação do objeto. Uma discrepância entre as fontes pode revelar que os níveis permitem diferentes interpretações. Uma conclusão que ninguém pode defender pode indicar que as evidências nunca corresponderam ao uso pretendido.

A cadeia também não esgota a qualidade de uma avaliação. As consequências, a equidade, a privacidade, a competência de quem interpreta e a possibilidade de contestar uma conclusão continuam importantes. Essas condições oferecem um núcleo para revisar o processo, não uma certificação automática.

O resultado será defensável quando puder ser reconstruído a partir da decisão até chegar às manifestações observadas, sem saltos ocultos. Se um trecho não puder ser explicado, a resposta responsável é limitar a conclusão e corrigir esse trecho. Alterar o decimal seria mais rápido. Isso não resolveria o problema.