Um disco claro repousa em um berço azul enquanto as duas pontas de um paquímetro metálico tocam suas bordas.

Avaliar o trabalho que já se faz com IA

Avaliar trabalho assistido por IA exige observar decisões, não apenas entregas. A prova precisa justificar que ajuda mantém disponível e que responsabilidade permite atribuir.

Alejandro Mayorga6 min de leitura

Permitir IA em uma avaliação e depois retirá-la para verificar se a pessoa “realmente sabe” pode parecer uma precaução razoável. Às vezes será. Mas as duas situações não respondem necessariamente à mesma pergunta. Uma observa como alguém trabalha com os recursos disponíveis; a outra, o que consegue fazer sem um deles. Para interpretar a diferença, precisamos saber qual dessas capacidades o cargo exige, em que circunstâncias e para tomar que decisões.

Se o trabalho habitual inclui assistência de IA, seu uso pode fazer parte de uma amostra pertinente de desempenho. Também pode ser necessário verificar o que acontece quando a ferramenta não está disponível ou entrega uma resposta que não merece confiança. O que não convém é estabelecer uma hierarquia automática entre as duas provas, como se retirar a tecnologia sempre nos aproximasse de uma capacidade mais verdadeira e trabalhar com ela apenas mostrasse o quanto conseguimos disfarçar uma carência.

Os princípios de seleção de pessoal da SIOP (abre em uma nova aba), publicados em 2018, vinculam a evidência baseada em conteúdo a uma amostra adequada do trabalho e de suas exigências. Não foram escritos como um protocolo de avaliação com IA. Preservam, porém, uma exigência útil para desenhá-lo: a dificuldade de uma prova não substitui a justificativa daquilo que ela permite observar. Antes de decidir que ferramenta retiraremos, precisamos poder explicar que parte do trabalho ficaria mais bem representada ao fazer isso.

A assistência também muda o que podemos concluir

Uma melhoria obtida com IA é um resultado que merece ser reconhecido, mesmo que ainda não saibamos atribuir cada parte dela. No experimento de Dell’Acqua e seus colaboradores com profissionais da Procter & Gamble (abre em uma nova aba), quem trabalhou individualmente com IA alcançou um desempenho comparável ao de equipes sem ela nos desafios de inovação estudados. Seria estranho avaliar esse trabalho ignorando uma contribuição que o tornou possível. Também seria excessivo concluir que cada participante adquiriu, por isso, a experiência de outra especialidade ou que responderia da mesma forma diante de qualquer problema.

A dificuldade aparece quando a boa entrega é usada para atribuir uma responsabilidade mais ampla. Preparar uma recomendação, verificar seus fundamentos e decidir se é adequado aplicá-la podem ficar reunidos em um documento convincente. Se o cargo precisa dessas três contribuições, avaliar apenas a apresentação do documento deixa parte da expectativa sem observação. Uma explicação posterior ajuda a reconstruir o raciocínio, mas não necessariamente basta: pode estar correta para o caso resolvido e não mostrar o que a pessoa faria se uma condição decisiva mudasse.

O caráter desigual da ajuda importa aqui. O experimento com consultores do Boston Consulting Group publicado em 2026 (abre em uma nova aba) encontrou melhorias com GPT-4 em tarefas selecionadas dentro de suas capacidades, mas menor acerto em um problema situado fora dessa fronteira. É evidência sobre aquelas tarefas e aquela tecnologia, não um mapa dos limites dos modelos atuais. Para uma avaliação, apresenta uma dificuldade concreta: uma amostra concentrada nos casos em que a assistência funciona bem pode deixar sem observação como alguém responde quando ela deixa de funcionar.

Observar uma decisão, não apenas sua explicação

Uma prova sem IA teria outro lugar quando a continuidade do trabalho exigisse agir sem ela. Seria preciso representar essa situação: que recursos continuariam disponíveis, que decisões não poderiam esperar e que ajuda seria legítimo solicitar. Isso não significa reproduzir manualmente todo o processo automatizado. Pode bastar saber interrompê-lo, conservar informações indispensáveis ou transferir o caso a quem tem atribuições para resolvê-lo. Exigir independência absoluta onde o trabalho precisa de coordenação também distorceria a amostra.

A conclusão precisa preservar suas condições

Para comparar resultados, importa conhecer que assistência esteve disponível. Não é equivalente trabalhar com uma ferramenta conhecida, com outra que acaba de ser apresentada ou com uma configuração que oferece apoios diferentes. As instruções, os recursos e o tempo de familiarização precisam guardar relação com o que se quer avaliar. Registrar essas condições ajuda a interpretar as diferenças; não elimina automaticamente os problemas de comparação nem exige conservar cada interação privada como evidência.

O resultado deveria permitir uma afirmação mais precisa do que “sabe usar IA”. Uma pessoa conseguiu produzir uma solução adequada com determinada assistência e, além disso, rever sua decisão quando recebeu informação contraditória. Isso oferece uma base diferente de ter obtido apenas a primeira solução. Nenhuma das duas observações autoriza, por si só, concluir como ela agirá em qualquer domínio, se pode formar outras pessoas ou se está preparada para assumir uma responsabilidade de maiores consequências.

O artigo sobre a formação do julgamento sob automação perguntava como essa capacidade se renova. Aqui, a obrigação de quem avalia é mais imediata: não atribuí-la antes de reunir evidência pertinente. Se a organização espera que uma pessoa supervisione o trabalho assistido, essa expectativa deve aparecer na situação que observa e no fundamento da decisão que toma depois. Caso contrário, pode exigir dela uma responsabilidade que a avaliação nunca chegou a examinar.

Uma avaliação não precisa punir o uso de uma ferramenta para ser exigente. Precisa nos permitir explicar o que observamos na pessoa e por que isso basta para a responsabilidade que vamos lhe atribuir. Não deveríamos aprovar alguém para responder por um trabalho quando só verificamos que consegue obter uma resposta.