Escolher o indicador antes de começar, não depois de acabar

Um programa de treinamento termina, e a reunião de fechamento chega com a pergunta de sempre: qual foi o resultado? Nesse momento, alguém revisa os indicadores disponíveis da área atendida e escolhe, entre eles, o que mais subiu no período. O relatório sai bonito. O problema é que esse indicador não foi escolhido porque era o certo para medir aquele programa, foi escolhido porque foi o que mais ajudou depois.

O indicador escolhido depois é o indicador que favorece a história

Toda área de negócio acompanha vários números ao mesmo tempo: vendas, qualidade, segurança, turnover, produtividade, satisfação do cliente. Em qualquer período de alguns meses, é quase certeza que pelo menos um deles vai se mover na direção favorável, por razões que nada têm a ver com o treinamento que aconteceu no meio do caminho. Escolher esse indicador depois, e apresentá-lo como prova de impacto, é uma forma de viés de seleção que nenhuma área faz de propósito, mas que quase toda área comete quando o indicador só é escolhido no fim.

O problema não é a intenção de quem apresenta o relatório. É a ordem das operações. Quando o indicador é escolhido depois do resultado já existir, ele deixa de ser medida e passa a ser narrativa: uma explicação construída para um número que já aconteceu, não uma previsão testada contra ele.

Esse viés se agrava quando várias áreas de negócio são atendidas ao mesmo tempo. Com dez indicadores diferentes disponíveis entre as áreas que passaram por algum programa no período, a chance de encontrar pelo menos um número favorável para citar no relatório é alta, mesmo que o treinamento não tenha influenciado nada. Quanto mais indicadores existem para escolher depois, maior o risco de a escolha parecer prova quando é apenas coincidência bem apresentada.

Definir antes muda o que o programa precisa entregar

A alternativa é simples de enunciar e incômoda de praticar: antes de o programa começar, alguém precisa responder qual indicador de negócio esse treinamento deveria mover, e por quê. Não “vamos ver o que melhora”. Um indicador nomeado, com uma hipótese razoável de como o comportamento treinado se conecta a ele.

Isso muda o desenho do próprio programa, não só a medição no fim. Se o indicador definido antes é redução de retrabalho numa linha de produção, o conteúdo precisa mirar exatamente nos comportamentos que geram retrabalho, não em conhecimento geral sobre qualidade. Definir o indicador antes obriga o desenho a ser específico, porque um objetivo vago não aponta para nenhum número em particular.

Também protege contra o cenário oposto, tão comum quanto o viés de seleção: o programa que termina sem indicador nenhum, porque ninguém definiu um, e a conversa sobre resultado nunca acontece de verdade. Sem indicador prévio, a área não corre o risco do viés de seleção, corre outro: o do silêncio.

Definir antes também impõe um limite saudável às expectativas. Nem todo programa de T&D deveria prometer ligação com indicador financeiro ou operacional de peso. Uma trilha de integração de novos colaboradores, por exemplo, tem outro tipo de propósito, e forçar uma ligação artificial com vendas ou produtividade só para preencher um campo de relatório distorce tanto o desenho quanto a medição. Escolher o indicador antes inclui a opção honesta de reconhecer que, para esse programa específico, o indicador relevante é outro, mais próximo de processo do que de resultado financeiro direto.

O que Phillips demonstrou, e o que continua difícil

Jack Phillips estendeu os níveis de avaliação de Kirkpatrick até o retorno sobre investimento, propondo uma forma de traduzir o resultado de um treinamento em termos financeiros comparáveis a qualquer outro investimento da empresa. A contribuição é real: deu à área de T&D um vocabulário para conversar com quem decide orçamento na mesma linguagem que qualquer outra área usa.

O que continua difícil, e a literatura reconhece isso, é isolar o efeito do treinamento de tudo o mais que aconteceu no mesmo período. Mudança de liderança, sazonalidade do negócio, ajuste de processo feito em paralelo, tudo isso se mistura ao efeito do programa, e separar uma coisa da outra com rigor exige desenho experimental que raramente é viável dentro de uma empresa em operação. Isso não invalida a tentativa de ligar T&D a indicador de negócio, invalida a promessa de uma fórmula que isola o efeito com precisão absoluta. O que sobra de útil é a disciplina: nomear o indicador antes, associar hipótese a comportamento, e apresentar o resultado com a incerteza que ele de fato tem, em vez de com uma certeza que ele não tem.

Como escolher o indicador antes de começar

Um processo curto, aplicável a qualquer programa novo.

• Pergunte à área cliente, antes de desenhar qualquer conteúdo, qual indicador de negócio ela usa para saber se está indo bem. Comece dali, não do indicador que a área de T&D já tem à mão.
• Escreva a hipótese em uma frase: se as pessoas passarem a fazer X, esperamos que o indicador Y se mova, dentro de um prazo razoável. Se a frase não sai clara, o indicador provavelmente é o errado.
• Registre o indicador escolhido no início do projeto, num documento que a liderança também veja. Isso impede a substituição silenciosa por outro indicador mais favorável quando o programa terminar.

Essa é a pergunta que a subfaceta de ligação com indicadores testa dentro da dimensão de Impacto do diagnóstico da Arax: se o indicador de sucesso é definido antes do programa começar, ou só procurado depois que ele termina. É a etapa que a fase de Conceito do método CCPS já deveria ter fechado, antes de qualquer conteúdo entrar em produção.