ROI de treinamento: o número que todo mundo pede e quase ninguém entrega

Toda diretoria, em algum momento, faz a mesma pergunta para a área de T&D: qual foi o retorno sobre o que investimos em treinamento? É uma pergunta legítima, e existe um método publicado para respondê-la. O problema não é a ausência de método. É que a etapa mais difícil desse método quase nunca é feita com o rigor que o número final sugere, e a maioria dos relatórios de ROI de treinamento que circulam por aí é mais confiante do que deveria ser.

O que Phillips de fato propôs

Jack Phillips estendeu os níveis de avaliação de Donald Kirkpatrick, que vão da reação ao comportamento e ao resultado de negócio, acrescentando um quinto nível: o retorno financeiro. A lógica, descrita com bastante clareza na literatura, segue uma sequência de etapas. Primeiro, identificar os resultados de negócio ligados ao programa. Depois, isolar a parte desses resultados que pode ser atribuída ao treinamento, separando-a de tudo o mais que também influenciou o período. Em seguida, converter essa parte isolada em valor monetário. Por fim, comparar esse valor aos custos totais do programa para chegar a um percentual de retorno.

Cada etapa, isoladamente, é razoável. O problema não está na lógica da sequência. Está no fato de que a segunda etapa, isolar o efeito do treinamento, é imensamente mais difícil de executar com rigor do que as outras três, e é justamente essa etapa que decide se o número final significa alguma coisa.

Por que isolar o efeito é o ponto que quebra o método

Fora de um laboratório, isolar uma variável exige comparar o que aconteceu com quem passou pelo treinamento contra o que teria acontecido sem ele. A forma mais rigorosa de fazer isso é um grupo de controle: uma parte comparável da operação que não recebe o treinamento, para servir de referência. Na prática empresarial isso raramente é viável. Times têm tamanhos diferentes, contextos diferentes, líderes diferentes, e deixar deliberadamente uma parte da operação sem treinamento para fins de comparação é, na maioria das empresas, uma decisão que ninguém está disposto a tomar, e com razão.

A alternativa mais comum é a análise de tendência: observar o indicador antes e depois do treinamento e atribuir a mudança ao programa. Essa abordagem só funciona quando nada mais relevante mudou no mesmo período, e isso quase nunca é verdade numa empresa em operação. Mudança de liderança, sazonalidade do negócio, ajuste de processo feito em paralelo, entrada de um concorrente, tudo isso se mistura ao efeito do treinamento no mesmo intervalo de tempo, e separar uma influência da outra por análise de tendência exige um controle de variáveis que a realidade de uma operação viva não oferece.

O que sobra, na prática da maioria dos projetos, é pedir para o próprio participante ou para o gestor dele estimar que fração do resultado observado veio do treinamento. É um recurso legítimo dentro do método, e o próprio Phillips o descreve com um ajuste para o grau de confiança de quem está estimando. Mas é preciso nomear o que essa etapa realmente é: uma opinião, ainda que informada, sobre uma pergunta contrafactual que ninguém consegue responder com certeza, porque exige saber o que teria acontecido num mundo que não existiu.

O número final tem uma precisão que a etapa anterior não sustenta

Aqui está o problema central, e é mais sutil do que parece à primeira vista. Um cálculo de ROI que termina numa estimativa de gestor multiplicada por um fator de ajuste de confiança, também estimado, produz um percentual com casas decimais, apresentado num slide ao lado de indicadores financeiros que vêm de contabilidade auditada. A forma do número, um percentual preciso, comunica um rigor que a origem dele não tem. Ninguém que olha um relatório com “ROI de treinamento” ao lado de “margem operacional” percebe, sem ler a metodologia, que um vem de livro contábil fechado e o outro vem da opinião de um gestor sobre uma pergunta que não tem resposta verificável.

Isso não é uma falha exclusiva de quem aplica o método mal. É uma tensão que existe dentro do próprio método, entre a ambição de produzir um número comparável a qualquer outro indicador financeiro da empresa e a dificuldade real de isolar causa e efeito fora de um desenho experimental. Um relatório honesto sobre ROI de treinamento precisa carregar essa tensão explicitamente, em vez de escondê-la atrás de duas casas decimais.

O que fazer quando o ROI não é calculável com honestidade

A resposta não é abandonar a mensuração e voltar à nota de satisfação do curso, que mede experiência, não aprendizado. A resposta é escolher, para cada programa, o nível de evidência que ele de fato comporta, e apresentar esse nível com a confiança que ele merece, nem mais nem menos.

Para a maioria dos programas, a evidência mais honesta e mais acionável para de fato existir no nível de comportamento: documentar se a mudança de comportamento aconteceu no trabalho, com que consistência e o que ajudou ou atrapalhou essa aplicação. Isso já é mais do que a maioria dos relatórios de T&D entrega, e não exige a etapa de isolamento que quebra o cálculo de ROI.

Para os poucos programas em que uma comparação mais rigorosa é possível, porque existe uma unidade operacional comparável, um processo discreto e mensurável, ou uma janela de tempo em que pouca coisa relevante mudou em paralelo, vale a pena investir no cálculo completo. Nesses casos, o ROI de Phillips entrega o que promete. A diferença é reconhecer que essa condição é a exceção, não a regra, e reservar o cálculo formal para quando ela existe de verdade.

Um caminho intermediário, descrito por Robert Brinkerhoff, é estudar em profundidade os casos em que o resultado apareceu com mais força, entrevistando quem teve o melhor desempenho depois do treinamento para entender o que de fato aconteceu, em vez de tentar extrapolar uma média estatística de todo o grupo. Não substitui um ROI rigoroso onde ele é possível, mas produz evidência mais honesta do que uma estimativa de gestor travestida de percentual financeiro.

O que fazer na segunda-feira

Antes de prometer um número de ROI para o próximo programa, três perguntas evitam a armadilha da precisão falsa.

Existe uma forma real de isolar o efeito do treinamento neste caso específico, ou o cálculo dependeria inteiramente de estimativa de gestor? Se depender inteiramente disso, é melhor nomear a estimativa como estimativa, não apresentá-la como retorno financeiro medido.

O nível de comportamento já está sendo documentado com rigor? Antes de tentar chegar ao quinto nível de Phillips, vale garantir que o terceiro, aplicação no trabalho, já está sendo acompanhado de forma consistente, como já foi tratado em outro artigo deste blog.

O relatório que vai para a liderança separa, com clareza, o que é medição e o que é estimativa? Essa separação é o que diferencia um número honesto de um número confortável, e é o que sustenta a credibilidade da área na próxima vez que ela tiver que apresentar um resultado que não é tão favorável quanto o desejado.

A dimensão de mensuração do diagnóstico da Arax avalia exatamente essa maturidade: não se a área calcula ROI, mas se ela sabe quando pode calculá-lo com honestidade e o que fazer quando não pode.