Kirkpatrick não é a única régua, e nunca disse que era

Muito relatório de T&D apresenta os quatro níveis de Kirkpatrick como se fossem uma escada causal: nota alta de reação levaria a mais aprendizagem, mais aprendizagem levaria a mais mudança de comportamento, mudança de comportamento levaria a resultado de negócio. É uma leitura confortável de apresentar e simplesmente não é o que a evidência sustenta. Ela virou senso comum de mercado, não porque a taxonomia original prometesse isso, mas porque foi assim que o mercado escolheu usá-la.

Uma escada que virou corrente causal

Os quatro níveis, reação, aprendizagem, comportamento e resultado, foram propostos como lugares diferentes onde procurar evidência sobre um programa, cada vez mais distantes da sala de aula e cada vez mais difíceis de medir. Isso é o que a taxonomia de fato demonstrou: um mapa útil de onde olhar. O que está em disputa é a leitura que o mercado emprestou a ela depois, a de que um bom resultado num nível prevê um bom resultado no seguinte.

Essa previsão falha na prática com frequência. Reação positiva convive sem contradição com zero retenção de conteúdo, como este blog já tratou. Conteúdo retido convive sem contradição com nenhuma mudança de comportamento, porque o ambiente de trabalho pode não permitir a aplicação. E comportamento mudado convive sem contradição com nenhum resultado de negócio mensurável, porque o resultado depende de dezenas de outras variáveis que aconteceram no mesmo período. Tratar os quatro níveis como corrente é o erro. Tratá-los como quatro perguntas diferentes, cada uma exigindo seu próprio instrumento de coleta, é o que sobra de útil depois da crítica. É essa leitura, sem a corrente causal, que sustenta a dimensão de Impacto avaliada no diagnóstico da Arax.

Phillips: até onde vale a pena isolar o efeito

Phillips estendeu a lógica dos quatro níveis para uma quinta camada, o retorno sobre investimento, comparando custo e benefício de um programa. Isso exige traduzir um resultado medido em termos monetários e, principalmente, isolar o efeito do treinamento de tudo o mais que aconteceu na empresa no mesmo período. É essa parte, o isolamento do efeito, que é a mais difícil e a mais contestada na prática, porque raramente existe um cenário limpo o bastante para atribuir um resultado inteiro a um único programa.

O que sobrevive dessa proposta não é a promessa de uma fórmula que resolve qualquer programa. É a disciplina de reservar esse esforço de isolamento para quando o investimento e o risco realmente justificam o custo de fazê-lo direito, e de admitir, quando não é o caso, que o número de ROI apresentado é uma estimativa frágil, não um fato contábil.

Kaufman: um resultado que sai da porta da empresa

Roger Kaufman propôs olhar para um tipo de resultado que os quatro níveis internos não perguntam: o efeito que chega até fora da organização, num nível social mais amplo. Vale marcar essa distinção com clareza, porque é fácil confundir um nível adicional de análise com mais um degrau da mesma escada de Kirkpatrick, quando na verdade é uma pergunta de outra natureza.

Essa camada importa quando o público interessado no resultado de um programa não se limita a quem está dentro da empresa, um treinamento com consequência para cliente final, comunidade ou cadeia de fornecedores, por exemplo. Para a maioria dos programas internos de T&D, essa camada não é necessária. Para os que têm esse tipo de alcance, ignorá-la deixa parte relevante do resultado fora do relatório.

Brinkerhoff: uma lógica de avaliação diferente, não um quinto nível

O Success Case Method de Robert Brinkerhoff não é mais um degrau da mesma escada. É uma lógica de avaliação diferente: em vez de medir a proporção média de quem aplicou o que aprendeu, ele estuda os casos extremos, quem claramente conseguiu e quem claramente não conseguiu, para entender o que separou os dois grupos. Este blog já detalhou o método e o cuidado que ele exige para não virar estatística inflada.

O ponto que interessa aqui é o de posicionamento: perguntar “que proporção do público aplicou” e perguntar “o que precisa estar presente para que a aplicação aconteça” são perguntas diferentes, e cada uma pede um desenho de avaliação próprio. Tratar o Success Case Method como substituto de uma pesquisa de cobertura ampla, ou o contrário, é usar a ferramenta errada para a pergunta que está sendo feita.

O que fazer com isso na segunda-feira

Antes de escolher como avaliar um programa, nomeie com precisão a pergunta que o relatório precisa responder para quem vai lê-lo. Se a pergunta é se o comportamento foi aplicado, construa uma forma de verificar comportamento, não uma pesquisa de reação reaproveitada como se fosse prova de impacto. Se a pergunta é se o investimento valeu a pena em termos financeiros, reserve orçamento e tempo para um esforço de isolamento de efeito no padrão de Phillips, em vez de uma conta de guardanapo. Se o público afetado inclui gente fora da empresa, considere a camada mais ampla que Kaufman descreveu. E se o objetivo é entender o que faz a aplicação acontecer, não quantos aplicaram, um estudo de casos de sucesso responde melhor do que uma pesquisa de larga escala.

Nenhum dos quatro substitui os outros. Cada um responde uma pergunta diferente, e o primeiro passo de qualquer avaliação séria é dizer, por escrito, qual dessas perguntas o relatório está de fato respondendo.