Brinkerhoff: em vez de perguntar a todos, estude quem conseguiu

A forma mais comum de avaliar um treinamento depois do lançamento é enviar uma pesquisa para todos os participantes e esperar respostas. A taxa de retorno costuma ser baixa, as respostas costumam ser genéricas, e o resultado raramente explica por que algumas pessoas aplicaram o que aprenderam e outras não. Robert Brinkerhoff propôs um caminho diferente com o Success Case Method: em vez de perguntar a todos, estudar em profundidade quem conseguiu, e também quem claramente não conseguiu, para entender o que separou os dois grupos.

O método: estudar quem teve sucesso, não a média

O Success Case Method começa identificando, dentro do grupo que passou por um treinamento, os casos extremos: as pessoas que visivelmente aplicaram o que aprenderam e produziram um resultado reconhecível no trabalho, e as pessoas que visivelmente não aplicaram nada. Em vez de tratar a população inteira como uma média a ser calculada, o método seleciona esses extremos e investiga cada um com entrevista estruturada e, sempre que possível, alguma evidência concreta do que mudou.

O objetivo da investigação não é confirmar que o sucesso aconteceu. É entender como ele aconteceu, quais condições estavam presentes quando a pessoa conseguiu aplicar, o que o gestor fez ou deixou de fazer, que obstáculo apareceu e como foi contornado. E, do lado oposto, entender o que impediu quem não conseguiu: falta de oportunidade, falta de suporte, desenho do treinamento que não preparou para a situação real, ou qualquer outro fator identificável. É uma investigação de causa, não uma contagem de resultado.

O viés que o método assume de propósito

Um método que estuda deliberadamente os extremos, e principalmente os casos de sucesso, carrega um viés de seleção conhecido: quem teve sucesso pode ter conseguido por razões que não se repetem para a maioria, e generalizar a partir de poucos casos favoráveis distorce qualquer estimativa sobre o programa como um todo. Isso precisa ser dito com clareza, porque é exatamente o tipo de detalhe que costuma sumir quando o método é citado de forma solta em apresentação de resultado.

O Success Case Method não existe para produzir uma estimativa representativa de quantas pessoas, no total, aplicaram o treinamento. Ele não substitui uma pesquisa de cobertura ampla quando a pergunta é essa. Ele existe para outra coisa: gerar aprendizado acionável sobre o que faz a transferência acontecer, extraído de quem já demonstrou que ela é possível naquele contexto específico. São perguntas diferentes, e confundir uma com a outra é o erro mais comum na hora de usar o método.

Para que serve, e para que não serve

Se a pergunta que a liderança está fazendo é sobre qual proporção do público aplicou o treinamento, o Success Case Method não é a ferramenta certa, porque ele não foi desenhado para produzir esse número, e forçar essa leitura sobre uma amostra pequena e deliberadamente enviesada produz uma conclusão que parece precisa e não é. Essa é uma pergunta melhor respondida por outro tipo de coleta, com amostra representativa e taxa de resposta que sustente generalização.

Se a pergunta é o que precisa estar presente para que a aplicação aconteça, e o que costuma faltar quando ela não acontece, o método entrega exatamente isso, e entrega com uma riqueza de detalhe que uma pesquisa de larga escala normalmente não alcança, porque perguntas fechadas de formulário raramente capturam a sequência de decisões que levou alguém a aplicar ou não aplicar o que aprendeu. A dimensão de Impacto do diagnóstico da Arax trata essa distinção como central: medir aplicação é uma pergunta, entender o que a viabiliza é outra, e cada uma pede um instrumento diferente. É uma leitura que conversa com a fase de Prática do método CCPS, voltada para o mesmo tipo de aplicação real que o método busca identificar depois do lançamento.

Como aplicar sem virar estatística inventada

Na prática, aplicar o método bem exige disciplina em três pontos. Selecionar os casos de sucesso e de não sucesso com um critério claro e verificável, não pela lembrança de quem estava mais visível ou mais falante durante o programa. Conduzir a entrevista buscando a sequência de fatores que permitiu ou impediu a aplicação, não uma confirmação de que o treinamento foi bom. E, ao reportar o resultado, apresentar os achados como aprendizado qualitativo sobre o que funciona, nunca como uma proporção do público total, porque nenhum número de casos estudados, por si só, autoriza essa generalização.

Esse último ponto é onde a tentação de inflar o método aparece com mais frequência: transformar um achado qualitativo, alguns casos de sucesso analisados em profundidade e um punhado de fatores recorrentes identificados entre eles, em uma afirmação que soa como se a maioria do público tivesse aplicado o treinamento. São afirmações diferentes, e só a primeira é sustentada pelo desenho da investigação.

Há ainda uma escolha metodológica que merece cuidado: os casos de não sucesso não devem ser descartados como ruído a ignorar. Eles carregam informação equivalente à dos casos de sucesso, muitas vezes mais direta, porque mostram com precisão qual obstáculo específico impediu a aplicação. Um relatório de Success Case Method que só documenta quem teve êxito perde metade do valor do método, porque a comparação entre os dois grupos é o que revela o que realmente separa um resultado do outro, mais do que a descrição isolada de qualquer um deles.

Segunda-feira: escolher os casos antes de escrever o relatório

Antes de reportar o resultado de um programa já lançado, escolha entre três e cinco pessoas que claramente aplicaram o que aprenderam e um número parecido de quem claramente não aplicou. Entreviste os dois grupos com as mesmas perguntas sobre o que ajudou e o que atrapalhou. Escreva o relatório em torno dos fatores encontrados, não em torno de uma média que a amostra escolhida nunca teve a intenção de representar. É um relatório mais estreito do que uma pesquisa geral, e também mais útil para decidir o que corrigir no próximo programa.