Por que o treinamento em IA erra o alvo no trabalho real
Aqui está algo que vejo com bastante regularidade. Uma organização implementa treinamento em IA, as taxas de conclusão parecem boas e, seis meses depois, os funcionários locais estão usando a ferramenta exatamente como usavam antes de fazer o curso. O que não é de todo. O treinamento funcionou. Simplesmente não foi construído para mudar a forma como essas pessoas específicas trabalham. Existem três decisões de design que explicam a maioria das falhas no treinamento de IA. Nenhum deles é óbvio quando você está construindo o curso. Todos eles podem ser corrigidos quando você souber o que está vendo.
O cenário foi escrito para a pessoa errada
A maioria dos cenários de treinamento de IA são construídos em torno de um trabalho administrativo. Alguém analisa um documento, redige um e-mail, resume uma reunião. A IA ajuda nisso. Multar.
Agora imagine um representante de vendas de um distribuidor cujo trabalho é ficar em um balcão dizendo a um empreiteiro qual produto usar em seu trabalho. Ou um pintor descobrindo qual sistema de revestimento funciona na madeira externa em um clima úmido. Essas pessoas estão naquele treinamento de IA, clicando em um cenário sobre o resumo de uma proposta de projeto, e nada do que estão fazendo mapeia o dia real.
É como ensinar alguém a dirigir apenas mostrando-lhe como estacionar em paralelo um carro compacto quando o veículo que realmente dirigirá é uma picape grande. A habilidade está relacionada. O contexto está suficientemente distante para que a lição não chegue e o treinamento de IA falhe.
Encontrei um bom exemplo de como é o design certo há algumas semanas. Eu estava conduzindo uma sessão de sala de aula orientada por voz com Claude como uma ferramenta ao vivo – não um tópico sobre o qual estávamos conversando, mas algo que estávamos realmente usando juntos na sala. Um dos alunos estava em uma banda e estava lutando para conseguir que os bares locais os contratassem. Então, em vez de trabalhar em um exercício padrão de alerta e resposta de IA, usamos esse problema. Claude interpretou o dono de um bar com um motivo oculto específico para não contratar a banda – algo que o aluno não sabia ao entrar. O aluno teve que ter uma conversa real com esse personagem, descobrir qual era realmente a hesitação e abrir caminho para uma reserva de teste.
Ele chegou lá eventualmente. E o que ele praticou – ler um cliente resistente, ajustar seu discurso, não desistir quando a primeira resposta foi “não” – era diretamente aplicável ao que ele faria em uma sala real com um dono de bar real. A IA não era uma demonstração. Era um parceiro de prática desempenhando um papel que correspondia ao seu mundo real.
Essa é a diferença do design. Não é uma situação genérica de escritório – um problema real que essa pessoa específica está tentando resolver, com riscos que significam algo para ela.
A prática acontece no lugar errado
Pense em como os trabalhadores do comércio aprendem qualquer coisa física. Um técnico de acabamento não aprende a usar um novo sistema de pulverização assistindo a um vídeo e depois indo para o local de trabalho. Eles aprendem isso no trabalho, próximo à superfície que estão revestindo, com um resultado real pelo qual são responsáveis. A habilidade e o contexto se formam ao mesmo tempo. Isso não é uma crítica ao aprendizado em sala de aula – é apenas como o trabalho físico qualificado realmente é aprendido.
O uso de ferramentas de IA tem o mesmo problema. O hábito de verificar a ferramenta em uma etapa específica do fluxo de trabalho não surge dentro de um Sistema de Gestão de Aprendizagem. Ele se forma quando você o pratica naquela etapa real, naquele fluxo de trabalho real, vezes suficientes para que pare de parecer um novo comportamento.
A maior parte do eLearning não é construída dessa forma. O módulo de treinamento é independente, separado de tudo. Você conclui, volta ao trabalho e o hábito não tem para onde ir porque você nunca o praticou onde realmente trabalha. Para alguém que passa o dia na frente de um computador, essa lacuna é menor – geralmente eles conseguem superá-la sozinhos. Para quem passa o dia em pé, a maioria não o faz.
A solução é fazer com que a prática pareça o trabalho real. Se a ferramenta for usada na construção de uma cotação, a prática deve acontecer dentro de algo que se pareça com a construção de uma cotação – não em um campo de prompt em branco com fundo branco. Quanto mais próximo o contexto da prática estiver do fluxo de trabalho real, maiores serão as chances de o hábito realmente persistir.
Ninguém ensina aos alunos quando não confiar na ferramenta
Pense em como você descobriu quando confiar na navegação GPS. Você não fez curso. Você o seguiu até uma zona de construção, ou ele o desviou do caminho, e você aprendeu a substituí-lo em situações como essa. A confiança foi calibrada através de pequenas falhas em momentos em que não custou muito – e por causa disso, você sabe quando segui-la e quando usar seu próprio julgamento.
Os trabalhadores comerciais que entram em ferramentas de IA através de um programa de treinamento formal não têm essa experiência. Eles recebem uma resposta errada e confiante – uma especificação de produto que não corresponde ao que está no rótulo, um número de peça que parece certo, mas não é – e a ferramenta é descartada antes mesmo de ter uma chance justa. Não porque eles estejam sendo irracionais. Porque eles estão aplicando o mesmo padrão que aplicariam a qualquer fonte especializada: se você me der informações ruins sem sinalizar que não tem certeza, provavelmente não vou perguntar novamente. E honestamente, esse é um padrão justo a ser mantido. O treinamento simplesmente não proporcionou a eles os fracassos de baixo risco de que precisavam antes de atingirem aquele.
A indústria da formação preocupa-se sobretudo com o oposto: que os alunos confiem demasiado nos resultados da IA. Essa é uma preocupação real para alguns públicos. Na minha experiência com alunos profissionais e industriais, o fracasso que vejo com mais frequência vai na direção oposta. Uma resposta errada precoce e a ferramenta é descartada antes mesmo de ter uma chance justa.
A solução é incorporar a prática de calibração ao treinamento antes que aconteça a primeira falha no mundo real. Forneça aos alunos resultados de IA que sejam deliberadamente errados, de maneira que correspondam ao modo como a ferramenta realmente falha nesse tipo de trabalho – não bobagens óbvias, mas erros sutis que parecem plausíveis. Peça-lhes que descubram o que há de errado e descubram como verificariam isso. Isso exige mais trabalho de design do que um módulo padrão porque você precisa conhecer o domínio bem o suficiente para construir uma resposta errada plausível e alguém precisa revisá-la. Esse é um custo real. A alternativa são alunos que confiam em tudo ou em nada, e você não está pagando por nada disso.
O traço comum no treinamento de IA falha
Todas essas três falhas no treinamento de IA vêm do mesmo lugar: o curso foi projetado sem que ninguém se sentasse primeiro com o aluno real no fluxo de trabalho real. Uma tarde assim muda o que você constrói. Sem ele, você obtém um treinamento que termina dentro do prazo e não muda nada no chão.
