Os agentes do Modelo de Linguagem Grandes (LLM) não são muito bons em partes importantes do CRM, de acordo com um estudo liderado pelo cientista do Salesforce AI Kung-Hsiang Huang.
O relatório mostrou que os agentes da IA tinham uma taxa de sucesso de cerca de 58% em tarefas de uma etapa que não exigiam ações ou informações de acompanhamento. Isso caiu para 35% quando uma tarefa exigiu várias etapas. Os agentes também eram notavelmente ruins em lidar com informações confidenciais.
“Os agentes demonstram baixa conscientização sobre confidencialidade, que, embora improváveis por meio de impulsionamento direcionado, geralmente afetam negativamente o desempenho da tarefa”, afirmou o relatório.
Desempenho variável e problemas de várias turnos
Enquanto os agentes lutavam com muitas tarefas, eles se destacaram na “execução do fluxo de trabalho”, com os melhores agentes tendo uma taxa de sucesso de 83% nas tarefas de uma volta única. A principal razão pela qual os agentes lutaram com tarefas de várias etapas foram a dificuldade de adquirir proativamente as informações necessárias e especificadas por meio de diálogos de esclarecimento.
Cavar mais: 7 dicas para começar com agentes e automações de IA
Quanto mais agentes pediam esclarecimentos, melhor o desempenho geral em cenários complexos de várias turnos. Isso sublinha o valor da coleta de informações eficaz. Isso também significa que os profissionais de marketing devem estar cientes dos problemas dos agentes que lidam com as conversas diferenciais dos clientes que exigem coleta de informações iterativas ou solução dinâmica de problemas.
Alarmante falta de conscientização sobre confidencialidade
Uma das maiores sugestões para os profissionais de marketing: A maioria dos grandes modelos de linguagem quase não tem sentido interno do que conta como confidencial. Eles não entendem naturalmente o que é sensível ou como deve ser tratado.
Você pode solicitá -los a evitar compartilhar ou agir com informações privadas – mas isso vem com trocas. Esses avisos podem tornar o modelo menos eficaz na conclusão das tarefas, e o efeito se desgasta em conversas prolongadas. Basicamente, quanto mais você tiver, maior a probabilidade de o modelo esquecer essas instruções de segurança originais.
Os modelos de código aberto lutaram mais com isso, provavelmente porque têm mais dificuldade em seguir instruções em camadas ou complexas.
Cavar fundo: Salesforce Agentforce: o que você precisa saber
Esta é uma bandeira vermelha séria para os profissionais de marketing que trabalham com PII, informações confidenciais do cliente ou dados proprietários da empresa. Sem salvaguardas sólidas e testadas, o uso de LLMs para tarefas sensíveis pode levar a violações de privacidade, problemas legais ou danos à marca.
A linha inferior: Os agentes da LLM ainda não estão prontos para um trabalho de alto risco e pesado de dados, sem melhor raciocínio, protocolos de segurança mais fortes e habilidades mais inteligentes.
O estudo completo está disponível aqui.
Fonte ==> Istoé
