A maioria das implantações empresariais de IA até agora se concentrou em assistentes de codificação e bots de atendimento ao cliente. Em vez disso, o Morgan Stanley implantou agentes em um dos fluxos de trabalho mais críticos para a precisão e orientado a prazos do setor bancário – reconciliação de lucros e perdas (P&L) – e cortou o trabalho pela metade. A parte contra-intuitiva: chegou lá tornando o sistema menos autônomo, e não mais.
Os humanos permanecem informados e suas decisões são transformadas iterativamente em regras repetíveis que o sistema pode aplicar por conta própria.
“É muito mais um colega de trabalho do que um copiloto”, disse o diretor administrativo do Morgan Stanley, Todd Johnson, em um evento recente do VB AI Impact. O sistema interno de agentes de produção, conhecido como FIXR, vai além de simples e direto "tipo de IA 1.0" tarefas. “Achamos que é aí que está a oportunidade de realmente desbloquear trabalhos mais complexos na organização.”
FIXR nos bastidores
Todos os dias de negociação, as mesas de negociação do Morgan Stanley cuidam do trabalho importante em torno de transações como ações em dinheiro ou investimentos em dívida.
E, no final de cada um desses dias, os controladores devem reconciliar os lucros e perdas dos sistemas de Finanças, Risco, Operações e Captura Comercial do gigante financeiro. Todos esses dados devem ser reunidos e, talvez não surpreendentemente, centenas de milhares de atributos frequentemente não conseguem corresponder.
Normalmente, isso significa que os controladores devem investigar manualmente cada incompatibilidade (ou “quebra”), tomar decisões sobre os ajustes e, idealmente, assinar antes que o número chegue à mesa. E tudo isso enquanto trabalhava em um difícil prazo matinal.
Anteriormente, isso poderia levar até seis horas para um único livro. Agora, o FIXR executa a tarefa em duas a três horas, disse Johnson. Entre os cerca de 100 controladores que fazem esse trabalho, isso representa cerca de 1.500 horas economizadas por semana.
Após a conclusão dos cálculos de P&L noturnos, o sistema analisa automaticamente as “quebras” e propõe resoluções com base nas regras aprendidas. Vários agentes trabalham juntos:
-
Interpreta-se as orientações anteriores para desenvolver resoluções para o início do dia.
-
Aprende-se com o comportamento do controlador e documenta-se as regras que eles aplicam.
-
Um converte padrões repetidos em lógica automatizada e durável.
Com o tempo, o sistema pode limpar automaticamente certas falhas encontradas antes, sugerir soluções para outras que possam ser menos familiares, pedir ajuda quando não tiver certeza e sinalizar para investigação humana. Quando os itens são resolvidos repetidamente através do mesmo método, podem criar regras firmes.
Criticamente, os humanos não saem do circuito, mas permanecem totalmente nele, disse ele. Eles revisam, aprovam ou corrigem todas as recomendações e, em seguida, retroalimentam essas decisões para melhorar a próxima execução. O agente aprende diariamente com os controladores o que acerta e o que erra e codifica esse conhecimento à medida que itera.
“Você ainda preserva esse elemento de responsabilidade humana mesmo quando começa a automatizar”, disse Johnson. “Com o tempo, você verá cada vez mais desses itens resolvidos de forma automática.”
Enfatizou que a autonomia exige muita confiança; as empresas não verão ganhos de eficiência se todos verificarem tudo o que um agente faz.
O ciclo de feedback humano-agente foi fundamental para enfrentar o desafio da automação controlada, medida e repetível. “Reconhecemos que toda essa inteligência que está na mente de um controlador será difícil de ser transmitida a um agente no primeiro dia”, disse Johnson.
Concentre-se no processo primeiro, na extensibilidade
Era fundamental estabelecer processos primeiro, antes de envolver qualquer IA, disse Johnson. Sua equipe realizou uma avaliação de inteligência de processo “muito completa” que mapeou e explorou fluxos de trabalho para identificar onde a automação seria mais vantajosa: os agentes de resposta, a automação tradicional ou a simples reengenharia foram uma etapa ineficiente?
“Se conseguirmos resolver isso primeiro, antes de adicionarmos agentes ao problema, então estaremos realmente transformando a oportunidade”, disse ele.
O processo de aprovação de P&L estava repleto de etapas manuais adequadas para automação, e os agentes que assumem algumas dessas tarefas demoradas estão liberando os controladores para “análises de maior valor agregado” e trabalho de “consideração de risco mais profunda”, disse ele.
A extensibilidade, porém, era tão importante quanto a economia de tempo. A equipe de Johnson escolheu esse caso de uso específico de reconciliação de lucros e perdas porque centenas de controladores estavam fazendo esse trabalho globalmente em toda a empresa (nas Américas, na Europa, na Ásia).
Portanto, comece com um caso de uso, prove-o, estenda-o, “e então, em última análise, a transformação ocorrerá à medida que implementarmos isso cada vez mais em toda a organização”, disse Johnson.
Determinístico por design
Johnson disse que a equipe também limitou deliberadamente o quanto o fluxo de trabalho dependia do julgamento do modelo. "Se você tiver a oportunidade de tornar as coisas muito prescritas e repetíveis, isso é mais barato em termos de consumo de token, é mais repetível em termos de controles – e fazer com que o LLM faça as coisas onde você não precisa desse tipo de fluxo de trabalho determinístico," ele disse.
À medida que o sistema recebe mais feedback do controlador sobre um determinado tipo de quebra, o Morgan Stanley converte esse padrão em uma regra fixa em vez de deixá-lo para o modelo.
Os humanos ainda possuem o comportamento
Uma questão interessante (e talvez fundamental) levantada no início da era da agência é: os agentes são funcionários codificados ou digitais?
Johnson argumenta que “provavelmente são um pouco dos dois” e, como tal, exigem nuances quando se trata de governação e supervisão. As equipes técnicas ainda devem ser responsáveis por manter proteções e barreiras como firewalls ou criptografia, por exemplo.
Mas há uma nova dinâmica em torno do “elemento de desempenho”: os seres humanos que usam agentes são responsáveis por eles porque isso ajuda no trabalho de seus negócios. Por exemplo, se um controlador sênior está trabalhando com um controlador júnior, ele não abre mão da responsabilidade apenas porque alguém o está ajudando, observou Johnson.
“Um dos nossos fortes princípios na governação da IA em geral é que tem sempre de haver responsabilidade humana, mesmo que haja um certo grau de automatização”, disse ele.
Mas normalmente não existe “uma única pessoa” e o processo é, em última análise, contínuo. Até este ponto, Johnson brincou dizendo que uma coisa “deprimente” sobre a IA de agência é que ela exigirá treinamento contínuo porque os modelos estão em constante mudança.
“Você nunca será capaz de dizer: ‘Fizemos todas as avaliações e testes que precisamos fazer. Vamos deixar para lá.’ Você terá que ter uma visão constante à medida que evolui ao longo do tempo.”
Morgan Stanley está visando pontos problemáticos reais da empresa
A experiência do Morgan Stanley reflete os padrões que a VentureBeat descobriu nas implantações empresariais de IA.
Na recente pesquisa VB Pulse da VentureBeat, quase três quartos dos entrevistados relataram ter visto pouco ou nenhum ROI no ajuste fino do modelo personalizado, descrevendo um "cemitério de caixa de areia" de projetos de IA cuja manutenção se revelou demasiado dispendiosa. Isto sugere que a abordagem de compra e mistura do Morgan Stanley, que prioriza o processo, pode ser mais sustentável do que perseguir modelos personalizados. A pesquisa teve 87 entrevistados e os resultados devem ser considerados direcionais.
A governação surgiu como outro desafio comum: 38% dos inquiridos citaram a falta de um único proprietário responsável como a sua maior barreira à IA de produção, enquanto apenas duas das 87 empresas inquiridas tinham monitorização ativa e alertas para detetar falhas de modelo.
Fonte ==> Cyberseo
