A geração aumentada de recuperação (RAG) tornou-se o padrão de fato para fundamentar grandes modelos de linguagem (LLMs) em dados privados. A arquitetura padrão – agrupar documentos, incorporá-los em um banco de dados vetorial e recuperar os k resultados principais por meio de similaridade de cosseno – é eficaz para pesquisa semântica não estruturada. No entanto, para domínios empresariais caracterizados por dados altamente interligados (cadeia de abastecimento, conformidade financeira, deteção de fraudes), o RAG apenas vetorial falha frequentemente. Ele captura semelhança mas sente falta estrutura. Ele luta com questões de raciocínio multi-hop como, "Como o atraso no Componente X afetará nossa entrega do terceiro trimestre para o Cliente Y?" porque o armazenamento de vetores não "saber" que o Componente X faz parte da entrega do Cliente Y. Este artigo explora o padrão RAG aprimorado por gráfico. Com base na minha experiência na construção de sistemas de registro de alto rendimento na Meta e na infraestrutura de dados privados na Cognee, percorreremos uma arquitetura de referência que combina a flexibilidade semântica da pesquisa vetorial com o determinismo estrutural dos bancos de dados gráficos. O problema: quando a pesquisa vetorial perde o contexto Os bancos de dados vetoriais são excelentes na captura de significado, mas descartam a topologia. Quando um documento é fragmentado e incorporado, os relacionamentos explícitos (hierarquia, dependência, propriedade) geralmente são nivelados ou totalmente perdidos. Considere um cenário de risco na cadeia de abastecimento. Embora este seja um exemplo hipotético, ele representa a classe exata de problemas estruturais que vemos constantemente nas arquiteturas de dados empresariais: Dados estruturados: Um banco de dados SQL que define que o Fornecedor A fornece o Componente X à Fábrica Y. Dados não estruturados: Uma reportagem afirmando, "As inundações na Tailândia interromperam a produção nas instalações do Fornecedor A." Uma pesquisa vetorial padrão para "riscos de produção" recuperará a reportagem. No entanto, provavelmente falta o contexto para vincular esse relatório à produção da Fábrica Y. O LLM recebe a notícia, mas não consegue responder à questão crítica do negócio: "Quais fábricas downstream estão em risco?" Na produção, isso se manifesta como alucinação. O LLM tenta preencher a lacuna entre a reportagem e a fábrica, mas não possui o vínculo explícito, o que o leva a adivinhar as relações ou a retornar uma resposta. "Não sei" resposta apesar dos dados estarem presentes no sistema. O padrão: recuperação híbrida Para resolver isso, partimos de um "Pano plano" para um "Gráfico RAG" arquitetura. Isso envolve uma pilha de três camadas: Ingestão (O "meta" Lição): Na Meta, trabalhando na infraestrutura de registro do Shops, aprendemos que a estrutura deve ser aplicada na ingestão. Você não pode garantir análises confiáveis ​​se tentar reconstruir posteriormente a estrutura a partir de logs confusos. Da mesma forma, no RAG, devemos extrair entidades (nós) e relacionamentos (arestas) durante a ingestão. Podemos usar um modelo LLM ou de reconhecimento de entidade nomeada (NER) para extrair entidades de blocos de texto e vinculá-los a registros existentes no gráfico. Armazenar: Usamos um banco de dados gráfico (como Neo4j) para armazenar o gráfico estrutural. Os embeddings de vetores são armazenados como propriedades em nós específicos (por exemplo, um nó RiskEvent). Recuperação: Executamos uma consulta híbrida: Varredura vetorial: Encontre pontos de entrada no gráfico com base na semelhança semântica. Percurso gráfico: Atravesse os relacionamentos a partir desses pontos de entrada para reunir o contexto. Implementação de referência Vamos construir uma implementação simplificada deste analisador de risco da cadeia de suprimentos usando Python, Neo4j e OpenAI. 1. Modelando o gráfico Precisamos de um esquema que conecte nossos sistemas não estruturados "eventos de risco" para nossa estrutura "cadeia de mantimentos" entidades. 2. Ingestão: estrutura de ligação e semântica Nesta etapa, assumimos que o gráfico estrutural (fornecedores -> fábricas) já existe. Nós ingerimos um novo não estruturado "evento de risco" e vincule-o ao gráfico. 3. A consulta de recuperação híbrida Este é o principal diferencial. Em vez de apenas retornar os k pedaços principais, usamos Cypher para realizar uma pesquisa vetorial para encontrar o evento e, em seguida, percorrer para encontrar o impacto posterior. A saída: em vez de um pedaço de texto genérico, o LLM recebe uma carga estruturada: ({‘issue’: ‘Inundações graves…’, ‘impacted_supplier’: ‘TechChip Inc’, ‘risk_to_factory’: ‘Assembly Plant Alpha’}) Isso permite que o LLM gere uma resposta precisa: "A inundação na TechChip Inc coloca a Assembly Plant Alpha em risco." Lições de produção: latência e consistência Mover essa arquitetura de um notebook para produção exige lidar com compensações. 1. O imposto de latência As travessias de gráficos são mais caras do que pesquisas simples de vetores. Em meu trabalho de experimentação de imagens de produtos na Meta, lidamos com orçamentos de latência rígidos, onde cada milissegundo impactava a experiência do usuário. Embora o domínio fosse diferente, a lição arquitetônica se aplica diretamente ao Graph RAG: você não pode se dar ao luxo de calcular tudo na hora. RAG somente vetorial: Tempo de recuperação de aproximadamente 50-100 ms. RAG aprimorado com gráfico: Tempo de recuperação de aproximadamente 200-500 ms (dependendo da profundidade do salto). Mitigação: Usamos cache semântico. Se um usuário fizer uma pergunta semelhante (semelhança de cosseno > 0,85) a uma consulta anterior, exibiremos o resultado do gráfico em cache. Isto reduz o "imposto gráfico" para consultas comuns. 2. O "borda obsoleta" problema Em bancos de dados vetoriais, os dados são independentes. Em um gráfico, os dados são dependentes. Se o Fornecedor A parar de fornecer a Fábrica Y, mas a borda permanecer no gráfico, o sistema RAG alucinará com segurança um relacionamento que não existe mais. Mitigação: Os relacionamentos gráficos devem ter Time-To-Live (TTL) ou ser sincronizados por meio de pipelines Change Data Capture (CDC) da fonte da verdade (o sistema ERP). Quadro de decisão de infraestrutura Você deve adotar o Graph RAG? Aqui está a estrutura que usamos na Cognee: Use RAG somente vetorial se: O corpus é plano (por exemplo, um Wiki caótico ou um despejo do Slack). As perguntas são amplas ("Como faço para redefinir minha VPN?"). Latência Cyberseo

Para que os sistemas de IA continuem a melhorar no trabalho do conhecimento, necessitam de um mecanismo fiável para o autoaperfeiçoamento autónomo ou

The company formerly known as Intercom just did something that no major customer service platform has attempted at scale: it built an AI

Novo código aberto da startup de observabilidade Raindrop AI, licenciado pelo MIT "Oficina" A ferramenta, lançada hoje, oferece aos desenvolvedores algo que eles

Durante décadas, o teste de QI tem sido um dos parâmetros mais familiares – e mais contestados – da inteligência humana. Agora, um

Any development environment that installed or imported one of the 172 compromised npm or PyPI packages published since May 11 should be treated

A IA está deixando a era da "baseado em turnos" bater papo? No momento, todos nós que usamos modelos de IA regularmente no

Os agentes de IA escolhem ferramentas de registros compartilhados combinando descrições em linguagem natural. Mas nenhum humano está verificando se essas descrições são