Karpathy compartilha a arquitetura ‘LLM Knowledge Base’ que contorna o RAG com uma biblioteca de descontos em evolução mantida pela IA

Os codificadores de vibração de IA têm mais um motivo para agradecer a Andrej Karpathy, o criador do termo.

O ex-diretor de IA da Tesla e cofundador da OpenAI, agora executando seu próprio projeto independente de IA, postou recentemente no X descrevendo um "Bases de conhecimento LLM" abordagem que ele está usando para gerenciar vários tópicos de interesse de pesquisa.

Ao construir um registro persistente de seus projetos mantido pelo LLM, Karpathy está resolvendo a principal frustração de "apátrida" Desenvolvimento de IA: a temida redefinição do limite de contexto.

Como qualquer pessoa que tenha vibe coded pode atestar, atingir um limite de uso ou encerrar uma sessão muitas vezes parece uma lobotomia para o seu projeto. Você é forçado a gastar tokens (e tempo) valiosos reconstruindo o contexto da IA, esperando que ela "lembra" as nuances arquitetônicas que você acabou de estabelecer.

Karpathy propõe algo mais simples, mais flexível e desordenadamente elegante do que a solução empresarial típica de um banco de dados vetorial e pipeline RAG.

Em vez disso, ele descreve um sistema onde o próprio LLM atua como um "bibliotecário de pesquisa"— compilar, lintar e interligar ativamente arquivos Markdown (.md), o formato de dados mais compacto e compatível com LLM.

Ao desviar uma parte significativa de seu "taxa de transferência de token" na manipulação de conhecimento estruturado em vez de código padronizado, Karpathy apresentou um plano para a próxima fase do "Segundo Cérebro"—um que é auto-recuperável, auditável e totalmente legível por humanos.

Além do RAG

Nos últimos três anos, o paradigma dominante para dar aos LLMs acesso a dados proprietários tem sido Geração Aumentada de Recuperação (RAG).

Em uma configuração RAG padrão, os documentos são divididos em "pedaços," convertidos em vetores matemáticos (embeddings) e armazenados em banco de dados especializado.

Quando um usuário faz uma pergunta, o sistema executa uma "pesquisa de similaridade" para encontrar os pedaços mais relevantes e inseri-los na abordagem do LLM.Karpathy, que ele chama Bases de conhecimento LLMrejeita a complexidade dos bancos de dados vetoriais para conjuntos de dados de médio porte.

Em vez disso, depende da capacidade crescente do LLM de raciocinar sobre textos estruturados.

A arquitetura do sistema, conforme visualizada pelo usuário X @himanshu em parte das reações mais amplas à postagem de Karpathy, funciona em três estágios distintos:

1. Ingestão de dados: Matérias-primas – artigos de pesquisa, repositórios GitHub, conjuntos de dados e artigos da web – são despejados em um raw/ diretório. Karpathy utiliza o Obsidiana Web Clipper para converter conteúdo da web em Markdown (.md), garantindo que até mesmo as imagens sejam armazenadas localmente para que o LLM possa referenciá-las por meio de recursos de visão.

2. A etapa de compilação: Esta é a inovação central. Em vez de apenas indexar os arquivos, o LLM "compila" eles. Ele lê os dados brutos e escreve um wiki estruturado. Isso inclui a geração de resumos, a identificação de conceitos-chave, a autoria de artigos em estilo enciclopédico e, o que é crucial, a criação de backlinks entre ideias relacionadas.

3. Manutenção Ativa (Linting): O sistema não é estático. Karpathy descreve corrida "exames de saúde" ou "enrolado" passagens onde o LLM verifica o wiki em busca de inconsistências, dados ausentes ou novas conexões. Como membro da comunidade Charly Wargnier observado, "Ele atua como uma base viva de conhecimento de IA que realmente se cura."

Ao tratar os arquivos Markdown como "fonte da verdade," Karpatia evita o "caixa preta" problema de incorporação de vetores. Cada afirmação feita pela IA pode ser rastreada até um ponto específico .md arquivo que um ser humano pode ler, editar ou excluir.

Implicações para a empresa

Embora a configuração do Karpathy seja atualmente descrita como um "coleção hacky de scripts," as implicações para a empresa são imediatas.

Como observou o empresário Vamshi Reddy (@tammireddy) em resposta ao anúncio: "Cada empresa possui um diretório raw/. Ninguém nunca compilou isso. Esse é o produto."

Karpathy concordou, sugerindo que esta metodologia representa uma "novo produto incrível" categoria.

A maioria das empresas atualmente "afogar" em dados não estruturados – registros do Slack, wikis internos e relatórios em PDF que ninguém tem tempo de sintetizar.

UM "Estilo Karpatia" a camada empresarial não pesquisaria apenas esses documentos; seria o autor ativo de um "Bíblia da Empresa" que é atualizado em tempo real.

Como o educador de IA e autor do boletim informativo Ole Lehmann colocou no X: "acho que quem empacota isso para pessoas normais está sentado em algo enorme. um aplicativo que sincroniza com as ferramentas que você já usa, seus favoritos, seu aplicativo de leitura posterior, seu aplicativo de podcast, seus tópicos salvos."

Eugen Alpeza, cofundador e CEO da construtora de agentes empresariais de IA e startup de orquestração Edra, observou em uma postagem X que: "O salto do wiki de pesquisa pessoal para as operações empresariais é onde tudo se torna brutal. Milhares de funcionários, milhões de registros, conhecimento tribal que se contradiz entre equipes. Na verdade, há espaço para um novo produto e estamos construindo-o na empresa."

À medida que a comunidade explora o "Padrão Karpatia," o foco já está mudando da pesquisa pessoal para a orquestração multiagente.

Uma recente análise arquitetônica de @jumperz, fundador da plataforma de criação de agentes de IA Secondmate, ilustra essa evolução por meio de um "Base de conhecimento do enxame" que dimensiona o fluxo de trabalho do wiki para um sistema de 10 agentes gerenciado via OpenClaw.

O principal desafio de um enxame multiagente – onde uma alucinação pode se agravar e "infectar" a memória coletiva – é abordada aqui por um dedicado "Portão de qualidade."

Utilizando o modelo Hermes (treinado pela Nous Research para avaliação estruturada) como supervisor independente, cada rascunho do artigo é pontuado e validado antes de ser promovido ao "ao vivo" wiki.

Este sistema cria um "Loop Composto": os agentes despejam os resultados brutos, o compilador os organiza, o Hermes valida a verdade e os briefings verificados são retornados aos agentes no início de cada sessão. Isto garante que o enxame nunca "acorda em branco," mas, em vez disso, inicia cada tarefa com um briefing filtrado e de alta integridade de tudo o que o coletivo aprendeu

Dimensionamento e desempenho

Uma crítica comum às abordagens não vetoriais é a escalabilidade. No entanto, Karpathy observa que em uma escala de aproximadamente 100 artigos e aproximadamente 400.000 palavras, a capacidade do LLM de navegar por resumos e arquivos de índice é mais que suficiente.

Para um wiki departamental ou um projeto de pesquisa pessoal, o "fantasia RAG" infra-estrutura muitas vezes introduz mais latência e "ruído de recuperação" do que resolve.

O podcaster de tecnologia Lex Fridman (@lexfridman) confirmou que usa uma configuração semelhante, adicionando uma camada de visualização dinâmica:

"Muitas vezes faço com que ele gere HTML dinâmico (com js) que me permite classificar/filtrar dados e mexer nas visualizações de forma interativa. Outra coisa útil é fazer com que o sistema gere uma mini-base de conhecimento focada temporariamente… que então carrego em um LLM para interação em modo de voz em uma longa corrida de 7 a 10 milhas."

Esse "wiki efêmero" conceito sugere um futuro onde os usuários não apenas "bater papo" com uma IA; eles geram uma equipe de agentes para construir um ambiente de pesquisa personalizado para uma tarefa específica, que então se dissolve assim que o relatório é escrito.

Licenciamento e a filosofia ‘file-over-app’

Tecnicamente, a metodologia de Karpathy é construída em um padrão aberto (Markdown), mas vista através de lentes proprietárias, mas extensíveis (aplicativo de anotações e organização de arquivos Obsidian).

• Remarcação (.md): Ao escolher o Markdown, Karpathy garante que sua base de conhecimento não fique restrita a um fornecedor específico. É à prova de futuro; se o Obsidian desaparecer, os arquivos permanecerão legíveis por qualquer editor de texto.

• Obsidiana: Embora o Obsidian seja um aplicativo proprietário, seu "local primeiro" a filosofia e o EULA (que permite o uso pessoal gratuito e requer uma licença para uso comercial) se alinham com o desejo do desenvolvedor de soberania de dados.

• O "Codificado por vibração" Ferramentas: Os mecanismos de pesquisa e ferramentas CLI mencionados por Karpathy são scripts personalizados – provavelmente baseados em Python – que preenchem a lacuna entre o LLM e o sistema de arquivos local.

Esse "arquivo sobre aplicativo" a filosofia é um desafio direto para modelos pesados ​​​​de SaaS, como Notion ou Google Docs. No modelo Karpathy, o usuário possui os dados, e a IA é apenas um editor altamente sofisticado que "visitas" os arquivos para realizar o trabalho.

Bibliotecário vs. mecanismo de pesquisa

A comunidade de IA reagiu com uma mistura de validação técnica e "codificação de vibração" entusiasmo. O debate centra-se em saber se a indústria indexou excessivamente os bancos de dados vetoriais para problemas que são fundamentalmente relacionados à estrutura, e não apenas à similaridade.

Jason Paul Michaels (@SpaceWelder314), um soldador que usa Claude, expressou o sentimento de que ferramentas mais simples costumam ser mais robustas:

"Nenhum banco de dados vetorial. Sem incorporações… Apenas markdown, FTS5 e grep… Cada correção de bug… é indexada. O conhecimento se compõe."

Porém, o elogio mais significativo veio de Steph Ango (@Kepano), cocriadora da Obsidian, que destacou um conceito chamado "Mitigação de Contaminação."

Ele sugeriu que os usuários deveriam manter seus dados pessoais "cofre" limpe e deixe os agentes jogarem em um "cofre bagunçado," trazendo apenas os artefatos úteis depois que o fluxo de trabalho voltado para o agente os tiver destilado.

Qual solução é a certa para seus projetos empresariais de codificação vibe?

O "Banco de dados vetorial" abordagem é como um armazém enorme e desorganizado com um motorista de empilhadeira muito rápido. Você pode encontrar qualquer coisa, mas não sabe por que está ali ou como se relaciona com o palete próximo a ele. Karpatia "Wiki Markdown" é como uma biblioteca com curadoria e um bibliotecário-chefe que está constantemente escrevendo novos livros para explicar os antigos.

A próxima fase

A exploração final de Karpathy aponta para o destino final desses dados: Geração de Dados Sintéticos e Ajuste Fino.

À medida que o wiki cresce e os dados se tornam mais "puro" por meio de linting LLM contínuo, ele se torna o conjunto de treinamento perfeito.

Em vez do LLM apenas ler o wiki em seu "janela de contexto," o usuário pode eventualmente ajustar um modelo menor e mais eficiente no próprio wiki. Isto permitiria ao LLM "saber" a base de conhecimento pessoal do pesquisador em seus próprios pesos, essencialmente transformando um projeto de pesquisa pessoal em uma inteligência privada e personalizada.

Resumindo: Karpathy não apenas compartilhou um roteiro; ele compartilhou uma filosofia. Ao tratar o LLM como um agente ativo que mantém a sua própria memória, ele contornou as limitações do "tiro único" Interações de IA.

Para o pesquisador individual, significa o fim do "marcador esquecido."

Para a empresa, significa a transição de um "lago bruto/dados" para um "ativo de conhecimento compilado." Como o próprio Karpathy resumiu: "Você raramente escreve ou edita o wiki manualmente; é o domínio do LLM." Estamos entrando na era do arquivo autônomo.

Fonte ==> Cyberseo