Não jogue 180 PDFs na IA. Comece com quatro páginas que você reescreveu ontem.

Quando o documento com a resposta certa fica no meio de vinte documentos, o modelo acerta menos do que acertaria sem documento nenhum. Não é força de expressão: no estudo Lost in the Middle, de pesquisadores de Stanford, Berkeley e Samaya AI, o desempenho do GPT-3.5-Turbo com a informação relevante no meio do contexto ficou abaixo dos 56,1% que o mesmo modelo obteve respondendo de memória, sem nenhum documento (Liu et al., 2023, arXiv:2307.03172).

O mesmo trabalho mediu o efeito de aumentar a quantidade de documentos recuperados: passar de 20 para 50 melhorou o resultado em cerca de 1,5% no GPT-3.5-Turbo e 1% no Claude 1.3. Os autores concluem que o desempenho satura muito antes da recuperação — os modelos não usam bem o material extra.

Os modelos testados são de 2023 e os atuais lidam melhor com contexto longo. A conclusão de engenharia, porém, envelheceu bem: mais material recuperado não é mais qualidade de resposta. É mais chance de o trecho certo ficar enterrado no meio.

O erro de segunda-feira

O erro clássico tem uma cena fixa. Alguém ganha acesso à plataforma na segunda de manhã, abre a pasta do Drive, seleciona tudo — política de trocas de 2022, política de trocas de 2024, o contrato do fornecedor, três apresentações comerciais, a ata da reunião em que o prazo mudou, o PDF escaneado do manual — e sobe 180 arquivos de uma vez. À tarde, testa. O agente responde alguma coisa. Alguém diz que “está quase lá”.

Não está. A base agora contém três prazos de troca diferentes, todos verdadeiros em algum momento, nenhum marcado como o vigente. O agente vai escolher um. Provavelmente o mais bem escrito, não o mais recente.

Base de conhecimento não é backup. Se você subiu um documento só porque ele existe, ele vai ser recuperado algum dia, na frente de um cliente.

Comece pelas perguntas, não pelos arquivos

A inversão que resolve quase tudo: não pergunte “que documentos eu tenho?”. Pergunte “que perguntas eu recebo?”.

1. Extraia 20 perguntas reais dos últimos 30 dias. Reais mesmo, copiadas do WhatsApp, com os erros de digitação do cliente. Não a versão institucional da pergunta.

2. Escreva uma resposta canônica para cada uma. Uma, não duas. Cada resposta com um dono, uma data de revisão e um lugar só. Se a mesma regra aparece em dois arquivos, um dos dois está errado e você ainda não sabe qual.

3. Escreva para ser recuperado. O título da seção é a pergunta do cliente (“Posso trocar sem a nota fiscal?”), não a categoria interna (“Política de pós-venda — anexo III”). A resposta vem na primeira frase; a justificativa, depois. Um assunto por bloco. Sem tabela de layout, sem “conforme item 4.2 acima” — o trecho recuperado chega sozinho, sem o “acima”.

4. Decida o que não entra. Contratos com fornecedores, atas, apresentações comerciais, tabelas de preço antigas, PDFs escaneados sem texto e qualquer versão anterior de uma política. Nada disso é resposta a cliente. Se um documento não responde a nenhuma das 20 perguntas, ele fica fora — e você pode revisar essa decisão em duas semanas, com dados.

5. Coloque validade em tudo. Toda resposta canônica ganha uma data. Passou da data sem revisão, sai do ar. É mais fácil manter quatro páginas vivas do que 180 páginas mortas.

Quatro páginas bem escritas cobrindo as vinte perguntas mais frequentes vencem o Drive inteiro. Não por elegância: porque o trecho certo tem uma chance muito maior de chegar inteiro ao topo do contexto.

O critério de escrita já existe na lei

O Decreto nº 11.034/2022, que rege o SAC dos fornecedores de serviços regulados pelo Executivo federal, exige no art. 13, §2º, que a resposta ao consumidor seja “clara, objetiva e conclusiva” e aborde todos os pontos da demanda. Mesmo que o seu negócio não esteja no escopo do decreto, adote a régua: se a sua resposta canônica não é conclusiva, o agente vai preencher a lacuna com o que parecer plausível. E o que parece plausível vira oferta.

Escopo estreito não é limitação, é a estratégia

O agente de IA do Magalu no WhatsApp passou de R$ 100 milhões em vendas em quase um ano e acumulou 7,7 milhões de usuários. Perguntado sobre o que automatizar, o Chief AI Officer da companhia, Caio Gomes, separou as compras rotineiras e de baixa carga emocional, que valem delegar ao agente, das compras de alta carga emocional, que o cliente quer fazer ele mesmo (Mobile Time, 17 de agosto de 2026).

A empresa com sete milhões de usuários no canal está escolhendo o que o agente não faz. É a mesma decisão que você toma quando deixa 176 arquivos fora da base.

Como saber se piorou

Sem teste, toda mudança na base parece melhora, porque você testa com a pergunta que acabou de escrever a resposta.

Monte um conjunto fixo: 30 perguntas com a resposta esperada ao lado, escritas por quem atende, não por quem configura. Inclua cinco perguntas cuja resposta correta é “não tenho essa informação”. Rode o conjunto inteiro antes e depois de cada alteração e anote dois números: quantas acertaram e quantas inventaram. A segunda coluna importa mais. Uma base que sobe de 24 para 26 acertos e passa de 1 para 4 invenções ficou pior.

Guarde os resultados numa planilha com data. Em três meses, essa planilha é a única coisa que vai te dizer se o projeto está andando.

O que fazer amanhã de manhã

1. Abra a sua base de conhecimento atual e conte os documentos. Se passar de 30, você provavelmente subiu pasta, não resposta.
2. Liste as 20 perguntas reais. Uma hora de leitura das conversas do último mês resolve.
3. Encontre a primeira contradição. Procure “prazo” em todos os documentos e veja quantos números diferentes aparecem. Essa contagem costuma ser a parte mais desconfortável da manhã.
4. Reescreva quatro páginas e apague o resto da base. Não arquive: apague da base, os arquivos continuam no Drive. Rode o conjunto de 30 perguntas antes e depois.

Se as respostas melhorarem com 176 documentos a menos, você aprendeu a coisa mais útil que essa tecnologia tem a ensinar.

---

O ChatMade aprende com URLs e PDFs e, com a citação ligada — ela vem desligada por padrão —, mostra de qual trecho veio cada resposta, o que torna a contradição visível antes de o cliente encontrar. Entre no painel.