Documentação escrita para ser recuperada
Um sistema que responde perguntas de suporte sobre a documentação de um ERP. A ideia central é simples: se quem escreve a documentação é um modelo de linguagem seguindo um contrato, o mecanismo de busca pode contar com a estrutura que o contrato garante.
O contrato de documentação
O corpus é a documentação de um ERP brasileiro com cerca de 270 telas: 473 documentos em português, de telas, relatórios, regras de negócio, integrações e estruturas de dados. Ela é gerada por um modelo de linguagem a partir do código-fonte do produto, e regenerada por integração contínua a cada versão.
O modelo escreve sob um contrato: todo documento tem os mesmos campos de cabeçalho, as mensagens de erro aparecem em tabelas com o texto exato que o sistema exibe, as permissões têm formato fixo, e há mais de mil pares de pergunta e resposta frequentes. O contrato existe para o leitor humano, mas dá ao buscador algo raro em documentação: estrutura em que se pode confiar.
A busca
Tudo roda em uma única instância de PostgreSQL, com busca vetorial (pgvector, índice HNSW) e busca textual lado a lado. Os documentos são divididos em seis tipos de trecho, cerca de 39,7 mil no total: seções, linhas de tabela, mensagens, permissões, perguntas frequentes e resumos.
- Atalhos de correspondência exata. Se a pergunta contém uma mensagem de erro ou um nome de permissão que existe nas tabelas, a resposta vem delas, sem passar pela busca semântica.
- Busca híbrida. Cinquenta candidatos da busca densa e cinquenta da lexical, combinados por fusão de postos recíprocos.
- Reordenação por um modelo cross-encoder.
- Expansão para a seção-mãe, para que a resposta seja escrita com o contexto inteiro e não com um fragmento.
Como medir
O mapa da documentação fornece pares de pergunta e documento correto, separados em um conjunto de desenvolvimento (929 perguntas) e um de teste (214), que não é usado para ajustar nada. Como essas perguntas reutilizam o vocabulário dos documentos, há um terceiro conjunto, de 214 paráfrases em linguagem coloquial, e conjuntos operacionais com mensagens de erro coladas.
Cada componente do pipeline foi removido em uma ablação, e 23 modelos de embedding foram comparados sob o mesmo protocolo. Todos os números do manuscrito estão mapeados, em um arquivo do repositório, para o arquivo e o campo de onde saíram, e um script confere os que podem ser conferidos.
recall-por-modelo.csv do repositório público.O que os números dizem
- No conjunto de teste literal, o pipeline completo encontra o documento certo entre os dez primeiros em todas as 214 perguntas (recall@10 de 1,000; MRR de 0,927).
- Nas paráfrases, o recall@10 cai para 0,874. É o número que descreve melhor o uso real.
- A busca lexical sozinha vai muito bem nas perguntas literais (0,981) e desaba nas paráfrases (0,16). A busca densa sozinha perde o documento em 26 das 214 perguntas literais. Nenhuma das duas basta.
- As tabelas de correspondência exata valem de 14 a 18 pontos de recall quando o usuário cola uma mensagem de erro: de 0,82 e 0,86 para 1,00.
- A reescrita da pergunta por um modelo de linguagem, técnica comum em sistemas desse tipo, piorou o resultado: de 1,000 para algo entre 0,907 e 0,916 no conjunto literal, e de 0,874 para 0,855 nas paráfrases.
Limites
O repositório público contém o pacote de recuperação que está em produção, os conjuntos de referência, os resultados arquivados e um subconjunto de 30 documentos, suficiente para rodar a ingestão e a avaliação de ponta a ponta. Os outros 443 documentos e o texto integral do contrato pertencem ao fornecedor do ERP e não foram publicados; o nome do produto foi substituído por termos genéricos em todos os arquivos.
As 62 perguntas reais de clientes coletadas nos primeiros dias de uso não estão rotuladas e não entram em nenhuma métrica. O sistema foi medido em um corpus e em um idioma, e o manuscrito distingue três níveis de reprodutibilidade para dizer o que um leitor externo consegue refazer.