Como checar os fatos de uma resposta do Claude antes de confiar?

Fala aí, beleza? Existe um tipo de resposta que engana até quem já tá calejado: aquela cheia de nome próprio, data e lista, escrita com uma confiança absurda

Parece certíssima

E às vezes não é

Isso não é teoria de internet, não: a própria central de ajuda da Anthropic reconhece que o Claude pode produzir respostas incorretas ou enganosas, pode se confundir sobre eventos atuais por não ter sido treinado com a informação mais recente e pode até exibir citações que PARECEM confiáveis sem ter base em fato

A orientação oficial é direta: não use o Claude como fonte única de verdade, e escrutine com cuidado qualquer resposta de alto risco

Então bora montar uma rotina curta de conferência, pra rodar antes de você copiar aquilo pra um post, um relatório ou um código 🙂

O que você precisa antes de começar a verificação

Boa notícia primeiro: não tem pré-requisito caro aqui

A busca na web do Claude está disponível globalmente em todos os planos, inclusive o gratuito. No plano gratuito as buscas contam nos limites diários de uso, então é bom saber que aquilo consome sua cota (o mesmo vale pro web fetch)

Ou seja: nada de plano especial, nada de configuração exótica, nada de PC da Nasa

Para ligar no Claude.ai, você usa o botão "+" no canto inferior esquerdo da janela do chat

Se você usa uma conta de organização, tem um passo antes: o administrador precisa habilitar a busca na web em Admin settings > Capabilities. Sem isso, o botão do usuário não resolve

Um aviso de escopo antes de seguir:

Essa instrução do botão "+" é do Claude.ai, do chat

Menu de um produto não é instrução de outro produto. No Claude Code, por exemplo, a coisa funciona por ferramentas de busca dentro da sessão, e eu falo disso lá embaixo

Tome cuidado com tutorial que mistura os dois, é o erro mais comum que eu vejo por aí

Passo a passo: como conferir nomes, datas e listas antes de confiar

A lógica dessa rotina é simples: em vez de perguntar "será que tá certo?", você força a resposta a mostrar de onde veio

Se ela não consegue mostrar, já é resposta

1. Peça a busca de forma explícita no prompt

A própria central de ajuda orienta escrever "Search the web" ou "Use web search" no prompt pra garantir que o Claude use a busca

Search the web e confirme cada nome e cada data da lista abaixo,
uma linha por item, com a fonte de onde saiu a confirmação

Erro comum deste passo: assumir que a busca rodou só porque a resposta parece atual. Se você não pediu, você não sabe

2. Abra a citação e leia a fonte, não o resumo

Quando o Claude usa informação vinda da web, ele fornece citações diretas com link pra fonte original, justamente pra você conferir

Então confira mesmo, beleza? Clica, abre, lê o trecho

Erro comum: bater o olho no domínio, ver que é um site conhecido e dar como verificado. O link existir não garante que o trecho resumido diz aquilo

3. Exija citação por afirmação

A documentação oficial "Reduce hallucinations" recomenda pedir que o Claude cite trechos e fontes de cada afirmação, o que torna a resposta auditável

Para cada afirmação da sua resposta, cite o trecho e a fonte que a sustentam.
Se não houver trecho que sustente, marque a afirmação como NÃO SUSTENTADA

Erro comum: aceitar uma citação só, no fim do texto, cobrindo o parágrafo inteiro. É aí que o item errado se esconde

4. Dê permissão explícita pro Claude dizer que não sabe

Essa é das técnicas mais subestimadas da documentação: permitir o "não sei" reduz bastante a invenção de informação

Se você não tiver certeza de algum item, responda "não sei" naquele item.
Preferir omitir a chutar

Erro comum: escrever um prompt que só admite lista completa. Se você exige 10 itens, você vai receber 10 itens, tendo 10 ou não

5. Restrinja o modelo às fontes que você forneceu

A mesma documentação lista a restrição de conhecimento externo: instruir o modelo a usar SÓ os documentos fornecidos, sem conhecimento geral

Use apenas o documento anexado. Não use conhecimento geral.
Se a resposta não estiver no documento, diga que não está

Erro comum: anexar o documento e ainda assim deixar a porta aberta pro modelo completar as lacunas de memória

6. Em documento longo, peça as citações literais primeiro

Pra documentos acima de 20 mil tokens, a documentação recomenda pedir primeiro a extração de citações literais, palavra por palavra, e só depois a tarefa em si

Passo 1: extraia as citações literais (palavra por palavra) que tratam do tema X
Passo 2: só depois de listar as citações, faça a análise usando apenas elas

Erro comum: mandar o documentão e a tarefa juntos, de uma vez. Aí o resumo já nasce por cima da memória, não por cima do texto

7. Verificação best-of-N: rode o mesmo prompt várias vezes

A documentação lista essa técnica direto: rodar o mesmo prompt múltiplas vezes e comparar as saídas, porque inconsistência entre elas indica alucinação

É o teste mais barato de todos, e o que mais me salva em lista de nomes e datas

Erro comum: comparar só o "tom" das respostas. Compare item a item, data a data

8. Refinamento iterativo: use a saída como entrada

Outra técnica listada: pegar a resposta e jogar num novo prompt pedindo verificação

Abaixo está uma resposta gerada anteriormente.
Verifique cada nome e cada data, aponte o que não se sustenta e mostre a fonte

Erro comum: perguntar "você tem certeza?" e aceitar o "tenho". Isso não é verificação, é concordância

E um fechamento honesto, porque a própria Anthropic é honesta nisso: a documentação afirma que essas técnicas reduzem significativamente as alucinações, mas NÃO eliminam

A rotina é rede de proteção, não vacina

Onde o modelo mais escorrega: filmografia, cronologia e catálogo

Pergunta de lista é a mais perigosa que existe

O motivo é meio óbvio quando tu para pra pensar: uma lista de filmografia, uma cronologia de lançamentos ou um catálogo de produtos exige recall exato de MUITOS itens de uma vez

E o erro não vem sozinho, ele vem escondido no meio dos acertos

São nove itens certos e um errado, com a mesma cara, o mesmo formato, a mesma confiança

Aqui eu preciso ser justo: não existe número oficial medindo o quanto o Claude erra nesse tipo específico de lista. Isso é régua de bolso minha, não benchmark

O que existe oficialmente são duas coisas que explicam bem o risco

A primeira é a central de ajuda reconhecendo que o modelo pode se confundir sobre eventos atuais porque não foi treinado com a informação mais recente

A segunda é a documentação de modelos da Anthropic, que separa dois conceitos que muita gente trata como um só: o corte de conhecimento CONFIÁVEL (a data até a qual o conhecimento do modelo é mais extenso e confiável) e o corte dos dados de TREINO (a faixa mais ampla de dados usados)

Essas datas podem ser diferentes

Ou seja: o modelo pode ter visto algo, sem que aquilo esteja na faixa em que o conhecimento dele é confiável

Por isso lista com data recente merece busca, sempre

E quem constrói em cima da API?

Aí tem uma camada a mais, e ela é bem massa: o recurso Citations, da Anthropic API

Ele quebra o documento que você forneceu em trechos (frases ou parágrafos), passa esses trechos junto com a pergunta e faz o Claude citar as sentenças EXATAS que sustentam a resposta

Detalhes que valem saber antes de sair implementando:

• todos os modelos ativos suportam Citations, com exceção do Haiku 3
• o Claude Sonnet 3.7 tende a citar menos sem instrução explícita
• Citations é incompatível com Structured Outputs, ou seja, os dois não podem ser usados juntos na mesma chamada: você escolhe um ou outro

E no anúncio do recurso a Anthropic afirmou que avaliações internas mostraram ganho de até 15% na acurácia de recall em relação a implementações customizadas de citação

Número da própria casa, então leia como o que é: avaliação interna

Checagem dentro do Claude Code: o que eu faço na prática

No terminal a lógica é a mesma, o que muda é a mecânica (e se você ainda nem tem o terminal rodando, dá uma olhada em como instalar o Claude Code antes)

A primeira coisa que muda: no Claude Code, a ferramenta WebSearch roda a busca e devolve títulos e URLs, sem baixar o conteúdo das páginas

Quem lê a página de verdade é a WebFetch, chamada em seguida

Isso é importante pro seu método: se ficou só na WebSearch, você tem uma lista de links, não uma leitura de fonte

Dá pra apertar o cerco também. A busca aceita allowed_domains pra restringir a certos domínios, ou blocked_domains pra excluir, e as duas listas não podem ser combinadas na mesma chamada

Pra checagem de fato isso é ouro: você aponta pro domínio oficial e corta o resto

E tem um teto: uma sessão do Claude Code pode fazer no máximo 200 chamadas de WebSearch, contadas somando a conversa principal e todos os subagentes, e esse limite exige a versão 2.1.212 ou posterior

Leitura prática disso? Verificação CUSTA chamada

Então vale reservar o orçamento pro que realmente precisa de fonte, em vez de sair buscando cada linha do projeto

O hábito que eu levo pra tudo:

No vídeo eu mostro o meu jeito de trabalhar com o Claude Code, e ele é basicamente o mesmo espírito desse post: não executar às cegas

Eu peço um planejamento antes de qualquer execução, pra entender o que ele pretende fazer, e só então aprovo ou não

No modo de planejamento do Claude Code ele não executa nada antes que eu peça, e eu vou acompanhando o que a ferramenta tá checando no projeto

E eu leio o plano INTEIRO antes de liberar, pra entender todo o processo que vai rodar, em vez de só aceitar

Aceitar edição automática é escolha de conveniência, e quem quer mais segurança aprova na mão

Outra coisa que eu faço bastante: antes de deixar implementar, eu peço uma verificação das abordagens possíveis pro problema, recebo as alternativas descritas e escolho qual seguir

Quando testei isso em cima de qualidade de código, criei uma skill de checagem de componente com uma lista de pontos a verificar e acionei ela sobre um arquivo específico, recebendo um relatório com o resultado da análise

E configurei um hook que roda um lint a cada mudança de código feita pelo Claude, pra pegar falha automaticamente depois da execução

É a mesma ideia da citação por afirmação, só que aplicada a código: encaixar verificação nos pontos importantes da execução

Meu workflow pra tarefa complexa é explorar o projeto, planejar, e só então decidir se executa, com base no relatório

E tem um passo extra que eu acrescentei ao workflow: revisar

Porque dá pra confiar na IA, mas é preciso supervisionar 😀

Conclusão

Recapitulando a rotina de checar fatos do Claude, bem enxuta:

• ligue a busca e peça ela no prompt de forma explícita
• abra a citação e leia a fonte original, não o resumo
• exija citação por afirmação e libere o "não sei"
• restrinja às fontes fornecidas quando você já tem o material
• rode o mesmo prompt de novo e compare item a item

Isso não elimina alucinação, e a documentação da Anthropic é bem clara nisso

O que a rotina reduz é a chance de VOCÊ publicar o erro, que é bem diferente

Próximo passo concreto pra hoje: pega uma resposta recente que tenha nome, data ou lista, roda o mesmo prompt de novo com busca ligada e citação exigida, e compara as duas saídas lado a lado

Se divergir em algum item, você acabou de achar exatamente o ponto que ia te queimar…

Até o próximo post!