GitHub Copilot Evals: o que é o novo teste de skills, agentes e MCP

Ilustração representando o GitHub Copilot Evals testando skills, agentes e ferramentas MCP

O GitHub anunciou em 17/11/2026 o GitHub Copilot Evals em preview público, conforme o changelog oficial. A ferramenta cria avaliações repetíveis para as skills, os agentes customizados e as ferramentas MCP do seu próprio setup. O acesso vale para os planos Copilot Individual, Copilot Business e Copilot Enterprise.

Na prática, ela responde uma dúvida que todo mundo que mexe em customização já teve: aquela skill que você ajustou continua funcionando, ou só deu sorte numa execução? Se você ainda está se situando sobre o que é o GitHub Copilot, pense em skills, agentes e MCP como as peças que mudam o jeito como ele trabalha no seu projeto.

O que é um eval no Copilot Evals

Segundo o GitHub, um eval é um teste repetível para o comportamento de IA. O agente recebe uma tarefa realista, você descreve como é um bom resultado e confere duas coisas: o resultado final e o caminho que o agente seguiu para chegar nele.

E por que não basta olhar uma resposta e pronto?

Porque a saída da IA muda de uma execução para outra. Uma resposta boa sozinha não prova que a customização funciona bem para você, ela pode ter sido só uma boa rodada. O eval existe justamente para tirar essa sorte da equação.

Se você já escreveu teste automatizado, a ideia é bem parecida: em vez de abrir o app e clicar para ver se funciona, você descreve o comportamento esperado e deixa a checagem repetir isso quantas vezes precisar.

O que dá para fazer com o Copilot Evals

Você aciona o Copilot Evals de dois jeitos: pedindo ao Copilot em linguagem natural ou usando o comando /eval. A partir daí, o anúncio lista quatro usos:

  • Criar um eval para uma skill, um agente customizado ou uma ferramenta MCP do seu projeto.
  • Rodar o eval e ver quais checagens passaram e quais falharam.
  • Descobrir por que uma checagem falhou e decidir o que mudar no seu setup do Copilot.
  • Comparar execuções de antes e depois de uma mudança na customização, para ver se ela ajudou.

Tem um detalhe importante aqui: cada execução precisa da sua aprovação antes de começar. Nada sai rodando sozinho no seu projeto sem você liberar.

Vally: o motor de avaliação por trás do Copilot Evals

O Copilot Evals usa o Vally como motor de avaliação, uma ferramenta local e extensível de evals. A documentação do Vally fica em microsoft.github.io/vally, e o CLI é distribuído como o pacote @microsoft/vally-cli, no escopo da Microsoft.

O que o Vally registra durante uma execução? Ele captura o que a documentação chama de Trajectory: um log de eventos com as chamadas de ferramenta e seus resultados, o uso de tokens, os limites de turno, as ativações de skill e os erros. As suítes de eval são escritas em YAML.

É essa Trajectory que permite checar o caminho do agente, e não só a resposta final. Se uma skill deveria ser ativada e não foi, isso aparece no registro.

O que muda para quem customiza o Copilot

A mudança principal é trocar impressão por checagem. Depois de alterar uma skill, um agente ou um MCP, você roda de novo o mesmo eval e vê se o comportamento que importa continua lá. É assim que se pega uma regressão antes que ela vire dor de cabeça no dia a dia.

Isso pesa MUITO para quem mantém várias customizações ao mesmo tempo. Mexer num prompt de agente para melhorar um caso pode quebrar outro, e sem um teste repetível você só descobre depois.

Agora, os limites. O recurso está em preview público, então dá para esperar mudanças. No Copilot CLI, o repositório informa que o modo experimental é necessário por enquanto para os comandos /eval e para o Canvas. Também vale notar que o anúncio cita apenas os planos Individual, Business e Enterprise.

Como instalar o Copilot Evals no VS Code, no CLI e no app

A instalação muda conforme o ambiente onde você já usa o Copilot. Se ainda não tem ele configurado, comece pelo básico de como instalar o GitHub Copilot e depois volte aqui. O projeto vive no repositório github/evals.

No VS Code

Instale a extensão GitHub Copilot Evals pelo Visual Studio Marketplace.

No Copilot CLI

O README do repositório indica dois comandos, nesta ordem:

copilot plugin marketplace add github/evals
copilot plugin install eval@github-copilot-evals

Os requisitos mínimos listados são Node.js 24.0.0, @microsoft/vally-cli 0.19.0 e GitHub Copilot CLI 1.0.85. Tome cuidado com a versão do Node: se a sua estiver abaixo disso, atualize antes de instalar o plugin.

No GitHub Copilot app

No app do GitHub Copilot, abra Customize, adicione o marketplace github/evals e instale o plugin GitHub Copilot Evals.

Uma coisa boa vale para todos os casos: segundo o README, ao instalar o plugin eval@github-copilot-evals no Copilot CLI, no GitHub Copilot app, no VS Code ou no VS Code Agents, o próprio host instala e configura as ferramentas. Você não precisa clonar o repositório nem editar o .mcp.json na mão.

Próximo passo

Escolha uma skill, um agente ou uma ferramenta MCP que você já usa de verdade no projeto. Instale o Copilot Evals no ambiente onde você trabalha com o Copilot e crie um eval para ela antes da próxima alteração.

Assim, quando você mexer na customização, já vai ter uma execução anterior para comparar e saber se a mudança melhorou ou piorou o comportamento.

Se encontrar algum problema ou tiver sugestão, o GitHub pede feedback abrindo uma issue no repositório ou entrando na discussão no GitHub Community.

Fontes consultadas

Consulta em .

Encontre outros guias no YouTube da Hora de Codar.

Escrito por | Matheus Battisti

Matheus Battisti
Fundador da Hora de Codar

Programador apaixonado pelo mundo das tecnologias, sempre buscando em aprender e se aprofundar em linguagens, frameworks e o que mais for necessário para executar um bom trabalho. Agora tem uma nova missão que é de passar seu conhecimento adiante para formar novos programadores e especializar mais os que já são.

Formações

Formação Vibe Coding

Formação Vibe Coding

Do Prompt ao Produto: Crie Software Real com IA

  • 474 aulas
  • 20 projetos
  • 39h 30min

Blog | Mais populares