GitHub Copilot Evals: o que é o novo teste de skills, agentes e MCP

O GitHub anunciou em 17/11/2026 o GitHub Copilot Evals em preview público, conforme o changelog oficial. A ferramenta cria avaliações repetíveis para as skills, os agentes customizados e as ferramentas MCP do seu próprio setup. O acesso vale para os planos Copilot Individual, Copilot Business e Copilot Enterprise.
Na prática, ela responde uma dúvida que todo mundo que mexe em customização já teve: aquela skill que você ajustou continua funcionando, ou só deu sorte numa execução? Se você ainda está se situando sobre o que é o GitHub Copilot, pense em skills, agentes e MCP como as peças que mudam o jeito como ele trabalha no seu projeto.
O que é um eval no Copilot Evals
Segundo o GitHub, um eval é um teste repetível para o comportamento de IA. O agente recebe uma tarefa realista, você descreve como é um bom resultado e confere duas coisas: o resultado final e o caminho que o agente seguiu para chegar nele.

Black Week do Nexus
A formação de IA mais completa do Brasil
- 7 formações · 112 cursos · 26 mil alunos
E por que não basta olhar uma resposta e pronto?
Porque a saída da IA muda de uma execução para outra. Uma resposta boa sozinha não prova que a customização funciona bem para você, ela pode ter sido só uma boa rodada. O eval existe justamente para tirar essa sorte da equação.
Se você já escreveu teste automatizado, a ideia é bem parecida: em vez de abrir o app e clicar para ver se funciona, você descreve o comportamento esperado e deixa a checagem repetir isso quantas vezes precisar.
O que dá para fazer com o Copilot Evals
Você aciona o Copilot Evals de dois jeitos: pedindo ao Copilot em linguagem natural ou usando o comando /eval. A partir daí, o anúncio lista quatro usos:
- Criar um eval para uma skill, um agente customizado ou uma ferramenta MCP do seu projeto.
- Rodar o eval e ver quais checagens passaram e quais falharam.
- Descobrir por que uma checagem falhou e decidir o que mudar no seu setup do Copilot.
- Comparar execuções de antes e depois de uma mudança na customização, para ver se ela ajudou.

VPS Hostinger para seu sistema
10% OFF extraVPS com SSD NVMe e backups semanais. O cupom MATHEUSHORADECODAR é aplicado automaticamente pelo link.
Ver planos com 10% OFF →Tem um detalhe importante aqui: cada execução precisa da sua aprovação antes de começar. Nada sai rodando sozinho no seu projeto sem você liberar.
Vally: o motor de avaliação por trás do Copilot Evals
O Copilot Evals usa o Vally como motor de avaliação, uma ferramenta local e extensível de evals. A documentação do Vally fica em microsoft.github.io/vally, e o CLI é distribuído como o pacote @microsoft/vally-cli, no escopo da Microsoft.
O que o Vally registra durante uma execução? Ele captura o que a documentação chama de Trajectory: um log de eventos com as chamadas de ferramenta e seus resultados, o uso de tokens, os limites de turno, as ativações de skill e os erros. As suítes de eval são escritas em YAML.
É essa Trajectory que permite checar o caminho do agente, e não só a resposta final. Se uma skill deveria ser ativada e não foi, isso aparece no registro.
O que muda para quem customiza o Copilot
A mudança principal é trocar impressão por checagem. Depois de alterar uma skill, um agente ou um MCP, você roda de novo o mesmo eval e vê se o comportamento que importa continua lá. É assim que se pega uma regressão antes que ela vire dor de cabeça no dia a dia.
Isso pesa MUITO para quem mantém várias customizações ao mesmo tempo. Mexer num prompt de agente para melhorar um caso pode quebrar outro, e sem um teste repetível você só descobre depois.

Crie sistemas com IA para vender
Prompts, modelos e checklists para criar e publicar seu sistema com IA e preparar a oferta para o primeiro cliente.
Quero o e-book gratuito Receba o livro e os bônus no seu e-mail.Agora, os limites. O recurso está em preview público, então dá para esperar mudanças. No Copilot CLI, o repositório informa que o modo experimental é necessário por enquanto para os comandos /eval e para o Canvas. Também vale notar que o anúncio cita apenas os planos Individual, Business e Enterprise.
Como instalar o Copilot Evals no VS Code, no CLI e no app
A instalação muda conforme o ambiente onde você já usa o Copilot. Se ainda não tem ele configurado, comece pelo básico de como instalar o GitHub Copilot e depois volte aqui. O projeto vive no repositório github/evals.
No VS Code
Instale a extensão GitHub Copilot Evals pelo Visual Studio Marketplace.
No Copilot CLI
O README do repositório indica dois comandos, nesta ordem:
copilot plugin marketplace add github/evals
copilot plugin install eval@github-copilot-evals
Os requisitos mínimos listados são Node.js 24.0.0, @microsoft/vally-cli 0.19.0 e GitHub Copilot CLI 1.0.85. Tome cuidado com a versão do Node: se a sua estiver abaixo disso, atualize antes de instalar o plugin.
No GitHub Copilot app
No app do GitHub Copilot, abra Customize, adicione o marketplace github/evals e instale o plugin GitHub Copilot Evals.
Uma coisa boa vale para todos os casos: segundo o README, ao instalar o plugin eval@github-copilot-evals no Copilot CLI, no GitHub Copilot app, no VS Code ou no VS Code Agents, o próprio host instala e configura as ferramentas. Você não precisa clonar o repositório nem editar o .mcp.json na mão.
Próximo passo
Escolha uma skill, um agente ou uma ferramenta MCP que você já usa de verdade no projeto. Instale o Copilot Evals no ambiente onde você trabalha com o Copilot e crie um eval para ela antes da próxima alteração.
Assim, quando você mexer na customização, já vai ter uma execução anterior para comparar e saber se a mudança melhorou ou piorou o comportamento.
Se encontrar algum problema ou tiver sugestão, o GitHub pede feedback abrindo uma issue no repositório ou entrando na discussão no GitHub Community.
Fontes consultadas
Consulta em .
Formações
Formação Vibe Coding
Do Prompt ao Produto: Crie Software Real com IA
- 474 aulas
- 20 projetos
- 39h 30min
Blog | Mais populares

Copilot code review agora resolve os próprios comentários: como testar isso em um PR?
Copilot code review agora resolve os próprios comentários na rerevisão do PR. Veja o passo a passo para testar isso em um pull request real.
GitHub Copilot Fusion chega à disponibilidade geral e passa a escolher e orquestrar os modelos de cada tarefa
GitHub Copilot Fusion chega à disponibilidade geral: você escolhe o nível de esforço e o Copilot decide quais modelos usar em cada tarefa.
Requisições premium do GitHub Copilot: o que mudou com os AI Credits e quanto cada plano libera
Como funcionam as requisições premium do GitHub Copilot com os AI Credits e quantos créditos cada plano libera por mês.
