Você está deixando a IA mais burra! - Paper Skill OPT

Uma em cada quatro vezes que você escreve uma instrução para um agente de IA, você pode estar piorando o resultado. Não é opinião, feeling ou provocação de LinkedIn: é o que aparece em pesquisas recentes da Microsoft Research sobre Skill Lens e Skill OPT.

O ponto desconfortável é simples: muita gente está investindo horas em prompts, arquivos Markdown, regras, bullets e manuais internos sem medir se aquilo melhora a performance. Em muitos casos, a instrução parece sofisticada para humanos, mas causa transferência negativa no modelo.

Por que uma instrução pode deixar a IA mais burra?

Uma instrução deixa a IA mais burra quando ela adiciona contexto que parece útil, mas desvia o modelo da solução correta. O paper chama esse fenômeno de negative transfer, ou transferência negativa: em vez de transferir conhecimento para melhorar a tarefa, o arquivo de skill degrada a performance.

Esse é o achado mais importante do estudo. Os pesquisadores avaliaram milhares de skills — basicamente arquivos de texto com instruções para agentes — e compararam o desempenho antes e depois de cada skill ser aplicada. O resultado foi chocante: cerca de 25% das skills pioravam o agente.

Isso quebra uma crença muito comum no mercado: a ideia de que mais instrução, mais contexto e mais detalhes sempre ajudam. Na prática, um arquivo cheio de boas intenções pode introduzir prioridade errada, ambiguidade, excesso de passos, restrições artificiais ou exemplos que confundem o modelo.

Para quem trabalha com agentes, GitHub Copilot, Claude Code, ChatGPT, Codex ou qualquer fluxo agêntico, essa conclusão muda o jogo. Não basta escrever um prompt bonito. Você precisa provar que ele melhora o sistema.

O que são Skill Lens e Skill OPT?

Skill Lens é o diagnóstico; Skill OPT é o tratamento. Juntos, os dois trabalhos propõem uma forma mais científica de entender e otimizar arquivos de instrução para modelos de IA.

No uso comum, uma skill é um arquivo de texto — muitas vezes Markdown — que descreve como o agente deve executar uma tarefa. Pode incluir contexto do domínio, regras de qualidade, formatos de saída, restrições, exemplos e checklists. É exatamente o tipo de arquivo que muita gente já usa em projetos com agentes.

O Skill Lens entra para medir o efeito dessas skills. Ele ajuda a responder: essa instrução melhora, piora ou não muda nada? Já o Skill OPT propõe um processo de otimização desse arquivo, sem mexer nos pesos do modelo, sem GPU e sem fine-tuning tradicional.

Essa é a virada técnica: em vez de treinar o modelo, você otimiza o arquivo de instruções. O modelo continua o mesmo, mas o contexto que guia o agente passa por ciclos de avaliação, edição e validação.

Por que isso desafia a obsessão por modelos maiores?

A indústria está acostumada a olhar para performance de IA como uma corrida por modelos maiores, mais GPUs, mais parâmetros, mais janelas de contexto e mais lançamentos. Toda semana aparece um modelo novo, e muita gente corre para reescrever seu fluxo inteiro em cima da novidade.

O estudo da Microsoft Research aponta para outra direção: talvez o gargalo não esteja só no modelo. Em muitos cenários corporativos, o modelo já é bom o suficiente. O problema está no contexto operacional que você entrega para ele.

Toda empresa precisa adaptar IA ao seu domínio: jurídico, finanças, atendimento, segurança da informação, engenharia, compliance, suporte interno. A resposta padrão costuma ser: escrever um prompt enorme ou partir para fine-tuning. Mas fine-tuning custa caro, exige dados, governança, avaliação e operação. E prompt escrito no feeling pode piorar a execução.

O Skill OPT mostra um caminho intermediário muito poderoso: tratar o arquivo de instruções como um artefato treinável, mensurável e versionável. É uma forma de adaptação de domínio que não exige alterar os pesos do modelo, mas exige disciplina de engenharia.

Como funciona a lógica do Skill OPT na prática?

A melhor analogia é contratar um funcionário novo. O jeito tradicional é escrever um manual gigantesco no domingo à noite, entregar na segunda-feira e torcer para a pessoa executar corretamente. Talvez você faça uma sessão de coaching, explique o processo e espere que tudo dê certo.

Isso é muito parecido com o que fazemos hoje com prompts. Escrevemos um documento grande, cheio de regras e exemplos, colocamos no agente e assumimos que ele ficou melhor.

O Skill OPT propõe outro processo. Você começa com um rascunho do manual, entrega tarefas reais para o agente executar e mede o resultado. Depois, identifica onde o agente errou, propõe mudanças no arquivo de skill e testa de novo. Se a nota sobe, você mantém a mudança. Se cai, descarta e registra que aquela direção não funcionou.

Esse ciclo transforma prompt engineering em melhoria contínua. Não é mais “acho que ficou melhor”. É “rodei contra um benchmark e a performance subiu”.

Segundo a leitura do paper apresentada no vídeo, o processo pode chegar a um arquivo de aproximadamente 2.000 palavras, depois de poucas rodadas de edição aceitas. E o ponto não é escrever mais. É escrever melhor, com validação.

Quais resultados chamam mais atenção?

Os números relatados no vídeo mostram por que esse tema merece atenção. Em testes com tarefas de planilha, o desempenho do GPT 5.5 teria saltado de 42% para 81% com uma skill otimizada. Em extração de documentos do Office, o resultado saiu de 33% para 72%. Em um benchmark de matemática de olimpíada, a performance foi de 38% para 67%.

Esses ganhos não vieram de trocar o modelo, subir uma GPU nova ou fazer fine-tuning tradicional. Vieram da otimização do arquivo de instrução.

Outro detalhe é ainda mais estratégico: uma skill treinada no Codex, da OpenAI, foi plugada no Claude Code, da Anthropic, e ainda assim gerou salto de performance. Isso sugere que parte do valor não fica preso ao provedor do modelo. Ele pode estar no artefato de instrução.

Essa ideia é enorme para empresas. Se uma equipe cria a melhor skill para revisão jurídica, análise financeira, resposta a incidentes, investigação de SOC ou engenharia de software, esse arquivo passa a ser propriedade intelectual operacional. Não é só “um prompt”. É um ativo de execução.

O que isso significa para agentes de IA em empresas?

Significa que prompt e skill precisam entrar no mesmo nível de disciplina de qualquer componente crítico de software. Se uma instrução influencia decisões, análise, priorização, classificação ou geração de código, ela não pode viver solta em um documento sem versionamento.

Em ambientes corporativos, especialmente segurança da informação, isso é ainda mais sério. Um agente mal instruído pode classificar risco de forma errada, ignorar evidências importantes, exagerar severidade ou criar ruído operacional para o time.

É aqui que entra uma mentalidade de engenharia de qualidade: PDCA, melhoria contínua, comparação de versões e validação objetiva. Você planeja a mudança, aplica, mede, aprende e ajusta. O mesmo raciocínio usado em controle de qualidade industrial começa a fazer sentido para agentes de IA.

Por que escrever prompt no feeling não escala?

Escrever prompt no feeling funciona até certo ponto. Para tarefas simples, exploração inicial ou uso pessoal, é rápido e muitas vezes suficiente. O problema começa quando esse prompt vira processo, ferramenta interna, automação ou parte de um fluxo de trabalho que outras pessoas dependem.

Quando a instrução vira produção, o feeling deixa de ser suficiente. Você precisa responder perguntas objetivas:

• A nova versão melhora quantos casos?
• Quais casos pioraram?
• O custo de contexto aumentou sem ganho proporcional?
• A instrução melhora uma tarefa e degrada outra?

Sem esse tipo de medição, você fica preso ao “parece melhor”. E “parece melhor” é perigoso em IA, porque modelos são muito bons em soar convincentes mesmo quando estão errados. O dado dos 25% de transferência negativa é um alerta justamente por isso: plausibilidade não é validação.

Como montar um benchmark privado para suas skills?

Um benchmark privado não precisa começar grande. Você pode criar um conjunto pequeno, com 10 a 20 casos reais, e já aprender muito. Se usa IA para análise de vulnerabilidades, monte exemplos com achados reais e resultados esperados. Se usa para documentação técnica ou suporte interno, selecione entradas típicas e critérios objetivos de qualidade.

Depois, rode o agente em duas condições: com a skill e sem a skill. Em seguida, teste versões diferentes da mesma skill. A pergunta central não é “qual texto eu gosto mais?”. A pergunta é: qual versão melhora o desempenho medido?

Esse benchmark privado vira seu laboratório. Ele não precisa ser perfeito no começo. Precisa ser repetível, versionado e ligado a resultados que importam.

Como tratar prompts como código?

Tratar prompts como código significa aplicar práticas de engenharia a arquivos de instrução. Isso começa com versionamento no GitHub, histórico de mudanças e comparação entre versões. Mas não para aí.

Cada mudança relevante em uma skill deveria ter uma hipótese. Por exemplo: “Adicionar exemplos de falso positivo deve reduzir classificações incorretas em alertas de baixa severidade”. Depois, você mede se isso aconteceu. Se piorou, descarte e registre o aprendizado.

Na prática, uma boa operação de skills deveria incluir:

• arquivos Markdown versionados;
• suíte pequena de casos de teste;
• métrica de acerto ou avaliação;
• comparação entre versões;
• registro de mudanças aceitas e rejeitadas;
• revisão humana para tarefas críticas.

Isso tira o prompt engineering do território artesanal e leva para governança técnica.

O que fazer agora

1. Escolha um prompt importante. Pegue uma instrução que já impacta seu trabalho: revisão de código, análise de risco, triagem de incidentes, geração de relatório ou automação de atendimento.

2. Monte um mini-benchmark com casos reais. Comece com 10 a 20 exemplos. Defina o resultado esperado antes de rodar o teste, para não ajustar a régua depois.

3. Compare com e sem a skill. Rode o agente sem o arquivo de instrução e depois com ele. Se a performance cair, você pode ter encontrado sua própria transferência negativa.

4. Versione e otimize por ciclos. Faça uma mudança por vez, rode o benchmark, mantenha o que melhora e descarte o que piora. Pare de reescrever cegamente.

5. Trate a melhor skill como ativo. Se ela melhora execução em jurídico, finanças, segurança, engenharia ou suporte, ela é propriedade intelectual do seu time. Proteja, documente e mantenha.

A conclusão: o valor está migrando para o contexto

O grande aprendizado do Skill Lens e do Skill OPT é que o futuro dos agentes não depende apenas de modelos maiores. A vantagem prática pode vir do arquivo de instrução que ensina o agente a trabalhar no seu domínio.

Essa pesquisa reforça uma mudança de mentalidade. Prompt não é poesia. Skill não é decoração. Contexto não é texto empilhado até preencher a janela do modelo.

Prompt, skill e contexto são artefatos de engenharia. Devem ser medidos, versionados, testados e otimizados. Se você ainda escreve instruções de IA só no feeling, talvez o próximo ganho de performance esteja em provar, com dados, que a sua instrução realmente ajuda.

Este artigo foi gerado a partir do meu vídeo no YouTube. Assista a versão completa para entender a leitura prática do paper Skill OPT, os números dos benchmarks e como aplicar essa lógica aos seus próprios agentes de IA.