A Última Esperança Antes da Explosão da Bolha de IA: Domando LLMs

os agentes de atendimento ao cliente, resumindo ou respondendo a perguntas sobre uma coleção de milhares de documentos, assumindo o papel completo de um cientista de dados ou até mesmo tomando as decisões executivas de uma empresa. Até mesmo ambições modestas testam as limitações da IA. Falhas incapacitantes ofuscam rapidamente o valor potencial de um sistema de IA à medida que sua gama pretendida de capacidades se amplia. As coisas podem dar errado se, por exemplo, você aumentar a base de conhecimento do sistema de dez páginas escritas para algumas dezenas de documentos, se envolver dados confidenciais que o sistema deve divulgar apenas seletivamente ou se capacitar o sistema a realizar transações consequentes – como compras ou alterações em reservas pagas. O que dá errado? É mais do que apenas alucinação. Os sistemas de IA abordam tópicos fora de seu propósito (como um bot de administração de saúde aconselhando sobre finanças pessoais), produzem conteúdo antiético ou ofensivo, compram o tipo errado de produto ou simplesmente não conseguem atender às necessidades fundamentais do usuário. Consequentemente, 95% dos pilotos de IA generativa não chegam à produção. Uma Nova Camada de Confiabilidade Que Domina LLMs Aqui está nossa última esperança: domar os LLMs. Se pudermos ter sucesso, isso representa a nova fronteira da IA. Ao restringir o comportamento problemático dos LLMs, podemos passar de pilotos promissores de genAI para produtos confiáveis. Uma camada de confiabilidade instalada sobre um LLM pode domá-lo. Essa camada de confiabilidade deve 1) expandir e adaptar-se continuamente, 2) incorporar estrategicamente humanos no ciclo – indefinidamente – e 3) moldar o projeto com ampla personalização. 1) Guardrails em constante expansão Abundam pilotos de IA impressionantes, mas ficou dolorosamente claro que desenvolver um só o leva a cinco por cento do caminho para um sistema robusto e pronto para produção. Agora, o trabalho real começa: a equipe deve se envolver em uma prolífica variação de “whack-a-mole”, identificando problemas e melhorando o sistema de acordo. Como o relatório do MIT famoso por relatar a taxa de falha de 95% da genAI afirma, “As organizações do lado certo da Divisão GenAI compartilham uma abordagem comum: elas constroem sistemas adaptáveis e incorporados que aprendem com o feedback”. Por exemplo, a líder em comunicação Twilio lançou um assistente de IA conversacional que evolui continuamente. Este sistema, chamado Isa, desempenha funções de suporte ao cliente e vendas, auxiliando o usuário respondendo a perguntas e guiando proativamente ao longo do ciclo de vida do cliente à medida que o usuário aumenta sua adoção das soluções Twilio. Isa se expande continuamente, semi-automaticamente. Com supervisão humana, sua gama de guardrails se alonga, segurando quando está prestes a cometer erros, como: Sair muito do tópico. Fornecer uma URL fictícia ou um preço de produto incorreto. Prometer marcar uma reunião não autorizada com um humano ou “verificar com minha equipe jurídica”. À medida que essa lista cresce para multidões, um sistema de IA se torna robusto. A expansão e o refinamento contínuos de tais guardrails tornam-se um fator fundamental para o desenvolvimento do sistema. Dessa forma, a camada de confiabilidade aprende onde o LLM fica aquém. Esta não é apenas a forma como o sistema continua se adaptando ao mundo em mudança em que opera – é a forma como o sistema evolui para estar pronto para a produção em primeiro lugar. 2) Humanos Estrategicamente Incorporados No Ciclo, Indefinidamente A promessa amplamente aceita da IA tornou-se audaciosa demais: autonomia completa. Se esse objetivo não for razoavelmente comprometido, a indústria de IA continuará a obter retornos muito abaixo de seu potencial. Felizmente, existe uma alternativa viável: um processo semi-automático que refina iterativamente o sistema até que ele seja robusto e digno de produção. Nesse paradigma, os humanos desempenham dois papéis: eles supervisionam como cada novo guardrail é definido e implementado, e permanecem no ciclo no futuro como guardiões, revisando cada caso que é colocado em espera quando um guardrail é acionado. Exceto para projetos de IA com escopo mais modesto, os humanos devem permanecer no ciclo – indefinidamente, mas sempre diminuindo. Quanto mais a camada de confiabilidade melhora, mais autônomo o sistema de IA se torna. Sua demanda por humanos diminuirá continuamente como resultado de sua ajuda na expansão dos guardrails. Mas para sistemas de IA que assumem tarefas substanciais, a necessidade de humanos em loop nunca chegará a zero (a não ser que se atinja a inteligência geral artificial, que, eu argumento, não estamos nos aproximando). 3) Uma Arquitetura Sob Medida Personalizada Para Cada Projeto de IA A IA é geralmente superestimada. Uma mensagem comum e excessivamente zelosa posiciona o LLM como uma solução autônoma e de uso geral. Com apenas esforços leves, a história continua, ele pode ter sucesso em quase qualquer tarefa. Essa falácia “one and done” é conhecida como solutionismo. Mas a IA não é plug-and-play. Desenvolver um sistema de IA é um trabalho de consultoria, não uma instalação de tecnologia. Podemos ficar sobre os ombros de gigantes e alavancar o potencial sem precedentes dos LLMs, mas apenas com um esforço extenso e altamente específico para o problema para projetar uma camada de confiabilidade funcional. Cada projeto envolve intrinsecamente um aspecto experimental de “P&D”. Para construir uma camada de confiabilidade que doma um LLM, comece com outro LLM (ou uma sessão diferente com o mesmo LLM). Os LLMs se ajudam – até certo ponto. Dependendo do projeto, outro LLM (ou “agente”, se você tiver que chamá-lo assim) pode servir como um componente central da camada de confiabilidade. Cada vez que o LLM base entrega conteúdo, o LLM de confiabilidade pode revisá-lo, verificando e aplicando ativamente os guardrails – decidindo assim quais casos reter para revisão humana – e gerando sugestões para novos guardrails, também examinados por humanos. Uma camada de confiabilidade eficaz não depende necessariamente de tecnologia avançada. Para muitos projetos, essa arquitetura simples – um LLM servindo como um “gerenciador de guardrail” – pode servir como base para o desenvolvimento da camada de confiabilidade. Alternativamente, métodos técnicos mais avançados podem responder ao feedback modificando os pesos do próprio modelo LLM fundamental – mas essa abordagem geralmente é exagerada. O ajuste de peso provavelmente já foi empregado no desenvolvimento do LLM em primeiro lugar, de modo que ele esteja alinhado com os requisitos que se referem a muitos casos de uso possíveis. Mas agora, o uso personalizado do LLM pode ser frequentemente protegido com uma camada separada e mais simples. Pense desta forma. A IA pode se curar – até certo ponto. Quando se trata de superar suas próprias limitações, um LLM ainda não é uma panaceia autônoma. As camadas de confiabilidade também dependem da outra forma principal de IA: IA preditiva. Afinal, estamos falando de melhorar um sistema aprendendo com feedback e experiência. Essa é a própria função do aprendizado de máquina. Quando o aprendizado de máquina é aplicado para otimizar operações empresariais em larga escala, chamamos isso de IA preditiva. Aqui, um LLM implantado é apenas mais uma operação em larga escala que se beneficia de “jogar as probabilidades” – sinalizando preditivamente os casos de maior risco onde os humanos devem direcionar melhor seus esforços, da mesma forma que para direcionar investigações de fraude, manutenção de máquinas de fábrica e testes médicos. Eu abordo como isso funciona no artigo “Como a IA Preditiva resolverá o problema mortal de confiabilidade da GenAI”, e farei isso durante minha apresentação, “Sete maneiras de hibridizar IA Preditiva e GenAI que oferecem valor de negócios”, no evento online gratuito IBM Z Day (ao vivo em 12 de novembro de 2025 e disponível sob demanda a partir daí). Um Paradigma, Disciplina E Oportunidade Completamente Novos A camada de confiabilidade é a nova fronteira da IA – mas ainda não está firmemente estabelecida, bem conhecida ou mesmo devidamente nomeada. O que devemos chamar isso? “Confiabilidade”, “personalização” ou “guardrailing” de IA são platitudes. “Domar LLMs” descreve o fim, não os meios. “IA agentiva” inerentemente promete demais ao sugerir autonomia suprema e antropomorfizar. Mas um paradigma não pode decolar sem um nome. Não importa o que você chame, desenvolver a camada de confiabilidade é uma disciplina crítica e emergente. É vital para estabelecer a robustez do sistema que pode tornar um piloto de IA pronto para implantação. E é uma maneira frutífera de testar os limites dos LLMs, explorando e expandindo a viabilidade de ambições de IA cada vez maiores.