Design de Sistemas de IA: Guia Prático para IA em Produção
   Hoje veremos uma introdução ao design de sistemas de IA:  do seu primeiro protótipo de LLM até uma aplicação de IA segura, escalável e com custo eficiente.(Autor  : Piyush Kashyap. Traduzido com IA , ajustado e revisado por Macoratti)

Você construiu uma aplicação de IA. Ela aceita uma pergunta, envia para um modelo de linguagem e retorna uma resposta. Talvez ela consiga até buscar documentos ou chamar uma API.

 

Tudo funciona perfeitamente durante os testes.

Então, alguém pede para você lançá-la para milhares de usuários.

De repente, novas perguntas surgem.

O que acontece se 500 usuários enviarem requisições ao mesmo tempo? Como você impede que alguém acesse as informações de outro usuário? E se o provedor de IA ficar fora do ar? Como você evita que um simples chatbot consuma todo o seu orçamento mensal? E como saber se o sistema está fornecendo respostas corretas após rodar por várias semanas?

Esses problemas são fáceis de ignorar quando você está construindo sua primeira aplicação de IA. Mas são exatamente os problemas que você precisa resolver antes de colocar um sistema de IA em produção.

O desafio não é apenas fazer um modelo de IA funcionar. É projetar tudo ao redor desse modelo para que a aplicação continue útil quando usuários reais, dados reais e falhas do mundo real entrarem em cena.

É disso que trata o design de sistemas de IA.

Neste guia, vamos construir nossa compreensão desde a base. Vamos explorar como coletar requisitos, estimar tráfego e custos, escolher a arquitetura correta, proteger dados, recuperar informações atuais, selecionar modelos, lidar com falhas e monitorar a aplicação após o deploy.

Para tornar a discussão prática, usaremos uma empresa fictícia chamada Estrela do Norte, que deseja construir um helpdesk de TI alimentado por IA para seus funcionários.

Ao final, você deverá ter noções sobre uma abordagem repetível para projetar suas próprias aplicações de IA que deverão estar mais preparadas para produção.

1. O que é o Design de Sistemas de IA?

O design de sistemas de IA é o processo de projetar o sistema completo necessário para entregar um recurso alimentado por IA de forma confiável, segura e eficiente.

Um protótipo básico pode precisar de apenas três componentes:
• Uma interface de usuário.
• Um backend que envia requisições para um modelo de linguagem.
• Uma LLM que gera respostas.

Isso é suficiente para demonstrar uma ideia. Não é necessariamente suficiente para rodar um serviço em produção.

Uma aplicação real também pode precisar de autenticação, recuperação de dados, cache, limites de uso, roteamento de modelos, workers em segundo plano, monitoramento e mecanismos de recuperação.

Pense em um helpdesk de TI alimentado por IA.

Um funcionário pode perguntar: "Por que não consigo me conectar à VPN da empresa?"

A aplicação precisa entender a pergunta, recuperar o guia de solução de problemas correto e explicar a solução.

Agora imagine que o funcionário pergunte: "Redefina a senha da minha conta."

Essa requisição é diferente. Ela envolve verificação de identidade e uma ação potencialmente sensível. O sistema deve seguir um fluxo de trabalho aprovado em vez de simplesmente gerar instruções e fingir que a senha foi redefinida.

Se milhares de funcionários usarem o helpdesk, o sistema também precisará lidar com picos de tráfego, controlar custos de modelos e se recuperar de falhas.

O modelo de linguagem é apenas uma parte desse processo.

Um bom design de sistema de IA garante que as informações, o modelo, as ferramentas, os controles de segurança e a infraestrutura corretos se unam para concluir a tarefa certa.

O que torna o design de sistemas de IA diferente do design de sistemas tradicional?

Muitos princípios permanecem os mesmos. Aplicações de IA ainda precisam de APIs, bancos de dados, autenticação, infraestrutura escalável, monitoramento e processos de deploy confiáveis.

No entanto, a IA introduz desafios adicionais:
• As respostas do modelo podem variar entre as requisições.
• As respostas podem ser plausíveis, mas incorretas.
• Prompts e documentos recuperados consomem tokens.
• A qualidade do modelo pode diferir entre tarefas.
• Provedores de modelos externos têm seus próprios limites de latência, disponibilidade e uso.
• Entradas em linguagem natural podem conter instruções maliciosas.
• O comportamento do modelo deve ser avaliado, não apenas o uptime da aplicação.

Isso significa que um sistema de IA em produção precisa monitorar tanto o desempenho tradicional do software quanto a qualidade específica da IA.

Um serviço pode estar tecnicamente saudável enquanto produz respostas incorretas. Por outro lado, um modelo pode gerar excelentes respostas enquanto a aplicação ao redor é lenta ou cara demais para operar.

Precisamos projetar pensando em ambos.

2. Comece Entendendo o Problema

Antes de selecionar um modelo ou desenhar um diagrama de arquitetura, responda a uma pergunta:
O que exatamente estamos construindo e como é o sucesso?

Vamos voltar para a Estrela do Norte.

A empresa deseja um helpdesk de IA que possa responder a perguntas de funcionários, pesquisar documentação interna, guiar funcionários na solução de problemas e criar tickets de suporte quando necessário.

Uma instrução vaga como "Construa um assistente de IA para 5.000 funcionários" não nos diz o suficiente para projetar o sistema.

Precisamos entender os recursos, a carga de trabalho esperada, os riscos e as restrições operacionais.

Requisitos Funcionais: O que o sistema deve fazer?

Os requisitos funcionais descrevem os recursos que a aplicação deve fornecer.

Para a Estrela do Norte, os requisitos podem incluir:
• Responder a perguntas comuns de suporte de TI.
• Pesquisar documentação interna de solução de problemas.
• Explicar procedimentos aprovados.
• Identificar a categoria de uma solicitação de suporte.
• Criar um ticket no sistema de suporte existente.
• Verificar o status do ticket de um funcionário.
• Escalar problemas não resolvidos ou sensíveis para um atendente humano.

Cada requisito pode precisar de uma abordagem técnica diferente. Uma pergunta geral de solução de problemas pode usar RAG (Retrieval-Augmented Generation). Verificar um ticket existente requer uma API de backend. Criar um ticket requer uma operação autorizada. Uma solicitação de conta sensível pode precisar de um fluxo de trabalho dedicado de verificação de identidade.

Não devemos assumir que todo recurso precisa de uma LLM.

Requisitos Não Funcionais: Quão bem ele deve funcionar?

Os requisitos não funcionais descrevem o desempenho e o comportamento esperados do sistema. Por exemplo, a Estrela do Norte pode definir estas metas iniciais:

• Velocidade de resposta: Tempo P95 para o primeiro token abaixo de 2 segundos.

• Orçamento mensal de IA: Dentro de um limite de gastos aprovado.

• Disponibilidade: 99,9% de disponibilidade mensal.

• Segurança: Sem acesso não autorizado aos dados dos funcionários.

• Qualidade da resposta: Atingir um limite de avaliação acordado.

• Capacidade de tráfego: Lidar com a demanda de pico esperada.

• Atualização de dados: Refletir atualizações críticas de documentação dentro de um período definido.

Esses números são ilustrativos. Metas reais devem vir de necessidades de negócios e testes.

Note que a "velocidade de resposta" precisa de uma definição precisa. O tempo até o primeiro token mede quando o primeiro conteúdo gerado fica disponível, enquanto a latência total da resposta mede quanto tempo a resposta completa leva. Ambos são úteis, mas descrevem aspectos diferentes da experiência.

Da mesma forma, uma meta de disponibilidade não garante automaticamente respostas corretas. Confiabilidade e qualidade de resposta precisam de medições separadas.

Defina os limites da automação

Também é importante decidir o que a IA nunca deve fazer de forma independente. Por exemplo:
• Ela não deve revelar informações privadas de outro funcionário.
• Ela não deve redefinir uma conta sem a verificação necessária.
• Ela não deve inventar uma criação de ticket bem-sucedida.
• Ela não deve violar as políticas de segurança da empresa.
• Ela deve escalar solicitações que exijam aprovação humana.

Esses limites influenciam a arquitetura desde o início.

Por que os requisitos vêm primeiro

Suponha que a Estrela do Norte precise apenas de um assistente de FAQ somente leitura. Ele pode não precisar de um framework de agentes complexo, múltiplos provedores de modelos ou fluxos de transação elaborados. Se o assistente precisar modificar contas e executar operações sensíveis, o design se torna mais exigente. A arquitetura correta depende do problema — e não de quantas tecnologias conseguimos encaixar em um diagrama.

No próximo passo, transformaremos esses requisitos em estimativas mensuráveis de tráfego, capacidade e custo.

3. Planejamento de Capacidade: Quanto Tráfego o Sistema Deve Suportar?

Uma vez que sabemos o que a aplicação deve fazer, a próxima pergunta é quanto trabalho ela deve suportar. É aqui que muitos iniciantes cometem um erro.

Eles ouvem que uma aplicação atenderá 10.000 usuários e imediatamente começam a pensar em servidores.

Mas 10.000 usuários registrados não significam 10.000 requisições simultâneas. Alguns funcionários podem usar a aplicação uma vez por semana. Outros podem enviar várias perguntas todas as manhãs.

Uma interrupção em toda a empresa pode fazer com que centenas de funcionários abram o helpdesk em poucos minutos. Precisamos estimar essa carga de trabalho antes de escolher a infraestrutura.

Passo 1: Calcule o volume diário de requisições. Suponha que a Estrela do Norte tenha 5.000 funcionários e cada funcionário envie uma média de quatro perguntas por dia útil. O volume diário é 5000 * 4 = 20000 requisições.

Passo 2: Calcule a média de requisições por segundo. Assuma um dia útil de 8 horas (28.800 segundos). A taxa média é 20.000 ÷ 28.800 ≈ 0,69 req/s (~0,7 req/s).

Passo 3: Estime o tráfego de pico multiplicando por um fator de pico (ex: 8x), resultando em aproximadamente 5,5 requisições por segundo.

Passo 4: Entenda a concorrência usando a Lei de Little ($L = \lambda \times W$). Se chegam 6 req/s e cada uma leva 2 segundos, teremos $6 \times 2 = 12$ requisições concorrentes em média.

Passo 5: Estime o consumo de tokens. Para 20.000 requisições diárias com 1.200 tokens de entrada e 300 de saída, temos 24 milhões de tokens de entrada e 6 milhões de saída por dia (total de 30 milhões/dia, ou 660 milhões de tokens mensais assumindo 22 dias úteis).

Passo 6: Estime a fatura do modelo com base nos custos unitários de tokens de entrada e saída.

Passo 7: Transforme as estimativas em um plano de capacidade concreto.

4. Projete a Arquitetura Antes de Escolher as Ferramentas

Agora que entendemos a carga de trabalho, podemos começar a identificar os principais componentes dividindo a aplicação em camadas lógicas: Camada de Cliente, Camada de Entrada, Camada de Aplicação (Orquestrador), Camada de Processamento de IA, Camada de Dados e Camada de Operações.

5. Proteja o Ponto de Entrada: Autenticação, Autorização e Limitação de Taxa

Antes que a Estrela do Norte responda à pergunta, estabelecemos quem é o usuário via OIDC/Managed Identity e autorizamos o acesso a dados e ferramentas, complementando com um API Gateway para rate limiting e proteção.

6. Proteja o Sistema Contra Entradas e Saídas Inseguras

Utilize defesas em camadas contra prompt injection, guardrails de entrada e saída, redação de logs e minimização de dados enviados a provedores externos.

7. Dê Conhecimento Atual à IA com RAG (Retrieval-Augmented Generation)

Utilize RAG para fornecer contexto documental externo. O processo envolve receber a consulta, prepará-la, buscar documentos candidatos, aplicar controle de acesso por permissões, ranquear resultados, montar o contexto e gerar a resposta com referências de fontes. Mantenha o índice sincronizado com CDC/eventos.

8. Use o Cache Semântico com Cuidado

O cache semântico agiliza requisições parecidas, mas exige validação rigorosa de escopo de autorização, TTL, versão do modelo e atualização de políticas para evitar vazamentos ou respostas desatualizadas.

9. Escolha o Modelo Certo para Cada Tarefa

Adote o roteamento de modelos (Model Routing) e arquiteturas em cascata (cascades), direcionando consultas simples para códigos determinísticos ou modelos menores e reservando modelos potentes para raciocínios complexos.

10. Conecte o Modelo a Ferramentas Sem Dar a Ele Poder Ilimitado

Exponha ferramentas estruturadas com contratos rígidos, valide entradas via código de aplicação, aplique o princípio do privilégio mínimo e garanta idempotência em ações que alterem estados.

11. Saiba Quando um Humano Deve Assumir o Controle

Implemente gatilhos de escalonamento para transferir conversas complexas, sensíveis ou inconclusivas para atendentes humanos com um handoff rico em contexto.

12. Coloque um AI Gateway Entre sua Aplicação e os Provedores de Modelos

Centralize credenciais, políticas de timeout, circuit breakers, controle de cotas e estratégias de failover utilizando um AI Gateway.

13. Lide com Picos de Tráfego com Filas e Workers em Segundo Plano

Utilize filas de mensagens e workers para absorver picos repentinos, separar caminhos interativos de tarefas assíncronas e gerenciar a contrapressão.

14. Escale Serviços de Aplicação Sem Perder o Controle dos Custos

Mantenha microsserviços sem estado (stateless), configure autoscaling baseado em gargalos reais (como tamanho de filas e concorrência) e gerencie cotas em todas as camadas.

15. Transmite Respostas (Streaming) para Melhorar a Experiência do Usuário

Implemente Server-Sent Events (SSE) para enviar respostas incrementais, otimizando o tempo até o primeiro token (TTFT) e a interatividade.

16. Observe o Todo do Sistema, Não Apenas o Modelo

Acompanhe métricas em camadas (API, modelos, recuperação, cache, ferramentas, filas, custos), utilize traces distribuídos e avaliações rigorosas de qualidade e aterramento.

17. Construa um Pipeline de Deploy Confiável

Trate prompts, modelos e configurações como ativos de produção versionados, automatizando testes de integração, avaliações de IA, rollouts graduais (canary/blue-green) e infraestrutura como código (IaC).

18. Junte a Arquitetura Completa do Sistema de IA

Integração ponta a ponta do caso de uso da Estrela do Norte demonstrando autenticação, orquestração, RAG, tool calling, streaming e observabilidade colaborando em harmonia.

19. Um Roteiro Prático para Construir Seu Primeiro Sistema de IA em Produção

Comece com o menor sistema seguro que prova o caso de uso pretendido e adicione complexidade incrementalmente com base em dados reais.

20. Erros Comuns de Design de Sistemas de IA para Evitar

Evite tratar o modelo como o produto inteiro, usar RAG para dados transacionais em tempo real, confiar em prompts para segurança, escolher modelos apenas por benchmarks ou adicionar cache sem invalidação.

21. Checklist de Design de Sistemas de IA em Produção

Checklist completo cobrindo Requisitos e Capacidade, Segurança e Dados, Fluxo de Trabalho de IA, Confiabilidade e Escala, além de Operações e Deploy.

22. Perguntas Frequentes sobre Design de Sistemas de IA

Respostas detalhadas sobre conceitos de design, diferenças em relação ao desenvolvimento de apps LLM, RAG, redução de custos por tarefa resolvida, estratégias de escala e mitigações de segurança.

Conclusão: Projete o Sistema em Torno da Inteligência

Construir um protótipo de IA é cada vez mais acessível. Conectar um modelo a uma interface de chat pode exigir apenas uma pequena quantidade de código. Mas transformar esse protótipo em uma aplicação de produção confiável requer um conjunto muito mais amplo de decisões.

Um sistema de IA de produção precisa de requisitos claros, planejamento de capacidade realista, acesso seguro aos dados, seleção apropriada de modelos, recuperação confiável, execução controlada de ferramentas, cache sensível, tratamento de falhas, observabilidade e práticas disciplinadas de deploy.

O exemplo da Estrela do Norte ilustra como essas peças se encaixam. Seu modelo ajuda a interpretar perguntas e gerar explicações úteis, mas a aplicação ao redor determina quais informações são acessíveis, quais ações são permitidas, como as falhas são tratadas e como o sistema melhora ao longo do tempo.

Você não precisa construir cada componente no primeiro dia. Comece com um problema estritamente definido, estabeleça os requisitos de segurança e qualidade, meça o sistema inicial e introduza uma infraestrutura mais sofisticada quando as evidências mostrarem que ela é necessária.

O sistema de IA mais eficaz não é necessariamente aquele com o modelo mais pesado ou a arquitetura mais elaborada. É aquele que resolve o problema pretendido de forma consistente, protege as pessoas que o usam, opera dentro de suas restrições e pode ser melhorado sem colocar todo o produto em risco.

Esse é o núcleo do design de sistemas de IA em produção: construir o sistema completo que torna a inteligência útil, e não apenas a parte que gera a resposta.

E estamos conversados..

"Jesus respondeu: Na verdade, na verdade te digo que aquele que não nascer da água e do Espírito, não pode entrar no reino de Deus."
João 3:5

Referências:


José Carlos Macoratti